Упражнения по Python для начинающих

Удаление дубликатов с сохранением порядка в Python

В этом уроке вы удалите дубликаты из списка, сохранив порядок первого появления каждого значения.

  • Начальный
  • Чтение: 2 мин
  • Примеров для запуска: 1

Введение

Какую задачу это решает

Данные часто содержат повторы: один email зарегистрирован дважды, один и тот же тег добавлен снова. Если превратить список в множество, повторы исчезнут, но пропадёт и исходный порядок. А он бывает важен, например порядок регистрации.

Пример из жизни

Удаление повторов с сохранением порядка похоже на книгу гостей на вечеринке. Когда приходит гость, вы проверяете уже записанные имена. Если имя новое, вы его записываете, а если оно уже есть, пропускаете. В книге сохраняется порядок прихода.

От книги гостей к коду
seen = set()📖 Уже записанные имена
value in seen🔎 Этот гость уже в книге?
seen.add(value)✍️ Записать имя нового гостя
unique📋 Гости в порядке прихода: [1, 2, 3, 4]
Оставляйте первое появление каждого значения, повторы пропускайте.
Одним предложением

Удаление повторов с сохранением порядка оставляет первое появление каждого значения и отбрасывает последующие повторы.

Главное

  1. seen - множество, которое помнит, какие значения уже встречались.
  2. value in seen - быстрая проверка, было ли значение уже сохранено.
  3. seen.add(value) возвращает None, поэтому value in seen or seen.add(value) равно False для новых значений и одновременно добавляет их.
  4. unique равно [1, 2, 3, 4] в порядке первого появления значений.

Когда это нужно?

  • Очистка списков email, ID или тегов с сохранением порядка.
  • Практика множеств для быстрой проверки принадлежности.
  • Удаление повторяющихся событий или строк логов.

Когда это не нужно

  • Порядок не важен: set(values) короче.
  • Понятность важнее краткости: list(dict.fromkeys(values)) или обычный цикл понятнее трюка с seen.add.

Пример кода

Запустить код →
main.py
values = [1, 2, 1, 3, 2, 4]
seen = set()
# Add each value only on its first occurrence.
unique = [value for value in values if not (value in seen or seen.add(value))]
print(unique)
Получить кнопку запуска для этого примера

Результат выполнения

[1, 2, 3, 4]

Разбор кода

Генератор списка оставляет value, только если условие not (value in seen or seen.add(value)) истинно. При первом появлении value in seen даёт False, поэтому вызывается seen.add(value), и значение запоминается. add() возвращает None, так что итоговое условие равно True, и значение остаётся. При следующих появлениях value in seen даёт True, и значение пропускается.

Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.

Упражнения для практики

Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.

  1. Измените входные данные и предскажите результат до запуска.
  2. Добавьте проверку пустых или неверных данных.
  3. Вынесите обработку в отдельную функцию и проверьте её на нескольких наборах данных.
Запустить в компиляторе Python →

Частые ошибки

Множество там, где важен порядок

Множества не сохраняют порядок добавления.

Ошибка
unique = list(set(values))  # order is not guaranteed
Исправление
unique = list(dict.fromkeys(values))

Закончили этот урок?

Отметьте его как изученный, чтобы следить за прогрессом.

Попрактикуйтесь на задаче

Примените материал этого урока к реальной задаче. Каждая задача запускается в браузере, с мгновенными тестами и разбором от ИИ.

Все задачи