Удаление дубликатов с сохранением порядка в Python
В этом уроке вы удалите дубликаты из списка, сохранив порядок первого появления каждого значения.
Введение
Какую задачу это решает
Данные часто содержат повторы: один email зарегистрирован дважды, один и тот же тег добавлен снова. Если превратить список в множество, повторы исчезнут, но пропадёт и исходный порядок. А он бывает важен, например порядок регистрации.
Пример из жизни
Удаление повторов с сохранением порядка похоже на книгу гостей на вечеринке. Когда приходит гость, вы проверяете уже записанные имена. Если имя новое, вы его записываете, а если оно уже есть, пропускаете. В книге сохраняется порядок прихода.
seen = set()📖 Уже записанные именаvalue in seen🔎 Этот гость уже в книге?seen.add(value)✍️ Записать имя нового гостяunique📋 Гости в порядке прихода: [1, 2, 3, 4]Удаление повторов с сохранением порядка оставляет первое появление каждого значения и отбрасывает последующие повторы.
Главное
seen- множество, которое помнит, какие значения уже встречались.value in seen- быстрая проверка, было ли значение уже сохранено.seen.add(value)возвращает None, поэтомуvalue in seen or seen.add(value)равно False для новых значений и одновременно добавляет их.uniqueравно[1, 2, 3, 4]в порядке первого появления значений.
Когда это нужно?
- Очистка списков email, ID или тегов с сохранением порядка.
- Практика множеств для быстрой проверки принадлежности.
- Удаление повторяющихся событий или строк логов.
Когда это не нужно
- Порядок не важен:
set(values)короче. - Понятность важнее краткости:
list(dict.fromkeys(values))или обычный цикл понятнее трюка сseen.add.
Пример кода
values = [1, 2, 1, 3, 2, 4]
seen = set()
# Add each value only on its first occurrence.
unique = [value for value in values if not (value in seen or seen.add(value))]
print(unique)
Результат выполнения
[1, 2, 3, 4]
Разбор кода
Генератор списка оставляет value, только если условие not (value in seen or seen.add(value)) истинно. При первом появлении value in seen даёт False, поэтому вызывается seen.add(value), и значение запоминается. add() возвращает None, так что итоговое условие равно True, и значение остаётся. При следующих появлениях value in seen даёт True, и значение пропускается.
Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.
Упражнения для практики
Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.
- Измените входные данные и предскажите результат до запуска.
- Добавьте проверку пустых или неверных данных.
- Вынесите обработку в отдельную функцию и проверьте её на нескольких наборах данных.
Частые ошибки
Множество там, где важен порядок
Множества не сохраняют порядок добавления.
unique = list(set(values)) # order is not guaranteed
unique = list(dict.fromkeys(values))
Закончили этот урок?
Отметьте его как изученный, чтобы следить за прогрессом.
Попрактикуйтесь на задаче
Примените материал этого урока к реальной задаче. Каждая задача запускается в браузере, с мгновенными тестами и разбором от ИИ.
Все задачи