Удаление дубликатов из списка в Python
В этом уроке вы удалите повторяющиеся значения из списка, сохранив порядок их первого появления.
Введение
Какую задачу это решает
Повторяющиеся записи портят отчёты, рассылки и подсчёты. Часто нужно оставить каждое значение по одному разу и сохранить порядок, в котором значения появились впервые. И работать это должно быстро даже на длинных списках.
Пример из жизни
Удаление повторов похоже на швейцара со счётчиком и списком гостей. Для каждого пришедшего швейцар проверяет список. Новых гостей он записывает и пропускает, а тех, кто уже приходил, разворачивает. Зал заполняется в порядке прихода.
seen = set()📋 Список гостейif value not in seen:🔎 Новое лицо?seen.add(value)✍️ Записать имяresult.append(value)🚪 Впустить в порядке приходаПри удалении повторов с сохранением порядка остаётся первое вхождение каждого значения. Множество нужно для быстрых проверок, а список - чтобы сохранить порядок.
Главное
seen- множество, поэтомуvalue not in seen- быстрая проверка даже для длинных списков.seen.add(value)запоминает значение при первом появлении.result.append(value)сохраняет значения в порядке первого появления.- Результат -
[3, 1, 2, 4]: вторая 3 и вторая 1 пропущены.
Когда это нужно?
- Очистка списков ID, email или тегов с сохранением порядка.
- Удаление повторяющихся событий из логов.
- Понимание того, когда сочетать множество и список.
Когда это не нужно
- Порядок не важен: хватит
set(values). - Значения, которые нельзя положить в множество, например списки или словари: сначала превратите их в кортежи или сравнивайте иначе.
Пример кода
def unique_in_order(values):
seen = set()
result = []
for value in values:
if value not in seen:
seen.add(value)
result.append(value)
return result
print(unique_in_order([3, 1, 3, 2, 1, 4]))
Результат выполнения
[3, 1, 2, 4]
Разбор кода
Каждое значение проверяется один раз. Если его ещё нет в seen, оно добавляется и в множество seen, и в список result. Последующие появления пропускаются, поэтому результат [3, 1, 2, 4]. Проверка наличия в множестве стоит O(1), поэтому весь алгоритм работает за O(n).
Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.
Упражнения для практики
Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.
- Проверьте работу на пустом списке, списке из одного элемента и списке с повторами.
- Выводите состояние после каждого шага, чтобы увидеть алгоритм в действии.
- Измерьте время работы на 100, 1 000 и 10 000 элементах и сравните с другим решением.
Частые ошибки
Проверка принадлежности по списку результата
value in result каждый раз просматривает весь список, и на длинных данных это медленно.
if value not in result:
result.append(value)
if value not in seen:
seen.add(value)
result.append(value)
Закончили этот урок?
Отметьте его как изученный, чтобы следить за прогрессом.
Попрактикуйтесь на задаче
Примените материал этого урока к реальной задаче. Каждая задача запускается в браузере, с мгновенными тестами и разбором от ИИ.
- Удаление дубликатов Оставьте только первое вхождение каждого значения. Легко
- Переместить нули Переместите все нули в конец, сохранив порядок остальных элементов. Легко