Алгоритмы на Python

Удаление дубликатов из списка в Python

В этом уроке вы удалите повторяющиеся значения из списка, сохранив порядок их первого появления.

  • Средний
  • Чтение: 2 мин
  • Примеров для запуска: 1

Введение

Какую задачу это решает

Повторяющиеся записи портят отчёты, рассылки и подсчёты. Часто нужно оставить каждое значение по одному разу и сохранить порядок, в котором значения появились впервые. И работать это должно быстро даже на длинных списках.

Пример из жизни

Удаление повторов похоже на швейцара со счётчиком и списком гостей. Для каждого пришедшего швейцар проверяет список. Новых гостей он записывает и пропускает, а тех, кто уже приходил, разворачивает. Зал заполняется в порядке прихода.

От швейцара к коду
seen = set()📋 Список гостей
if value not in seen:🔎 Новое лицо?
seen.add(value)✍️ Записать имя
result.append(value)🚪 Впустить в порядке прихода
Каждое значение проверяется один раз; сохраняются только первые появления.
Одним предложением

При удалении повторов с сохранением порядка остаётся первое вхождение каждого значения. Множество нужно для быстрых проверок, а список - чтобы сохранить порядок.

Главное

  1. seen - множество, поэтому value not in seen - быстрая проверка даже для длинных списков.
  2. seen.add(value) запоминает значение при первом появлении.
  3. result.append(value) сохраняет значения в порядке первого появления.
  4. Результат - [3, 1, 2, 4]: вторая 3 и вторая 1 пропущены.

Когда это нужно?

  • Очистка списков ID, email или тегов с сохранением порядка.
  • Удаление повторяющихся событий из логов.
  • Понимание того, когда сочетать множество и список.

Когда это не нужно

  • Порядок не важен: хватит set(values).
  • Значения, которые нельзя положить в множество, например списки или словари: сначала превратите их в кортежи или сравнивайте иначе.

Пример кода

Запустить код →
main.py
def unique_in_order(values):
    seen = set()
    result = []
    for value in values:
        if value not in seen:
            seen.add(value)
            result.append(value)
    return result

print(unique_in_order([3, 1, 3, 2, 1, 4]))
Получить кнопку запуска для этого примера

Результат выполнения

[3, 1, 2, 4]

Разбор кода

Каждое значение проверяется один раз. Если его ещё нет в seen, оно добавляется и в множество seen, и в список result. Последующие появления пропускаются, поэтому результат [3, 1, 2, 4]. Проверка наличия в множестве стоит O(1), поэтому весь алгоритм работает за O(n).

Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.

Упражнения для практики

Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.

  1. Проверьте работу на пустом списке, списке из одного элемента и списке с повторами.
  2. Выводите состояние после каждого шага, чтобы увидеть алгоритм в действии.
  3. Измерьте время работы на 100, 1 000 и 10 000 элементах и сравните с другим решением.
Запустить в компиляторе Python →

Частые ошибки

Проверка принадлежности по списку результата

value in result каждый раз просматривает весь список, и на длинных данных это медленно.

Ошибка
if value not in result:
    result.append(value)
Исправление
if value not in seen:
    seen.add(value)
    result.append(value)

Закончили этот урок?

Отметьте его как изученный, чтобы следить за прогрессом.

Попрактикуйтесь на задаче

Примените материал этого урока к реальной задаче. Каждая задача запускается в браузере, с мгновенными тестами и разбором от ИИ.

Все задачи