初心者向けPython演習

Pythonで順番を保ったまま重複を取り除く

このレッスンでは、最初に出てきた順番を保ったまま、リストの重複した値を取り除きます。

  • 初級
  • 約2分で読めます
  • 実行できるサンプル 1 件

はじめに

どんな問題を解決するか

データには繰り返しがよく含まれます。同じメールが2回登録される、同じタグがもう一度追加される、などです。セットに変換すれば取り除けますが、セットは元の順番を失います。登録した順番などでは順番が重要です。

身近なたとえ

順番を保った重複の除去は、パーティーの芳名帳のようなものです。客が来るたびに、すでに書かれた名前の一覧を確認します。新しい名前なら書き加え、すでにあれば飛ばします。芳名帳は来た順を保ちます。

芳名帳からコードへ
seen = set()📖 すでに書かれた名前
value in seen🔎 この客はもう帳面にいる?
seen.add(value)✍️ 新しい客の名前を書く
unique📋 来た順の客:[1, 2, 3, 4]
各値が最初に現れたものを残し、繰り返しは飛ばします。
ひと言でいうと

順番を保った重複の除去は、各値の最初の出現を残し、あとの繰り返しを捨てます。

重要なポイント

  1. seen はどの値が現れたかを覚えているセットです。
  2. value in seen はすでに残した値かどうかをすばやく調べます。
  3. seen.add(value) は None を返すので、value in seen or seen.add(value) は新しい値に対して False になり、同時にそれを追加します。
  4. unique は値が最初に現れた順の [1, 2, 3, 4] です。

どんな場面で使う?

  • メール、ID、タグの一覧を順番を保ったままきれいにする。
  • セットを使った高速な存在チェックの練習。
  • 繰り返されたイベントやログの行を取り除く。

使わなくてよいとき

  • 順番が重要でない場合:set(values) のほうが短いです。
  • 1行より読みやすさが大事な場合:seen.add の技より list(dict.fromkeys(values)) や普通のループのほうが分かりやすいです。

サンプルコード

コードを実行 →
main.py
values = [1, 2, 1, 3, 2, 4]
seen = set()
# Add each value only on its first occurrence.
unique = [value for value in values if not (value in seen or seen.add(value))]
print(unique)
この例の実行ボタンを作成

実行結果

[1, 2, 3, 4]

コードの解説

このリスト内包表記は、条件not (value in seen or seen.add(value))が真のときだけvalueを残します。初めて出てきた値ではvalue in seenがFalseなので、seen.add(value)が呼ばれて記録されます。add()はNoneを返すため最終的な条件はTrueになり、値は残ります。2回目以降はvalue in seenがTrueなので、その値は無視されます。

値を変更し、PythonをインストールせずにCodeUtilityオンラインPythonコンパイラで実行できます。

発展問題

下のヒントにしたがってコードを書き換えてみましょう。自分で変えて結果を確かめると、コードを読むだけよりずっと深く理解できます。

  1. 入力データを変え、実行する前に結果を予想してから確かめる。
  2. データが空のときや不正なときのチェックを追加する。
  3. 処理を別の関数にまとめ、いろいろなデータで試す。
Pythonコンパイラで実行 →

よくある間違い

順番が重要なのにセットを使う

セットは追加した順番を保ちません。

問題
unique = list(set(values))  # order is not guaranteed
修正
unique = list(dict.fromkeys(values))

このレッスンを終えましたか?

学習済みにすると進み具合を記録できます。

チャレンジで練習する

このレッスンの内容を使って実際の問題を解きましょう。各チャレンジはブラウザで動き、すぐにテストされ、AI のレビューも受けられます。

すべてのチャレンジ