はじめに
どんな問題を解決するか
データには繰り返しがよく含まれます。同じメールが2回登録される、同じタグがもう一度追加される、などです。セットに変換すれば取り除けますが、セットは元の順番を失います。登録した順番などでは順番が重要です。
身近なたとえ
順番を保った重複の除去は、パーティーの芳名帳のようなものです。客が来るたびに、すでに書かれた名前の一覧を確認します。新しい名前なら書き加え、すでにあれば飛ばします。芳名帳は来た順を保ちます。
芳名帳からコードへ
seen = set()📖 すでに書かれた名前value in seen🔎 この客はもう帳面にいる?seen.add(value)✍️ 新しい客の名前を書くunique📋 来た順の客:[1, 2, 3, 4]ひと言でいうと
順番を保った重複の除去は、各値の最初の出現を残し、あとの繰り返しを捨てます。
重要なポイント
seenはどの値が現れたかを覚えているセットです。value in seenはすでに残した値かどうかをすばやく調べます。seen.add(value)は None を返すので、value in seen or seen.add(value)は新しい値に対して False になり、同時にそれを追加します。uniqueは値が最初に現れた順の[1, 2, 3, 4]です。
どんな場面で使う?
- メール、ID、タグの一覧を順番を保ったままきれいにする。
- セットを使った高速な存在チェックの練習。
- 繰り返されたイベントやログの行を取り除く。
使わなくてよいとき
- 順番が重要でない場合:
set(values)のほうが短いです。 - 1行より読みやすさが大事な場合:
seen.addの技よりlist(dict.fromkeys(values))や普通のループのほうが分かりやすいです。
サンプルコード
main.py
values = [1, 2, 1, 3, 2, 4]
seen = set()
# Add each value only on its first occurrence.
unique = [value for value in values if not (value in seen or seen.add(value))]
print(unique)
実行結果
[1, 2, 3, 4]
コードの解説
このリスト内包表記は、条件not (value in seen or seen.add(value))が真のときだけvalueを残します。初めて出てきた値ではvalue in seenがFalseなので、seen.add(value)が呼ばれて記録されます。add()はNoneを返すため最終的な条件はTrueになり、値は残ります。2回目以降はvalue in seenがTrueなので、その値は無視されます。
値を変更し、PythonをインストールせずにCodeUtilityオンラインPythonコンパイラで実行できます。
発展問題
下のヒントにしたがってコードを書き換えてみましょう。自分で変えて結果を確かめると、コードを読むだけよりずっと深く理解できます。
- 入力データを変え、実行する前に結果を予想してから確かめる。
- データが空のときや不正なときのチェックを追加する。
- 処理を別の関数にまとめ、いろいろなデータで試す。
よくある間違い
順番が重要なのにセットを使う
セットは追加した順番を保ちません。
問題
unique = list(set(values)) # order is not guaranteed
修正
unique = list(dict.fromkeys(values))
このレッスンを終えましたか?
学習済みにすると進み具合を記録できます。
進み具合はこのブラウザーに保存されています ログインすると、どのデバイスでも引き継げます。
チャレンジで練習する
このレッスンの内容を使って実際の問題を解きましょう。各チャレンジはブラウザで動き、すぐにテストされ、AI のレビューも受けられます。
すべてのチャレンジ