初心者向けPython演習

Pythonで単語の出現回数を数える

このレッスンでは、文章を正規化し、collections.Counterで各単語が何回出てくるかを数えます。

  • 初級
  • 約2分で読めます
  • 実行できるサンプル 1 件

はじめに

どんな問題を解決するか

レビュー、本、検索クエリでいちばん多く出てくる単語はどれでしょう。実際の文章を手で数えるのは無理で、"Python"、"python"、"python." は同じ単語として数えなければなりません。

身近なたとえ

単語の頻度を数えるのは、投票のあとに票を仕分けるようなものです。まずすべての票を同じように読めるようにし(小文字、句読点なし)、名前が出てくるたびに印を付けます。集計表を見れば勝者が分かります。

票の集計からコードへ
text.lower()🔡 すべての票を同じように読む
re.findall(r"[a-z]+", ...)✂️ 名前を切り出し、句読点を捨てる
Counter(words)📊 集計表:名前と印の数
print(Counter(words))🏆 結果。印の多い順
正規化し、単語に分け、数えます。
ひと言でいうと

単語の頻度とは、文章の中でそれぞれの異なる単語が何回出てくるかで、通常は小文字にして句読点を取り除き、比べられる形にしてから数えます。

重要なポイント

  1. text.lower() で "Python" と "python" が同じ単語になります。
  2. re.findall(r"[a-z]+", ...) は文字が続く部分をすべて返すので、ピリオドや空白は消えます。
  3. Counter(words) は各単語を数え、多いものから表示します。
  4. 例では "python" も "is" も2回出てきます。

どんな場面で使う?

  • レビュー、ログ、アンケートの回答でよく出る単語を見つける。
  • 文章分析と検索の第一歩。
  • 文字列のクリーニングと Counter クラスの練習。

使わなくてよいとき

  • フランス語やベトナム語のようにアクセント付きの文字を含む文章:[a-z]+ はそれらを落とすので、Unicode 対応のパターンを使います。
  • 本格的な言語分析:run と running のような語形もまとめる必要があり、NLP ライブラリが要ります。

サンプルコード

コードを実行 →
main.py
from collections import Counter
import re

text = "Python is clear. Python is practical."
words = re.findall(r"[a-z]+", text.lower())

print(Counter(words))
この例の実行ボタンを作成

実行結果

Counter({'python': 2, 'is': 2, 'clear': 1, 'practical': 1})

コードの解説

text.lower()で文章全体を小文字にし、正規表現[a-z]+で英字の並びだけを取り出して記号を無視します。Counterは1回の走査で各単語を数え、回数の多い順に並べるので、pythonとisはどちらも2回と表示されます。

値を変更し、PythonをインストールせずにCodeUtilityオンラインPythonコンパイラで実行できます。

発展問題

下のヒントにしたがってコードを書き換えてみましょう。自分で変えて結果を確かめると、コードを読むだけよりずっと深く理解できます。

  1. 入力データを変え、実行する前に結果を予想してから確かめる。
  2. データが空のときや不正なときのチェックを追加する。
  3. 処理を別の関数にまとめ、いろいろなデータで試す。
Pythonコンパイラで実行 →

よくある間違い

小文字にし忘れる

"Python" と "python" が別の単語として数えられます。

問題
re.findall(r"[a-z]+", text)
修正
re.findall(r"[a-z]+", text.lower())

このレッスンを終えましたか?

学習済みにすると進み具合を記録できます。

チャレンジで練習する

このレッスンの内容を使って実際の問題を解きましょう。各チャレンジはブラウザで動き、すぐにテストされ、AI のレビューも受けられます。

すべてのチャレンジ