pandasでCSVデータを読み込む
このレッスンでは、pandasのread_csv()関数でCSVデータをDataFrameに読み込みます。
pandas read_csvはどのような場面で使う?
どんな問題を解決するか
これから扱うデータの多くは、CSV ファイルに保存されています。表計算ソフトから書き出したデータ、銀行の明細、センサーのログなどです。行やカンマで分割するコードを自分で書くと、引用符、欠けた値、文字列として保存された数などがあるとうまくいきません。pandas なら、1行で正しく読み込めます。
身近なたとえ
read_csv は、一覧を表計算シートに写すデータ入力係のようなものです。1行目を列の見出しにし、2行目からは1行ずつ表の行として写していきます。どの列に数が入っているかも、係がきちんと見分けます。
"name,score\n..."📃 CSV のテキストの各行StringIO(csv_text)📂 テキストを、開いたファイルのように見せるpd.read_csv(...)🧑💼 表に写すstudents📊 name と score の列、3行pd.read_csv は、ファイルやファイルのように扱えるオブジェクトからカンマ区切りのテキストを読み込み、DataFrame にします。1行目を列名として使い、各列の型は自動で推測します。
CSVは表計算ソフト、業務システム、分析ツール、API、データベース間のデータ交換に広く使われます。pandas.read_csv()はCSVをDataFrameとして読み込み、整形・抽出・分析を可能にします。
主な用途
- Excel、Google Sheets、CRMからのエクスポートを分析する。
- データサイエンスや機械学習のデータセットを読み込む。
- 取り込み前に欠損値、誤った型、重複データを整理する。
どんな場面で使う?
- 表計算ソフト、データベース、Web サイトから書き出したデータを読み込む。
- ログやレポートをまとめて読む。
- ほとんどすべてのデータ分析の最初の一歩。
使わなくてよいとき
- 複数のシートがある Excel ファイル:
pd.read_excelを使います。 - メモリに収まらない大きなファイル:
chunksizeで少しずつ読みます。
基本の例
import pandas as pd
from io import StringIO
csv_text = "name,score\nAda,95\nLin,88\nSam,91"
students = pd.read_csv(StringIO(csv_text))
print(students)
実行結果
name score
0 Ada 95
1 Lin 88
2 Sam 91
応用例
実際のCSVは大きく、不完全なことがあります。この例では必要な列を選択し、日付を解析し、型を指定して、複数形式の欠損値を認識します。
import pandas as pd
sales = pd.read_csv(
"sales.csv",
usecols=["order_date", "product", "quantity", "revenue"],
parse_dates=["order_date"],
dtype={"product": "string", "quantity": "Int64"},
na_values=["", "N/A", "unknown"],
)
sales = sales.dropna(subset=["order_date", "product"])
monthly_revenue = sales.groupby(
sales["order_date"].dt.to_period("M")
)["revenue"].sum()
print(monthly_revenue)
コードの解説
StringIOは文字列を、開いたファイルのように振る舞うオブジェクトに変えるので、一時ファイルを作らずにread_csv()で直接読み込めます。pandasは1行目を列の見出しと判断し、各列のデータ型を推測します。実際のデータでは、dtype、parse_dates、na_valuesなどの引数で読み込み方を細かく指定できます。
値を変更し、PythonをインストールせずにCodeUtilityオンラインPythonコンパイラで実行できます。
発展問題
下のヒントにしたがってコードを書き換えてみましょう。自分で変えて結果を確かめると、コードを読むだけよりずっと深く理解できます。
- サンプルデータに行、列、いくつかの欠損値を追加する。
- 絞り込み、並べ替え、groupbyを組み合わせて小さなレポートを作る。
- 実際のデータファイルを読み込み、各列のデータ型を確認して、不正な値を処理する。
よくある間違い
区切り文字が違う
ヨーロッパの CSV では区切りに ; がよく使われます。そのまま読み込むと、すべてが1つの列に入ってしまいます。
pd.read_csv("data.csv")
pd.read_csv("data.csv", sep=";")
このレッスンを終えましたか?
学習済みにすると進み具合を記録できます。