อ่านข้อมูล CSV ด้วย pandas
ในบทเรียนนี้ คุณจะอ่านข้อมูล CSV เข้า DataFrame ด้วยฟังก์ชัน read_csv() ของ pandas
pandas read_csv ใช้เมื่อใด?
ปัญหาที่ต้องแก้
ข้อมูลส่วนใหญ่ที่คุณจะเจอเก็บในไฟล์ CSV: ข้อมูลที่ export จากสเปรดชีต รายการเดินบัญชี log จากเซนเซอร์ การแยกบรรทัดและจุลภาคเองพังเมื่อเจอเครื่องหมายคำพูด ค่าที่หายไป และตัวเลขที่เก็บเป็นข้อความ pandas อ่านได้ถูกต้องในบรรทัดเดียว
ลองนึกภาพแบบนี้
read_csv เหมือนพนักงานบันทึกข้อมูลที่คัดลอกรายการลงสเปรดชีต บรรทัดแรกให้ชื่อคอลัมน์ ทุกบรรทัดต่อจากนั้นกลายเป็นหนึ่งแถว และพนักงานสังเกตว่าคอลัมน์ไหนเก็บตัวเลข
"name,score\n..."📃 บรรทัดของข้อความ CSVStringIO(csv_text)📂 ทำเหมือนข้อความเป็นไฟล์ที่เปิดอยู่pd.read_csv(...)🧑💼 คัดลอกลงตารางstudents📊 คอลัมน์ name และ score สามแถวpd.read_csv อ่านข้อความที่คั่นด้วยจุลภาคจากไฟล์หรืออ็อบเจกต์ที่ทำตัวเหมือนไฟล์ลงใน DataFrame โดยใช้บรรทัดแรกเป็นชื่อคอลัมน์และเดาชนิดของแต่ละคอลัมน์
ไฟล์ CSV ใช้แลกเปลี่ยนข้อมูลระหว่างสเปรดชีต ระบบธุรกิจ เครื่องมือวิเคราะห์ API และฐานข้อมูล pandas.read_csv() โหลดข้อมูลเป็น DataFrame เพื่อทำความสะอาด กรอง และวิเคราะห์
กรณีใช้งานทั่วไป
- วิเคราะห์ข้อมูลที่ส่งออกจาก Excel, Google Sheets หรือ CRM
- โหลด dataset สำหรับ data science และ machine learning
- แก้ไขข้อมูลที่หายไป ชนิดข้อมูลผิด หรือข้อมูลซ้ำก่อนนำเข้า
ใช้เมื่อไร?
- โหลดข้อมูลที่ export จากสเปรดชีต ฐานข้อมูล และเว็บไซต์
- อ่าน log และรายงานจำนวนมาก
- ขั้นแรกของการวิเคราะห์ข้อมูลเกือบทุกครั้ง
เมื่อไรยังไม่จำเป็น
- ไฟล์ Excel ที่มีหลายชีต: ใช้
pd.read_excel - ไฟล์ที่ใหญ่เกินหน่วยความจำ: อ่านเป็นชุดด้วย
chunksize
ตัวอย่างพื้นฐาน
import pandas as pd
from io import StringIO
csv_text = "name,score\nAda,95\nLin,88\nSam,91"
students = pd.read_csv(StringIO(csv_text))
print(students)
ผลลัพธ์จากการรัน
name score
0 Ada 95
1 Lin 88
2 Sam 91
ตัวอย่างขั้นสูง
ไฟล์ CSV จริงมักมีขนาดใหญ่และข้อมูลไม่สมบูรณ์ ตัวอย่างนี้เลือกเฉพาะคอลัมน์ที่ต้องใช้ แปลงวันที่ กำหนดชนิดข้อมูล และตรวจจับรูปแบบข้อมูลที่หายไปหลายแบบ
import pandas as pd
sales = pd.read_csv(
"sales.csv",
usecols=["order_date", "product", "quantity", "revenue"],
parse_dates=["order_date"],
dtype={"product": "string", "quantity": "Int64"},
na_values=["", "N/A", "unknown"],
)
sales = sales.dropna(subset=["order_date", "product"])
monthly_revenue = sales.groupby(
sales["order_date"].dt.to_period("M")
)["revenue"].sum()
print(monthly_revenue)
อธิบายโค้ด
StringIO เปลี่ยนสตริงเป็นออบเจกต์ที่ทำงานเหมือนไฟล์ที่เปิดอยู่ read_csv() จึงอ่านได้ทันทีโดยไม่ต้องสร้างไฟล์ชั่วคราว pandas รู้ว่าบรรทัดแรกเป็นหัวตารางและเดาชนิดของแต่ละคอลัมน์ กับข้อมูลจริง พารามิเตอร์อย่าง dtype, parse_dates และ na_values ช่วยควบคุมการอ่านได้
เปลี่ยนค่าและรันโปรแกรมด้วย คอมไพเลอร์ Python ออนไลน์ของ CodeUtility โดยไม่ต้องติดตั้ง Python
แบบฝึกหัดเพิ่มเติม
ลองแก้โค้ดตามคำแนะนำด้านล่าง การเปลี่ยนโค้ดแล้วดูผลลัพธ์จะช่วยให้เข้าใจบทเรียนได้ดีกว่าการอ่านอย่างเดียวมาก
- เพิ่มแถว คอลัมน์ และค่าที่หายไปบางส่วนในข้อมูลตัวอย่าง
- รวมการกรอง การเรียง และ groupby เพื่อสร้างรายงานเล็ก ๆ
- อ่านไฟล์ข้อมูลจริง ตรวจชนิดของแต่ละคอลัมน์ และจัดการค่าที่ไม่ถูกต้อง
ข้อผิดพลาดที่พบบ่อย
ตัวคั่นผิด
ไฟล์ CSV ของยุโรปมักใช้ ; ทุกอย่างจึงไปอยู่ในคอลัมน์เดียว
pd.read_csv("data.csv")
pd.read_csv("data.csv", sep=";")
เรียนบทนี้จบแล้วใช่ไหม
ทำเครื่องหมายว่าเรียนแล้วเพื่อติดตามความคืบหน้า