จัดการข้อมูลที่หายไปใน pandas
ในบทเรียนนี้ คุณจะหาค่าที่หายไป (NaN) ใน DataFrame และแทนด้วยค่ามัธยฐานของคอลัมน์
บทนำ
ปัญหาที่ต้องแก้
ข้อมูลจริงมักมีช่องว่าง เช่น คำถามในแบบสอบถามที่ไม่มีคนตอบ เซนเซอร์ที่อ่านค่าพลาดไปบางครั้ง หรือช่องที่ถูกปล่อยว่างไว้ ถ้ามองข้ามช่องว่างเหล่านี้ การคำนวณหลายอย่างจะพังหรือให้คำตอบที่ชวนเข้าใจผิด เราจึงต้องหาช่องว่างให้เจอ แล้วตัดสินใจว่าจะจัดการอย่างไร
ลองนึกภาพแบบนี้
การจัดการค่าที่หายไปเหมือนครูที่เจอช่องว่างในสมุดคะแนน ครูอาจตัดนักเรียนคนนั้นออกจากการคิด หรือเติมช่องด้วยค่าประมาณที่ยุติธรรม เช่น คะแนนกลางของห้อง จะเลือกแบบไหนก็ต้องเป็นการตัดสินใจอย่างตั้งใจ
np.nan⬜ ช่องว่างstudents["score"].median()📏 ค่าประมาณที่ยุติธรรม: คะแนนตรงกลาง 90.fillna(...)🖊️ เติมช่องว่างด้วยค่านั้นstudents["score"] = ...💾 บันทึกคอลัมน์ที่เติมแล้วกลับเข้าตารางค่าที่หายไป (missing value) คือช่องที่ไม่มีข้อมูล แสดงเป็น NaN เราเติมช่องเหล่านี้ด้วยค่าอื่น เช่น มัธยฐาน หรือลบแถวที่มีช่องว่างทิ้งก็ได้
ประเด็นสำคัญ
np.nanบอกว่าคะแนนของ Lin หายไปstudents["score"].median()ข้ามช่องว่างไป และส่งกลับ 90.0 ซึ่งอยู่ตรงกลางระหว่าง 95 กับ 85.fillna(...)แทนช่องว่างด้วยค่านั้น- ต้องกำหนดค่ากลับให้
students["score"]การเปลี่ยนแปลงจึงจะคงอยู่ และคอลัมน์จะกลายเป็น float เพราะ NaN เป็นชนิด float
ใช้เมื่อไร?
- ทำความสะอาดข้อมูลจากแบบสอบถาม เซนเซอร์ และฟอร์ม ก่อนวิเคราะห์
- เติมช่องว่างด้วยค่าที่เป็นตัวแทนทั่วไป เพื่อให้คำนวณต่อได้
- นับช่องว่างด้วย
isna().sum()เพื่อดูคุณภาพของข้อมูล
เมื่อไรยังไม่จำเป็น
- ค่าส่วนใหญ่ในคอลัมน์หายไป: การเติมเท่ากับแต่งข้อมูลขึ้นมาเอง ควรพิจารณาตัดคอลัมน์นั้นทิ้ง
- การที่ค่าหายไปนั้นเป็นข้อมูลสำคัญในตัวเอง: สร้างคอลัมน์ True/False เก็บแยกไว้ก่อนเติม
โค้ดตัวอย่าง
import pandas as pd
import numpy as np
students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())
print(students)
ผลลัพธ์จากการรัน
name score
0 Ada 95.0
1 Lin 90.0
2 Sam 85.0
อธิบายโค้ด
ค่ามัธยฐานคำนวณจากคะแนนที่มีอยู่คือ 95 และ 85 ได้ 90 เมธอด fillna() แทน NaN ของ Lin ด้วย 90 ผลลัพธ์ถูกกำหนดกลับให้คอลัมน์ score เพื่อให้การเปลี่ยนแปลงถูกบันทึกใน DataFrame การใช้มัธยฐานแทนค่าเฉลี่ยทำให้ผลลัพธ์ได้รับผลกระทบจากค่าที่สูงหรือต่ำมาก ๆ น้อยลง
เปลี่ยนค่าและรันโปรแกรมด้วย คอมไพเลอร์ Python ออนไลน์ของ CodeUtility โดยไม่ต้องติดตั้ง Python
แบบฝึกหัดเพิ่มเติม
ลองแก้โค้ดตามคำแนะนำด้านล่าง การเปลี่ยนโค้ดแล้วดูผลลัพธ์จะช่วยให้เข้าใจบทเรียนได้ดีกว่าการอ่านอย่างเดียวมาก
- เพิ่มแถว คอลัมน์ และค่าที่หายไปบางส่วนในข้อมูลตัวอย่าง
- รวมการกรอง การเรียง และ groupby เพื่อสร้างรายงานเล็ก ๆ
- อ่านไฟล์ข้อมูลจริง ตรวจชนิดของแต่ละคอลัมน์ และจัดการค่าที่ไม่ถูกต้อง
ข้อผิดพลาดที่พบบ่อย
ไม่บันทึกผลลัพธ์
fillna ส่งกลับ Series ตัวใหม่ ถ้าไม่กำหนดค่ากลับ ข้อมูลเดิมจะไม่เปลี่ยน
students["score"].fillna(students["score"].median())
students["score"] = students["score"].fillna(students["score"].median())
เรียนบทนี้จบแล้วใช่ไหม
ทำเครื่องหมายว่าเรียนแล้วเพื่อติดตามความคืบหน้า