รัน pandas ออนไลน์

จัดการข้อมูลที่หายไปใน pandas

ในบทเรียนนี้ คุณจะหาค่าที่หายไป (NaN) ใน DataFrame และแทนด้วยค่ามัธยฐานของคอลัมน์

  • ระดับกลาง
  • อ่าน 2 นาที
  • ตัวอย่างที่รันได้ 1 ตัวอย่าง

บทนำ

ปัญหาที่ต้องแก้

ข้อมูลจริงมักมีช่องว่าง เช่น คำถามในแบบสอบถามที่ไม่มีคนตอบ เซนเซอร์ที่อ่านค่าพลาดไปบางครั้ง หรือช่องที่ถูกปล่อยว่างไว้ ถ้ามองข้ามช่องว่างเหล่านี้ การคำนวณหลายอย่างจะพังหรือให้คำตอบที่ชวนเข้าใจผิด เราจึงต้องหาช่องว่างให้เจอ แล้วตัดสินใจว่าจะจัดการอย่างไร

ลองนึกภาพแบบนี้

การจัดการค่าที่หายไปเหมือนครูที่เจอช่องว่างในสมุดคะแนน ครูอาจตัดนักเรียนคนนั้นออกจากการคิด หรือเติมช่องด้วยค่าประมาณที่ยุติธรรม เช่น คะแนนกลางของห้อง จะเลือกแบบไหนก็ต้องเป็นการตัดสินใจอย่างตั้งใจ

จากช่องว่างในสมุดคะแนนสู่โค้ด
np.nan⬜ ช่องว่าง
students["score"].median()📏 ค่าประมาณที่ยุติธรรม: คะแนนตรงกลาง 90
.fillna(...)🖊️ เติมช่องว่างด้วยค่านั้น
students["score"] = ...💾 บันทึกคอลัมน์ที่เติมแล้วกลับเข้าตาราง
หาช่องว่างให้เจอ แล้วตั้งใจเลือกว่าจะเติมหรือตัดทิ้ง
สรุปในประโยคเดียว

ค่าที่หายไป (missing value) คือช่องที่ไม่มีข้อมูล แสดงเป็น NaN เราเติมช่องเหล่านี้ด้วยค่าอื่น เช่น มัธยฐาน หรือลบแถวที่มีช่องว่างทิ้งก็ได้

ประเด็นสำคัญ

  1. np.nan บอกว่าคะแนนของ Lin หายไป
  2. students["score"].median() ข้ามช่องว่างไป และส่งกลับ 90.0 ซึ่งอยู่ตรงกลางระหว่าง 95 กับ 85
  3. .fillna(...) แทนช่องว่างด้วยค่านั้น
  4. ต้องกำหนดค่ากลับให้ students["score"] การเปลี่ยนแปลงจึงจะคงอยู่ และคอลัมน์จะกลายเป็น float เพราะ NaN เป็นชนิด float

ใช้เมื่อไร?

  • ทำความสะอาดข้อมูลจากแบบสอบถาม เซนเซอร์ และฟอร์ม ก่อนวิเคราะห์
  • เติมช่องว่างด้วยค่าที่เป็นตัวแทนทั่วไป เพื่อให้คำนวณต่อได้
  • นับช่องว่างด้วย isna().sum() เพื่อดูคุณภาพของข้อมูล

เมื่อไรยังไม่จำเป็น

  • ค่าส่วนใหญ่ในคอลัมน์หายไป: การเติมเท่ากับแต่งข้อมูลขึ้นมาเอง ควรพิจารณาตัดคอลัมน์นั้นทิ้ง
  • การที่ค่าหายไปนั้นเป็นข้อมูลสำคัญในตัวเอง: สร้างคอลัมน์ True/False เก็บแยกไว้ก่อนเติม

โค้ดตัวอย่าง

รันโค้ด →
main.py
import pandas as pd
import numpy as np

students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())

print(students)
สร้างปุ่ม Run สำหรับตัวอย่างนี้

ผลลัพธ์จากการรัน

name  score
0  Ada   95.0
1  Lin   90.0
2  Sam   85.0

อธิบายโค้ด

ค่ามัธยฐานคำนวณจากคะแนนที่มีอยู่คือ 95 และ 85 ได้ 90 เมธอด fillna() แทน NaN ของ Lin ด้วย 90 ผลลัพธ์ถูกกำหนดกลับให้คอลัมน์ score เพื่อให้การเปลี่ยนแปลงถูกบันทึกใน DataFrame การใช้มัธยฐานแทนค่าเฉลี่ยทำให้ผลลัพธ์ได้รับผลกระทบจากค่าที่สูงหรือต่ำมาก ๆ น้อยลง

เปลี่ยนค่าและรันโปรแกรมด้วย คอมไพเลอร์ Python ออนไลน์ของ CodeUtility โดยไม่ต้องติดตั้ง Python

แบบฝึกหัดเพิ่มเติม

ลองแก้โค้ดตามคำแนะนำด้านล่าง การเปลี่ยนโค้ดแล้วดูผลลัพธ์จะช่วยให้เข้าใจบทเรียนได้ดีกว่าการอ่านอย่างเดียวมาก

  1. เพิ่มแถว คอลัมน์ และค่าที่หายไปบางส่วนในข้อมูลตัวอย่าง
  2. รวมการกรอง การเรียง และ groupby เพื่อสร้างรายงานเล็ก ๆ
  3. อ่านไฟล์ข้อมูลจริง ตรวจชนิดของแต่ละคอลัมน์ และจัดการค่าที่ไม่ถูกต้อง
รันในคอมไพเลอร์ Python →

ข้อผิดพลาดที่พบบ่อย

ไม่บันทึกผลลัพธ์

fillna ส่งกลับ Series ตัวใหม่ ถ้าไม่กำหนดค่ากลับ ข้อมูลเดิมจะไม่เปลี่ยน

ปัญหา
students["score"].fillna(students["score"].median())
วิธีแก้
students["score"] = students["score"].fillna(students["score"].median())

เรียนบทนี้จบแล้วใช่ไหม

ทำเครื่องหมายว่าเรียนแล้วเพื่อติดตามความคืบหน้า