Xử lý giá trị bị thiếu trong pandas
Tìm các ô trống, rồi điền vào hoặc bỏ đi để phép tính của bạn không bị hỏng.
- Tìm NaN bằng isna()
- fillna() với một giá trị hoặc trung vị
- dropna() để bỏ hàng
Ada95LinNaN → 90.0 (trung vị)Sam85Tìm, rồi điền hoặc bỏ
Vấn đề
Dữ liệu thật luôn có lỗ hổng: một câu hỏi khảo sát bị bỏ trống, một cảm biến lỡ một lần đo, một ô chưa điền. Nhiều phép tính hỏng hoặc cho kết quả sai lệch nếu bỏ qua chúng, nên bạn phải tìm ra và quyết định cách xử lý.
Hình dung đời thường
Xử lý giá trị thiếu giống thầy cô có một ô trống trong sổ điểm. Có thể bỏ học sinh đó ra, hoặc điền vào một ước lượng hợp lý như điểm ở giữa của cả lớp. Dù chọn cách nào, đó phải là quyết định có chủ ý.
np.nan⬜ Ô bị trốngstudents["score"].median()📏 Một ước lượng hợp lý: điểm ở giữa, 90.fillna(...)🖊️ Điền nó vào ô trốngstudents["score"] = ...💾 Lưu cột đã điền trở lạiGiá trị thiếu là các ô không có dữ liệu, hiển thị là NaN; bạn có thể điền vào đó một giá trị như trung vị, hoặc bỏ các hàng chứa chúng.
Những điểm quan trọng
np.nanđánh dấu điểm của Lin là bị thiếu.students["score"].median()bỏ qua ô trống và trả về 90.0, điểm ở giữa của 95 và 85..fillna(...)thay ô trống bằng giá trị đó.- Gán lại vào
students["score"]mới lưu thay đổi; cột thành kiểu float vì NaN là số thực.
Khi nào nên sử dụng?
- Làm sạch dữ liệu khảo sát, cảm biến và biểu mẫu trước khi phân tích.
- Điền lỗ hổng bằng giá trị điển hình để phép tính chạy được.
- Đếm lỗ hổng bằng
isna().sum()để đánh giá chất lượng dữ liệu.
Khi nào chưa cần
- Phần lớn giá trị trong cột bị thiếu: điền vào là bịa dữ liệu; hãy cân nhắc bỏ cột.
- Bản thân việc thiếu giá trị đã mang ý nghĩa: giữ một cột True/False riêng trước khi điền.
Code ví dụ
import pandas as pd
import numpy as np
students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())
print(students)
Kết quả khi chạy
name score
0 Ada 95.0
1 Lin 90.0
2 Sam 85.0
Giải thích code
Trung vị được tính từ các điểm số có sẵn là 95 và 85, nên kết quả là 90. Phương thức fillna() thay giá trị NaN của Lin bằng 90. Kết quả được gán lại vào cột score để thay đổi được lưu vào DataFrame. Dùng trung vị thay vì trung bình giúp kết quả ít bị ảnh hưởng bởi những giá trị quá lớn hoặc quá nhỏ.
Thay đổi giá trị và chạy chương trình bằng trình chạy Python online của CodeUtility mà không cần cài Python.
Bài tập mở rộng
Hãy thử chỉnh sửa code theo các gợi ý dưới đây. Tự thay đổi và quan sát kết quả sẽ giúp bạn hiểu bài sâu hơn nhiều so với chỉ đọc code.
- Thêm dòng, cột và một vài giá trị bị thiếu vào dữ liệu mẫu.
- Kết hợp lọc, sắp xếp và groupby để tạo một báo cáo nhỏ.
- Đọc một file dữ liệu thật, kiểm tra kiểu dữ liệu của từng cột và xử lý các giá trị không hợp lệ.
Lỗi hay gặp
Không lưu kết quả
fillna trả về một Series mới; không gán lại thì chẳng có gì thay đổi.
students["score"].fillna(students["score"].median())
students["score"] = students["score"].fillna(students["score"].median())
Bạn học xong bài này chưa?
Đánh dấu đã học để theo dõi tiến độ của bạn.