Chạy pandas online

Xử lý giá trị bị thiếu trong pandas

Tìm các ô trống, rồi điền vào hoặc bỏ đi để phép tính của bạn không bị hỏng.

  • Trung cấp
  • Đọc trong 2 phút
  • 1 ví dụ chạy được
Bạn sẽ học được gì
  • Tìm NaN bằng isna()
  • fillna() với một giá trị hoặc trung vị
  • dropna() để bỏ hàng
score.fillna(median)
Ada95
LinNaN → 90.0 (trung vị)
Sam85

Tìm, rồi điền hoặc bỏ

Vấn đề

Dữ liệu thật luôn có lỗ hổng: một câu hỏi khảo sát bị bỏ trống, một cảm biến lỡ một lần đo, một ô chưa điền. Nhiều phép tính hỏng hoặc cho kết quả sai lệch nếu bỏ qua chúng, nên bạn phải tìm ra và quyết định cách xử lý.

Hình dung đời thường

Xử lý giá trị thiếu giống thầy cô có một ô trống trong sổ điểm. Có thể bỏ học sinh đó ra, hoặc điền vào một ước lượng hợp lý như điểm ở giữa của cả lớp. Dù chọn cách nào, đó phải là quyết định có chủ ý.

Từ ô trống trong sổ điểm đến code
np.nan⬜ Ô bị trống
students["score"].median()📏 Một ước lượng hợp lý: điểm ở giữa, 90
.fillna(...)🖊️ Điền nó vào ô trống
students["score"] = ...💾 Lưu cột đã điền trở lại
Tìm lỗ hổng, rồi điền hoặc bỏ đi một cách có chủ ý.
Định nghĩa ngắn gọn

Giá trị thiếu là các ô không có dữ liệu, hiển thị là NaN; bạn có thể điền vào đó một giá trị như trung vị, hoặc bỏ các hàng chứa chúng.

Những điểm quan trọng

  1. np.nan đánh dấu điểm của Lin là bị thiếu.
  2. students["score"].median() bỏ qua ô trống và trả về 90.0, điểm ở giữa của 95 và 85.
  3. .fillna(...) thay ô trống bằng giá trị đó.
  4. Gán lại vào students["score"] mới lưu thay đổi; cột thành kiểu float vì NaN là số thực.

Khi nào nên sử dụng?

  • Làm sạch dữ liệu khảo sát, cảm biến và biểu mẫu trước khi phân tích.
  • Điền lỗ hổng bằng giá trị điển hình để phép tính chạy được.
  • Đếm lỗ hổng bằng isna().sum() để đánh giá chất lượng dữ liệu.

Khi nào chưa cần

  • Phần lớn giá trị trong cột bị thiếu: điền vào là bịa dữ liệu; hãy cân nhắc bỏ cột.
  • Bản thân việc thiếu giá trị đã mang ý nghĩa: giữ một cột True/False riêng trước khi điền.

Code ví dụ

Chạy code →
main.py
import pandas as pd
import numpy as np

students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())

print(students)
Lấy nút Run cho ví dụ này

Kết quả khi chạy

name  score
0  Ada   95.0
1  Lin   90.0
2  Sam   85.0

Giải thích code

Trung vị được tính từ các điểm số có sẵn là 95 và 85, nên kết quả là 90. Phương thức fillna() thay giá trị NaN của Lin bằng 90. Kết quả được gán lại vào cột score để thay đổi được lưu vào DataFrame. Dùng trung vị thay vì trung bình giúp kết quả ít bị ảnh hưởng bởi những giá trị quá lớn hoặc quá nhỏ.

Thay đổi giá trị và chạy chương trình bằng trình chạy Python online của CodeUtility mà không cần cài Python.

Bài tập mở rộng

Hãy thử chỉnh sửa code theo các gợi ý dưới đây. Tự thay đổi và quan sát kết quả sẽ giúp bạn hiểu bài sâu hơn nhiều so với chỉ đọc code.

  1. Thêm dòng, cột và một vài giá trị bị thiếu vào dữ liệu mẫu.
  2. Kết hợp lọc, sắp xếp và groupby để tạo một báo cáo nhỏ.
  3. Đọc một file dữ liệu thật, kiểm tra kiểu dữ liệu của từng cột và xử lý các giá trị không hợp lệ.
Chạy trong trình biên dịch Python →

Lỗi hay gặp

Không lưu kết quả

fillna trả về một Series mới; không gán lại thì chẳng có gì thay đổi.

Sai
students["score"].fillna(students["score"].median())
Cách sửa
students["score"] = students["score"].fillna(students["score"].median())

Bạn học xong bài này chưa?

Đánh dấu đã học để theo dõi tiến độ của bạn.