Gộp DataFrame trong pandas với merge
Nối hai bảng theo một cột chung, giống phép JOIN trong SQL, và chọn những hàng cần giữ.
- merge(on="id")
- how="inner", "left", "right" và "outer"
- Xử lý các cột trùng tên
- 1 Ada
- 2 Lin
- 1 → 95
- 2 → 88
- 1 Ada 95
- 2 Lin 88
Ghép hàng theo khoá
Vấn đề
Dữ liệu liên quan thường nằm ở các bảng riêng: tên học sinh ở một bảng, điểm ở bảng khác, nối với nhau bằng mã học sinh. Muốn phân tích chung, bạn phải ghép các hàng theo khóa chung đó, giống phép nối (join) trong cơ sở dữ liệu.
Hình dung đời thường
Ghép bảng giống ghép thẻ tên với bài kiểm tra theo mã số học sinh. Bạn đặt hai chồng cạnh nhau rồi bấm ghim thẻ tên với bài có cùng mã số.
students🏷️ Thẻ tên có mã idscores📝 Bài kiểm tra có mã idmerge(scores, on="id")📎 Ghim những tờ có cùng id lại với nhauid, name, score📋 Mỗi học sinh ghép được là một hàngmerge kết hợp hai DataFrame bằng cách ghép những hàng có giá trị trùng nhau ở một hoặc nhiều cột khóa; mặc định nó chỉ giữ những khóa có ở cả hai bảng (inner join).
Những điểm quan trọng
students.merge(scores, on="id")ghép những hàng có cùngid.- Mỗi hàng kết quả có các cột của cả hai bảng: id, name và score.
- Mặc định chỉ những id có mặt ở cả hai bảng được giữ lại.
- Cột
idchỉ xuất hiện một lần, vì nó là khóa.
Khi nào nên sử dụng?
- Kết hợp các bảng từ cơ sở dữ liệu hoặc nhiều file.
- Bổ sung thông tin như tên hay giá cho những hàng chỉ có mã.
- So sánh hai phiên bản của một bộ dữ liệu.
Khi nào chưa cần
- Xếp chồng các bảng có cùng cột lên nhau: dùng
pd.concat. - Khóa bị trùng ở một trong hai bảng: mỗi lần khớp lại sinh thêm hàng, nên hãy kiểm tra trùng lặp trước.
Code ví dụ
import pandas as pd
students = pd.DataFrame({"id": [1, 2], "name": ["Ada", "Lin"]})
scores = pd.DataFrame({"id": [1, 2], "score": [95, 88]})
print(students.merge(scores, on="id"))
Kết quả khi chạy
id name score
0 1 Ada 95
1 2 Lin 88
Giải thích code
Tham số on="id" chỉ định cột id là khóa để ghép hai bảng. Mặc định merge() thực hiện inner join, tức là chỉ giữ lại những id xuất hiện ở cả hai bảng, rồi ghép các cột của chúng thành một bảng kết quả. Trước khi gộp, bạn nên kiểm tra kiểu dữ liệu của cột khóa và các giá trị bị trùng để tránh kết quả sai.
Thay đổi giá trị và chạy chương trình bằng trình chạy Python online của CodeUtility mà không cần cài Python.
Bài tập mở rộng
Hãy thử chỉnh sửa code theo các gợi ý dưới đây. Tự thay đổi và quan sát kết quả sẽ giúp bạn hiểu bài sâu hơn nhiều so với chỉ đọc code.
- Thêm dòng, cột và một vài giá trị bị thiếu vào dữ liệu mẫu.
- Kết hợp lọc, sắp xếp và groupby để tạo một báo cáo nhỏ.
- Đọc một file dữ liệu thật, kiểm tra kiểu dữ liệu của từng cột và xử lý các giá trị không hợp lệ.
Lỗi hay gặp
Mất hàng mà không để ý
Kiểu inner join mặc định bỏ mất những học sinh chưa có điểm.
students.merge(scores, on="id")
students.merge(scores, on="id", how="left")
Bạn học xong bài này chưa?
Đánh dấu đã học để theo dõi tiến độ của bạn.