Xoá phần tử trùng trong list Python mà vẫn giữ thứ tự
Giữ lại lần xuất hiện đầu tiên của mỗi giá trị theo thứ tự ban đầu, dùng một set để nhớ những gì đã gặp.
- Ghi nhớ giá trị đã gặp bằng set
- Tạo list kết quả có thứ tự
- Mẹo dict.fromkeys
Chỉ thêm giá trị ở lần gặp đầu tiên
Vấn đề
Dữ liệu hay bị lặp: cùng một email đăng ký hai lần, cùng một tag được thêm lại. Đổi sang set sẽ bỏ được trùng lặp, nhưng set làm mất thứ tự ban đầu, mà thứ tự lại quan trọng, ví dụ thứ tự người dùng đăng ký.
Hình dung đời thường
Bỏ trùng lặp mà giữ thứ tự giống cuốn sổ ký tên ở một buổi tiệc. Mỗi khi khách đến, bạn xem danh sách tên đã ghi. Tên mới thì ghi thêm, tên đã có thì bỏ qua. Cuốn sổ giữ đúng thứ tự khách đến.
seen = set()📖 Những cái tên đã ghivalue in seen🔎 Vị khách này đã có trong sổ chưa?seen.add(value)✍️ Ghi tên một vị khách mớiunique📋 Khách theo thứ tự đến: [1, 2, 3, 4]Bỏ trùng lặp mà giữ thứ tự nghĩa là giữ lần xuất hiện đầu tiên của mỗi giá trị và bỏ các lần lặp lại sau đó.
Những điểm quan trọng
seenlà một set ghi nhớ những giá trị đã xuất hiện.value in seenkiểm tra rất nhanh một giá trị đã được giữ hay chưa.seen.add(value)trả về None, nênvalue in seen or seen.add(value)là False với giá trị mới và đồng thời thêm nó vào.uniquelà[1, 2, 3, 4], theo thứ tự các giá trị xuất hiện lần đầu.
Khi nào nên sử dụng?
- Làm sạch danh sách email, mã hay tag mà vẫn giữ thứ tự.
- Luyện dùng set để kiểm tra phần tử nhanh.
- Bỏ các sự kiện hay dòng log bị lặp.
Khi nào chưa cần
- Thứ tự không quan trọng:
set(values)ngắn hơn. - Cần code dễ đọc hơn là gọn trong một dòng:
list(dict.fromkeys(values))hoặc vòng lặp bình thường rõ ràng hơn mẹoseen.add.
Code ví dụ
values = [1, 2, 1, 3, 2, 4]
seen = set()
# Add each value only on its first occurrence.
unique = [value for value in values if not (value in seen or seen.add(value))]
print(unique)
Kết quả khi chạy
[1, 2, 3, 4]
Giải thích code
List comprehension chỉ giữ lại value nếu điều kiện not (value in seen or seen.add(value)) đúng. Với giá trị lần đầu xuất hiện, value in seen là False nên seen.add(value) được gọi để ghi nhớ nó. Hàm add() trả về None nên điều kiện cuối cùng là True và giá trị được giữ lại. Những lần gặp lại, value in seen là True nên giá trị bị bỏ qua.
Thay đổi giá trị và chạy chương trình bằng trình chạy Python online của CodeUtility mà không cần cài Python.
Bài tập mở rộng
Hãy thử chỉnh sửa code theo các gợi ý dưới đây. Tự thay đổi và quan sát kết quả sẽ giúp bạn hiểu bài sâu hơn nhiều so với chỉ đọc code.
- Thay đổi dữ liệu đầu vào và đoán trước kết quả rồi mới chạy để kiểm tra.
- Thêm phần kiểm tra cho trường hợp dữ liệu rỗng hoặc không hợp lệ.
- Đưa phần xử lý vào một hàm riêng và thử với nhiều bộ dữ liệu khác nhau.
Lỗi hay gặp
Dùng set khi thứ tự quan trọng
Set không giữ thứ tự các phần tử được thêm vào.
unique = list(set(values)) # order is not guaranteed
unique = list(dict.fromkeys(values))
Bạn học xong bài này chưa?
Đánh dấu đã học để theo dõi tiến độ của bạn.
Luyện tập với thử thách
Áp dụng kiến thức của bài học này để giải một bài toán thực tế. Mỗi thử thách chạy ngay trên trình duyệt, có kiểm thử tức thì và AI nhận xét.
Tất cả thử thách