Đếm tần suất từ trong Python với Counter
Từ nào xuất hiện nhiều nhất? Tách từ, đếm bằng collections.Counter và lấy các từ phổ biến nhất chỉ với một lời gọi.
- Chuẩn hoá văn bản và tách từ bằng re.findall
- Đếm với collections.Counter
- Tìm các từ xuất hiện nhiều nhất
"python"2"is"2"clear"1"practical"1Văn bản → từ → số lần xuất hiện
Vấn đề
Những từ nào xuất hiện nhiều nhất trong các đánh giá của khách hàng, trong một cuốn sách hay trong các lượt tìm kiếm? Đếm tay là không thể với văn bản thật, và "Python", "python", "python." phải được tính là cùng một từ.
Hình dung đời thường
Đếm tần suất từ giống kiểm phiếu sau một cuộc bầu chọn. Trước tiên bạn làm cho mọi lá phiếu được đọc theo cùng một cách (chữ thường, không dấu câu), rồi đánh một dấu cạnh mỗi cái tên mỗi lần nó xuất hiện. Tờ kiểm phiếu cho biết ai thắng.
text.lower()🔡 Đọc mọi lá phiếu theo cùng một cáchre.findall(r"[a-z]+", ...)✂️ Cắt lấy các cái tên, bỏ dấu câuCounter(words)📊 Tờ kiểm phiếu: tên và số dấuprint(Counter(words))🏆 Kết quả, nhiều dấu nhất đứng đầuTần suất từ là số lần mỗi từ khác nhau xuất hiện trong văn bản, thường được đếm sau khi đưa các từ về dạng so sánh được bằng cách viết thường và bỏ dấu câu.
Những điểm quan trọng
text.lower()làm cho"Python"và"python"thành cùng một từ.re.findall(r"[a-z]+", ...)trả về mọi đoạn liên tiếp toàn chữ cái, nên dấu chấm và dấu cách biến mất.Counter(words)đếm từng từ và hiện từ phổ biến nhất trước.- Trong ví dụ, cả
"python"và"is"đều xuất hiện hai lần.
Khi nào nên sử dụng?
- Tìm các từ hay gặp trong đánh giá, log hay câu trả lời khảo sát.
- Bước đầu tiên của phân tích văn bản và tìm kiếm.
- Luyện làm sạch chữ và dùng class
Counter.
Khi nào chưa cần
- Văn bản có chữ có dấu như tiếng Pháp hay tiếng Việt:
[a-z]+làm mất các ký tự đó, hãy dùng mẫu hỗ trợ Unicode. - Phân tích ngôn ngữ thật sự: còn phải gộp các dạng từ như run và running, việc cần thư viện NLP.
Code ví dụ
from collections import Counter
import re
text = "Python is clear. Python is practical."
words = re.findall(r"[a-z]+", text.lower())
print(Counter(words))
Kết quả khi chạy
Counter({'python': 2, 'is': 2, 'clear': 1, 'practical': 1})
Giải thích code
Câu lệnh text.lower() đưa toàn bộ văn bản về chữ thường, sau đó biểu thức chính quy [a-z]+ chỉ lấy các chuỗi chữ cái và bỏ qua dấu câu. Counter đếm số lần xuất hiện của từng từ trong một lần duyệt và sắp xếp theo số lần giảm dần, nên python và is đều xuất hiện 2 lần.
Thay đổi giá trị và chạy chương trình bằng trình chạy Python online của CodeUtility mà không cần cài Python.
Bài tập mở rộng
Hãy thử chỉnh sửa code theo các gợi ý dưới đây. Tự thay đổi và quan sát kết quả sẽ giúp bạn hiểu bài sâu hơn nhiều so với chỉ đọc code.
- Thay đổi dữ liệu đầu vào và đoán trước kết quả rồi mới chạy để kiểm tra.
- Thêm phần kiểm tra cho trường hợp dữ liệu rỗng hoặc không hợp lệ.
- Đưa phần xử lý vào một hàm riêng và thử với nhiều bộ dữ liệu khác nhau.
Lỗi hay gặp
Quên đổi sang chữ thường
"Python" và "python" bị đếm thành hai từ khác nhau.
re.findall(r"[a-z]+", text)
re.findall(r"[a-z]+", text.lower())
Bạn học xong bài này chưa?
Đánh dấu đã học để theo dõi tiến độ của bạn.
Luyện tập với thử thách
Áp dụng kiến thức của bài học này để giải một bài toán thực tế. Mỗi thử thách chạy ngay trên trình duyệt, có kiểm thử tức thì và AI nhận xét.
- Đếm Số Từ Đếm số từ trong một câu. Dễ
- Tần suất ký tự Đếm số lần xuất hiện của mỗi ký tự. Dễ
- Tournament Standings Rank teams from match records. Trung bình