นับความถี่ของคำใน Python
ในบทเรียนนี้ คุณจะปรับข้อความให้เป็นมาตรฐานและนับว่าแต่ละคำปรากฏกี่ครั้งด้วย collections.Counter
บทนำ
ปัญหาที่ต้องแก้
คำไหนพบบ่อยที่สุดในรีวิวของลูกค้า ในหนังสือ หรือในคำค้นหา ข้อความจริงยาวเกินกว่าจะนับด้วยมือ และ "Python", "python" และ "python." ต้องนับเป็นคำเดียวกัน
ลองนึกภาพแบบนี้
การนับความถี่ของคำเหมือนการแยกบัตรลงคะแนนหลังการเลือกตั้ง ขั้นแรกทำให้ทุกบัตรอ่านได้แบบเดียวกัน (ตัวพิมพ์เล็ก ไม่มีเครื่องหมายวรรคตอน) แล้วขีดคะแนนให้แต่ละชื่อทุกครั้งที่เจอ สุดท้ายใบนับคะแนนจะบอกว่าใครชนะ
text.lower()🔡 อ่านทุกบัตรแบบเดียวกันre.findall(r"[a-z]+", ...)✂️ ตัดชื่อออกมา ทิ้งเครื่องหมายวรรคตอนCounter(words)📊 ใบนับคะแนน: ชื่อและจำนวนขีดprint(Counter(words))🏆 ผลลัพธ์ ขีดมากสุดก่อนความถี่ของคำคือจำนวนครั้งที่แต่ละคำปรากฏในข้อความ ก่อนนับมักต้องปรับคำให้เทียบกันได้ก่อน โดยเปลี่ยนเป็นตัวพิมพ์เล็กและลบเครื่องหมายวรรคตอน
ประเด็นสำคัญ
text.lower()ทำให้"Python"และ"python"เป็นคำเดียวกันre.findall(r"[a-z]+", ...)ดึงตัวอักษรที่อยู่ติดกันออกมาเป็นคำ ๆ จุดและช่องว่างจึงหายไปCounter(words)นับแต่ละคำและแสดงคำที่พบบ่อยที่สุดก่อน- ทั้ง
"python"และ"is"ปรากฏสองครั้งในตัวอย่าง
ใช้เมื่อไร?
- หาคำที่พบบ่อยในรีวิว log หรือคำตอบแบบสำรวจ
- ก้าวแรกของการวิเคราะห์ข้อความและการค้นหา
- ฝึกการทำความสะอาดข้อความและคลาส
Counter
เมื่อไรยังไม่จำเป็น
- ข้อความที่มีตัวอักษรพร้อมเครื่องหมาย เช่น ภาษาฝรั่งเศสหรือเวียดนาม:
[a-z]+ตัดตัวอักษรเหล่านั้นทิ้ง ให้ใช้แพตเทิร์นที่รองรับ Unicode - การวิเคราะห์ภาษาอย่างจริงจัง: ต้องรวมรูปคำอย่าง run กับ running เป็นคำเดียวกันด้วย ซึ่งต้องใช้ไลบรารี NLP (การประมวลผลภาษาธรรมชาติ)
โค้ดตัวอย่าง
from collections import Counter
import re
text = "Python is clear. Python is practical."
words = re.findall(r"[a-z]+", text.lower())
print(Counter(words))
ผลลัพธ์จากการรัน
Counter({'python': 2, 'is': 2, 'clear': 1, 'practical': 1})
อธิบายโค้ด
text.lower() เปลี่ยนข้อความทั้งหมดเป็นตัวพิมพ์เล็ก แล้วนิพจน์ปกติ [a-z]+ เก็บเฉพาะกลุ่มตัวอักษรและข้ามเครื่องหมายวรรคตอน Counter นับแต่ละคำในการวนรอบเดียวและเรียงตามความถี่จากมากไปน้อย python และ is จึงปรากฏคำละ 2 ครั้ง
เปลี่ยนค่าและรันโปรแกรมด้วย คอมไพเลอร์ Python ออนไลน์ของ CodeUtility โดยไม่ต้องติดตั้ง Python
แบบฝึกหัดเพิ่มเติม
ลองแก้โค้ดตามคำแนะนำด้านล่าง การเปลี่ยนโค้ดแล้วดูผลลัพธ์จะช่วยให้เข้าใจบทเรียนได้ดีกว่าการอ่านอย่างเดียวมาก
- เปลี่ยนข้อมูลอินพุตแล้วทายผลลัพธ์ก่อนรัน
- เพิ่มการตรวจสอบข้อมูลว่างหรือข้อมูลที่ไม่ถูกต้อง
- แยกขั้นตอนการประมวลผลเป็นฟังก์ชันและทดสอบกับข้อมูลหลายชุด
ข้อผิดพลาดที่พบบ่อย
ลืมทำเป็นตัวพิมพ์เล็ก
"Python" และ "python" ถูกนับเป็นสองคำที่ต่างกัน
re.findall(r"[a-z]+", text)
re.findall(r"[a-z]+", text.lower())
เรียนบทนี้จบแล้วใช่ไหม
ทำเครื่องหมายว่าเรียนแล้วเพื่อติดตามความคืบหน้า
ฝึกด้วยโจทย์
ใช้สิ่งที่เรียนในบทนี้แก้ปัญหาจริง ทุกโจทย์รันในเบราว์เซอร์ พร้อมการทดสอบทันทีและรีวิวจาก AI
- นับจำนวนคำ นับจำนวนคำในประโยคที่กำหนด ง่าย
- ความถี่ของตัวอักษร นับจำนวนครั้งที่ตัวอักษรแต่ละตัวปรากฏขึ้น ง่าย
- Tournament Standings Rank teams from match records. ปานกลาง