Contare la frequenza delle parole in Python
In questa lezione normalizzerai un testo e conterai quante volte compare ogni parola con collections.Counter.
Introduzione
Il problema
Quali parole compaiono di più nelle recensioni dei clienti, in un libro o nelle ricerche? Contarle a mano è impossibile per testi veri, e "Python", "python" e "python." devono contare come la stessa parola.
Immaginalo così
Contare la frequenza delle parole è come smistare le schede dopo una votazione. Prima rendi ogni scheda leggibile allo stesso modo (minuscolo, niente punteggiatura), poi metti un segno accanto a ogni nome ogni volta che compare. Il foglio dei conteggi mostra il vincitore.
text.lower()🔡 Leggi ogni scheda allo stesso modore.findall(r"[a-z]+", ...)✂️ Ritaglia i nomi, scarta la punteggiaturaCounter(words)📊 Il foglio dei conteggi: nome e numero di segniprint(Counter(words))🏆 I risultati, prima chi ha più segniLa frequenza delle parole è quante volte compare ogni parola distinta in un testo, di solito dopo aver reso le parole confrontabili mettendole in minuscolo e togliendo la punteggiatura.
Punti chiave
text.lower()rende"Python"e"python"la stessa parola.re.findall(r"[a-z]+", ...)restituisce ogni sequenza di lettere, quindi punti e spazi spariscono.Counter(words)conta ogni parola e mostra per prime le più comuni.- Sia
"python"sia"is"compaiono due volte nell'esempio.
Quando si usa?
- Trovare le parole comuni in recensioni, log o risposte a sondaggi.
- Un primo passo nell'analisi del testo e nella ricerca.
- Esercitarsi a ripulire il testo e con la classe
Counter.
Quando non serve
- Testi con lettere accentate come il francese o il vietnamita:
[a-z]+scarta quei caratteri, quindi usa uno schema che gestisce Unicode. - Analisi linguistica vera: devi anche unire forme come run e running, il che richiede una libreria NLP.
Codice di esempio
from collections import Counter
import re
text = "Python is clear. Python is practical."
words = re.findall(r"[a-z]+", text.lower())
print(Counter(words))
Risultato dell'esecuzione
Counter({'python': 2, 'is': 2, 'clear': 1, 'practical': 1})
Spiegazione del codice
L'istruzione text.lower() porta tutto il testo in minuscolo, e l'espressione regolare [a-z]+ prende solo sequenze di lettere, ignorando la punteggiatura. Counter conta ogni parola in una sola passata e le ordina dalla più frequente, quindi python e is compaiono 2 volte ciascuna.
Modifica i valori ed esegui il programma nel compilatore Python online CodeUtility senza installare Python.
Esercizi di approfondimento
Prova a modificare il codice seguendo i suggerimenti qui sotto. Cambiare il codice e osservare il risultato ti aiuta a capire molto più che leggerlo soltanto.
- Cambia i dati di input e prova a prevedere il risultato prima di eseguire.
- Aggiungi un controllo per i dati vuoti o non validi.
- Sposta la logica in una funzione separata e provala con diversi insiemi di dati.
Errori comuni
Dimenticare il minuscolo
"Python" e "python" vengono contate come due parole diverse.
re.findall(r"[a-z]+", text)
re.findall(r"[a-z]+", text.lower())
Hai finito questa lezione?
Segnala come imparata per tenere traccia dei tuoi progressi.
Esercitati con una sfida
Usa ciò che questa lezione spiega per risolvere un problema reale. Ogni sfida gira nel browser, con test immediati e una revisione dell'IA.
- Conta Parole Conta le parole in una frase. Facile
- Frequenza dei caratteri Conta quante volte appare ciascun carattere. Facile
- Tournament Standings Rank teams from match records. Media