Worthäufigkeiten in Python zählen
In dieser Lektion normalisierst du einen Text und zählst mit collections.Counter, wie oft jedes Wort vorkommt.
Einführung
Das Problem
Welche Wörter kommen in Kundenbewertungen, in einem Buch oder in Suchanfragen am häufigsten vor? Von Hand zu zählen ist bei echten Texten unmöglich, und "Python", "python" und "python." müssen als dasselbe Wort zählen.
Stell es dir so vor
Worthäufigkeiten zu zählen ist wie Stimmzettel nach einer Wahl auszuzählen. Zuerst bringst du alle Zettel in dieselbe Schreibweise (kleingeschrieben, ohne Satzzeichen). Dann machst du neben einem Namen jedes Mal einen Strich, wenn er vorkommt. Die Strichliste zeigt den Gewinner.
text.lower()🔡 Alle Zettel in dieselbe Schreibweise bringenre.findall(r"[a-z]+", ...)✂️ Die Namen ausschneiden, die Satzzeichen weglassenCounter(words)📊 Die Strichliste: Name und Anzahl der Stricheprint(Counter(words))🏆 Die Ergebnisse, meiste Striche zuerstDie Worthäufigkeit gibt an, wie oft jedes einzelne Wort in einem Text vorkommt. Meist macht man die Wörter vorher vergleichbar: alles kleingeschrieben und ohne Satzzeichen.
Das Wichtigste
text.lower()macht"Python"und"python"zum selben Wort.re.findall(r"[a-z]+", ...)liefert jede Folge von Buchstaben, also verschwinden Punkte und Leerzeichen.Counter(words)zählt jedes Wort und zeigt die häufigsten zuerst.- Im Beispiel kommen sowohl
"python"als auch"is"zweimal vor.
Wann verwendet man das?
- Häufige Wörter in Bewertungen, Logs oder Umfrageantworten finden.
- Ein erster Schritt in Textanalyse und Suche.
- Textbereinigung und die Klasse
Counterüben.
Wann du es nicht brauchst
- Texte mit Akzentbuchstaben, etwa Französisch oder Vietnamesisch (oder deutsche Umlaute):
[a-z]+lässt diese Zeichen weg, nimm also ein Muster, das Unicode-Buchstaben erkennt. - Echte Sprachanalyse: Dabei müssen auch Formen wie run und running als ein Wort zählen, und dafür brauchst du eine NLP-Bibliothek.
Beispielcode
from collections import Counter
import re
text = "Python is clear. Python is practical."
words = re.findall(r"[a-z]+", text.lower())
print(Counter(words))
Ergebnis der Ausführung
Counter({'python': 2, 'is': 2, 'clear': 1, 'practical': 1})
Erklärung des Codes
Die Anweisung text.lower() wandelt den ganzen Text in Kleinbuchstaben um, und der reguläre Ausdruck [a-z]+ nimmt nur Buchstabenfolgen und ignoriert Satzzeichen. Counter zählt jedes Wort in einem einzigen Durchlauf und sortiert nach der Häufigkeit, deshalb kommen python und is jeweils 2-mal vor.
Ändere die Werte und führe das Programm im CodeUtility Python Online-Compiler aus, ohne Python lokal zu installieren.
Übungen zur Vertiefung
Ändere den Code anhand der folgenden Vorschläge. Wenn du selbst etwas änderst und das Ergebnis beobachtest, verstehst du viel mehr, als wenn du den Code nur liest.
- Ändere die Eingabedaten und sage das Ergebnis voraus, bevor du den Code ausführst.
- Füge eine Prüfung für leere oder ungültige Daten hinzu.
- Lagere die Logik in eine eigene Funktion aus und teste sie mit verschiedenen Datensätzen.
Häufige Fehler
Das Kleinschreiben vergessen
"Python" und "python" werden als zwei verschiedene Wörter gezählt.
re.findall(r"[a-z]+", text)
re.findall(r"[a-z]+", text.lower())
Lektion fertig?
Markiere sie als gelernt, um deinen Fortschritt zu verfolgen.
Mit einer Challenge üben
Nutze den Inhalt dieser Lektion, um ein echtes Problem zu lösen. Jede Challenge läuft im Browser, mit sofortigen Tests und einem KI-Review.
- Wörter zählen Zähle die Wörter in einem Satz. Einfach
- Zeichenhäufigkeit Zähle, wie oft jedes Zeichen vorkommt. Einfach
- Tournament Standings Rank teams from match records. Mittel