Fehlende Daten in pandas behandeln
In dieser Lektion findest du fehlende Werte (NaN) in einem DataFrame und ersetzt sie durch den Median der Spalte.
Einführung
Das Problem
Echte Daten haben Lücken: eine unbeantwortete Umfragefrage, ein Sensor, der einen Messwert verpasst hat, eine leer gelassene Zelle. Viele Berechnungen scheitern oder liefern irreführende Antworten, wenn die Lücken ignoriert werden. Du musst sie also finden und entscheiden, was du tust.
Stell es dir so vor
Fehlende Werte zu behandeln ist wie bei einer Lehrerin, deren Notenbuch eine leere Zelle hat. Sie kann den Schüler weglassen oder die Zelle mit einer fairen Schätzung füllen, etwa der mittleren Note der Klasse. So oder so trifft sie die Entscheidung bewusst.
np.nan⬜ Die leere Zellestudents["score"].median()📏 Eine faire Schätzung: die mittlere Punktzahl, 90.fillna(...)🖊️ Die leere Zelle damit füllenstudents["score"] = ...💾 Die gefüllte Spalte zurückspeichernFehlende Werte sind Zellen ohne Daten, angezeigt als NaN. Du kannst sie mit einem Wert wie dem Median füllen oder die Zeilen entfernen, die sie enthalten.
Das Wichtigste
np.nanmarkiert die Punktzahl von Lin als fehlend.students["score"].median()ignoriert die Lücke und liefert 90.0, die Mitte zwischen 95 und 85..fillna(...)ersetzt die Lücke durch diesen Wert.- Die Zuweisung zurück an
students["score"]behält die Änderung; die Spalte wird zu float, weil NaN ein float ist.
Wann verwendet man das?
- Umfrage-, Sensor- und Formulardaten vor der Analyse bereinigen.
- Lücken mit einem typischen Wert füllen, damit Berechnungen laufen können.
- Lücken mit
isna().sum()zählen, um die Datenqualität einzuschätzen.
Wann du es nicht brauchst
- Die meisten Werte einer Spalte fehlen: Sie aufzufüllen erfindet Daten; überlege, die Spalte zu entfernen.
- Dass ein Wert fehlt, ist selbst wichtig: Lege vor dem Füllen eine eigene True/False-Spalte an.
Beispielcode
import pandas as pd
import numpy as np
students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())
print(students)
Ergebnis der Ausführung
name score
0 Ada 95.0
1 Lin 90.0
2 Sam 85.0
Erklärung des Codes
Der Median wird aus den vorhandenen Punktzahlen 95 und 85 berechnet und beträgt 90. Die Methode fillna() ersetzt das NaN von Lin durch 90. Das Ergebnis wird der Spalte score wieder zugewiesen, damit die Änderung im DataFrame gespeichert wird. Der Median statt des Mittelwerts macht das Ergebnis unempfindlicher gegenüber sehr großen oder sehr kleinen Werten.
Ändere die Werte und führe das Programm im CodeUtility Python Online-Compiler aus, ohne Python lokal zu installieren.
Übungen zur Vertiefung
Ändere den Code anhand der folgenden Vorschläge. Wenn du selbst etwas änderst und das Ergebnis beobachtest, verstehst du viel mehr, als wenn du den Code nur liest.
- Füge den Beispieldaten Zeilen, Spalten und ein paar fehlende Werte hinzu.
- Kombiniere Filtern, Sortieren und groupby zu einem kleinen Bericht.
- Lies eine echte Datendatei ein, prüfe den Datentyp jeder Spalte und behandle ungültige Werte.
Häufige Fehler
Das Ergebnis nicht speichern
fillna liefert eine neue Series; ohne Zuweisung ändert sich nichts.
students["score"].fillna(students["score"].median())
students["score"] = students["score"].fillna(students["score"].median())
Lektion fertig?
Markiere sie als gelernt, um deinen Fortschritt zu verfolgen.