Gérer les données manquantes dans pandas
Dans cette leçon, vous allez repérer les valeurs manquantes (NaN) d'un DataFrame et les remplacer par la médiane de la colonne.
Introduction
Le problème
Les vraies données ont des trous : une question de sondage sans réponse, un capteur qui a raté une mesure, une case laissée vide. Beaucoup de calculs cassent ou donnent des réponses trompeuses si on ignore les trous ; il faut donc les trouver et décider quoi en faire.
Imaginez-le ainsi
Gérer les valeurs manquantes, c'est comme un enseignant dont le carnet de notes a une case vide. Il peut laisser l'élève de côté, ou remplir la case avec une estimation juste comme la note médiane de la classe. Dans les deux cas, la décision est prise volontairement.
np.nan⬜ La case videstudents["score"].median()📏 Une estimation juste : la note du milieu, 90.fillna(...)🖊️ Remplir la case vide avecstudents["score"] = ...💾 Réenregistrer la colonne remplieLes valeurs manquantes sont des cases sans donnée, affichées NaN ; vous pouvez les remplir avec une valeur comme la médiane ou supprimer les lignes qui en contiennent.
Points clés
np.nanmarque la note de Lin comme manquante.students["score"].median()ignore le trou et renvoie 90.0, le milieu de 95 et 85..fillna(...)remplace le trou par cette valeur.- Réaffecter à
students["score"]garde la modification ; la colonne devient float car NaN est un float.
Quand l’utiliser ?
- Nettoyer des données de sondage, de capteurs et de formulaires avant l'analyse.
- Remplir les trous avec une valeur typique pour que les calculs puissent tourner.
- Compter les trous avec
isna().sum()pour juger la qualité des données.
Quand s'en passer
- La plupart des valeurs d'une colonne manquent : les remplir invente des données ; envisagez de supprimer la colonne.
- Le fait qu'une valeur manque est lui-même important : gardez une colonne True/False séparée avant de remplir.
Code d’exemple
import pandas as pd
import numpy as np
students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())
print(students)
Résultat de l’exécution
name score
0 Ada 95.0
1 Lin 90.0
2 Sam 85.0
Explication du code
La médiane est calculée à partir des notes disponibles, 95 et 85, et vaut 90. La méthode fillna() remplace le NaN de Lin par 90. Le résultat est réaffecté à la colonne score pour que la modification soit enregistrée dans le DataFrame. Utiliser la médiane plutôt que la moyenne rend le résultat moins sensible aux valeurs très grandes ou très petites.
Modifiez les valeurs et exécutez le programme avec le compilateur Python en ligne CodeUtility, sans installation locale.
Exercices d’approfondissement
Essayez de modifier le code en suivant les pistes ci-dessous. Changer le code et observer le résultat vous fera bien mieux comprendre la leçon que la simple lecture.
- Ajoutez des lignes, des colonnes et quelques valeurs manquantes aux données d’exemple.
- Combinez filtrage, tri et groupby pour produire un petit rapport.
- Lisez un vrai fichier de données, vérifiez le type de chaque colonne et traitez les valeurs invalides.
Erreurs fréquentes
Ne pas enregistrer le résultat
fillna renvoie une nouvelle Series ; sans l'affecter, rien ne change.
students["score"].fillna(students["score"].median())
students["score"] = students["score"].fillna(students["score"].median())
Leçon terminée ?
Marquez-la comme apprise pour suivre votre progression.