Manejar datos faltantes en pandas
En esta lección vas a localizar los valores faltantes (NaN) de un DataFrame y sustituirlos por la mediana de la columna.
Introducción
El problema
Los datos reales tienen huecos: una pregunta de encuesta sin responder, un sensor que se saltó una lectura, una celda que quedó vacía. Si ignoras los huecos, muchos cálculos fallan o dan respuestas engañosas. Tienes que encontrarlos y decidir qué hacer con ellos.
Imagínalo así
Tratar los valores que faltan es como un profesor cuyo cuaderno de notas tiene una celda vacía. Puede dejar fuera al estudiante o rellenar la celda con una estimación justa, como la nota central de la clase. En los dos casos, la decisión se toma a propósito.
np.nan⬜ La celda vacíastudents["score"].median()📏 Una estimación justa: la nota central, 90.fillna(...)🖊️ Rellena la celda vacía con ellastudents["score"] = ...💾 Guarda la columna rellenadaLos valores que faltan son celdas sin datos, que se muestran como NaN. Puedes rellenarlos con un valor como la mediana o quitar las filas que los contienen.
Puntos clave
np.nanmarca la nota de Lin como ausente.students["score"].median()ignora el hueco y devuelve 90.0, el punto medio entre 95 y 85..fillna(...)sustituye el hueco por ese valor.- Asignar el resultado de nuevo a
students["score"]guarda el cambio. La columna pasa a float porque NaN es un float.
¿Cuándo se usa?
- Limpiar datos de encuestas, sensores y formularios antes del análisis.
- Rellenar huecos con un valor típico para que los cálculos funcionen.
- Contar los huecos con
isna().sum()para valorar la calidad de los datos.
Cuándo no hace falta
- Faltan la mayoría de los valores de una columna: rellenarlos sería inventar datos. Plantéate quitar la columna.
- El hecho de que falte un valor es importante en sí mismo: guarda una columna aparte de True/False antes de rellenar.
Código de ejemplo
import pandas as pd
import numpy as np
students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())
print(students)
Resultado de la ejecución
name score
0 Ada 95.0
1 Lin 90.0
2 Sam 85.0
Explicación del código
La mediana se calcula con las notas disponibles, 95 y 85, y vale 90. El método fillna() sustituye el NaN de Lin por 90. El resultado se vuelve a asignar a la columna score para que el cambio quede guardado en el DataFrame. Usar la mediana en lugar de la media hace que el resultado se vea menos afectado por valores muy grandes o muy pequeños.
Cambia los valores y ejecuta el programa en el compilador Python online de CodeUtility sin instalar Python.
Ejercicios de práctica
Prueba a modificar el código siguiendo las ideas de abajo. Cambiar el código y ver el resultado te ayudará a entender la lección mucho mejor que solo leerla.
- Añade filas, columnas y algunos valores faltantes a los datos de ejemplo.
- Combina filtrado, ordenación y groupby para obtener un pequeño informe.
- Lee un archivo de datos real, comprueba el tipo de cada columna y trata los valores no válidos.
Errores comunes
No guardar el resultado
fillna devuelve una Series nueva. Si no la asignas, nada cambia.
students["score"].fillna(students["score"].median())
students["score"] = students["score"].fillna(students["score"].median())
¿Terminaste esta lección?
Márcala como aprendida para seguir tu progreso.