Tratar dados ausentes no pandas
Nesta lição, você vai encontrar valores ausentes (NaN) em um DataFrame e substituí-los pela mediana da coluna.
Introdução
O problema
Dados reais têm lacunas: uma pergunta de pesquisa sem resposta, um sensor que perdeu uma leitura, uma célula deixada vazia. Muitos cálculos quebram ou dão respostas enganosas se as lacunas forem ignoradas, então você precisa encontrá-las e decidir o que fazer.
Pense assim
Tratar valores ausentes é como um professor cujo diário de notas tem uma célula vazia. Ele pode deixar o aluno de fora, ou preencher a célula com uma estimativa justa, como a nota do meio da turma. De um jeito ou de outro, ele decide de propósito.
np.nan⬜ A célula vaziastudents["score"].median()📏 Uma estimativa justa: a nota do meio, 90.fillna(...)🖊️ Preencha a célula vazia com elastudents["score"] = ...💾 Guarde de volta a coluna preenchidaValores ausentes são células sem dados, mostradas como NaN. Você pode preenchê-las com um valor como a mediana, ou remover as linhas que as contêm.
Pontos-chave
np.nanmarca a nota de Lin como ausente.students["score"].median()ignora a lacuna e devolve 90.0, o meio entre 95 e 85..fillna(...)troca a lacuna por esse valor.- Atribuir de volta a
students["score"]mantém a mudança. A coluna vira float porque NaN é um float.
Quando usar?
- Limpar dados de pesquisas, sensores e formulários antes da análise.
- Preencher lacunas com um valor típico para os cálculos poderem rodar.
- Contar lacunas com
isna().sum()para julgar a qualidade dos dados.
Quando não é preciso
- A maioria dos valores de uma coluna está ausente: preencher seria inventar dados. Pense em remover a coluna.
- O fato de um valor estar ausente é importante por si só: guarde uma coluna separada de True/False antes de preencher.
Código de exemplo
import pandas as pd
import numpy as np
students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())
print(students)
Resultado da execução
name score
0 Ada 95.0
1 Lin 90.0
2 Sam 85.0
Explicação do código
A mediana é calculada com as notas disponíveis, 95 e 85, e dá 90. O método fillna() substitui o NaN de Lin por 90. O resultado é atribuído de volta à coluna score para que a mudança fique salva no DataFrame. Usar a mediana em vez da média deixa o resultado menos sensível a valores muito altos ou muito baixos.
Altere os valores e execute o programa no compilador Python online CodeUtility sem instalar Python.
Exercícios práticos
Tente modificar o código seguindo as sugestões abaixo. Mudar o código e observar o resultado ajuda você a entender muito mais do que só ler.
- Adicione linhas, colunas e alguns valores ausentes aos dados de exemplo.
- Combine filtro, ordenação e groupby para montar um pequeno relatório.
- Leia um arquivo de dados real, confira o tipo de cada coluna e trate os valores inválidos.
Erros comuns
Não guardar o resultado
fillna devolve uma nova Series. Se você não a atribuir, nada muda.
students["score"].fillna(students["score"].median())
students["score"] = students["score"].fillna(students["score"].median())
Terminou esta lição?
Marque como aprendida para acompanhar seu progresso.