Работа с пропущенными данными в pandas
В этом уроке вы найдёте пропущенные значения (NaN) в DataFrame и замените их медианой столбца.
Введение
Какую задачу это решает
В настоящих данных бывают пробелы: вопрос анкеты без ответа, пропущенное показание датчика, пустая ячейка. Многие вычисления ломаются или дают обманчивые ответы, если пробелы игнорировать, поэтому их нужно найти и решить, что с ними делать.
Пример из жизни
Обработка пропущенных значений похожа на учителя, у которого в журнале пустая ячейка. Можно не учитывать ученика, а можно заполнить ячейку честной оценкой, например средней по порядку отметкой класса. В любом случае решение принимается сознательно.
np.nan⬜ Пустая ячейкаstudents["score"].median()📏 Честная оценка: срединный балл, 90.fillna(...)🖊️ Заполнить ею пустую ячейкуstudents["score"] = ...💾 Сохранить заполненный столбецПропущенные значения - ячейки без данных, показанные как NaN; их можно заполнить значением, например медианой, или удалить содержащие их строки.
Главное
np.nanотмечает балл Lin как пропущенный.students["score"].median()пропускает пробел и возвращает 90.0, середину между 95 и 85..fillna(...)заменяет пробел этим значением.- Присваивание обратно в
students["score"]сохраняет изменение; столбец становится float, потому что NaN - это float.
Когда это нужно?
- Очистка данных опросов, датчиков и форм перед анализом.
- Заполнение пробелов типичным значением, чтобы вычисления могли выполняться.
- Подсчёт пробелов через
isna().sum(), чтобы оценить качество данных.
Когда это не нужно
- Большинство значений в столбце пропущено: заполнение выдумывает данные; подумайте об удалении столбца.
- Сам факт пропуска важен: до заполнения сохраните отдельный столбец True/False.
Пример кода
import pandas as pd
import numpy as np
students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())
print(students)
Результат выполнения
name score
0 Ada 95.0
1 Lin 90.0
2 Sam 85.0
Разбор кода
Медиана вычисляется по имеющимся баллам 95 и 85 и равна 90. Метод fillna() заменяет NaN у Lin на 90. Результат снова присваивается столбцу score, чтобы изменение сохранилось в DataFrame. Медиана вместо среднего делает результат менее чувствительным к очень большим или очень маленьким значениям.
Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.
Упражнения для практики
Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.
- Добавьте в пример строки, столбцы и несколько пропущенных значений.
- Объедините фильтрацию, сортировку и groupby, чтобы получить небольшой отчёт.
- Прочитайте реальный файл с данными, проверьте тип каждого столбца и обработайте неверные значения.
Частые ошибки
Результат не сохранён
fillna возвращает новый Series; без присваивания ничего не меняется.
students["score"].fillna(students["score"].median())
students["score"] = students["score"].fillna(students["score"].median())
Закончили этот урок?
Отметьте его как изученный, чтобы следить за прогрессом.