Запустить pandas онлайн

Работа с пропущенными данными в pandas

В этом уроке вы найдёте пропущенные значения (NaN) в DataFrame и замените их медианой столбца.

  • Средний
  • Чтение: 2 мин
  • Примеров для запуска: 1

Введение

Какую задачу это решает

В настоящих данных бывают пробелы: вопрос анкеты без ответа, пропущенное показание датчика, пустая ячейка. Многие вычисления ломаются или дают обманчивые ответы, если пробелы игнорировать, поэтому их нужно найти и решить, что с ними делать.

Пример из жизни

Обработка пропущенных значений похожа на учителя, у которого в журнале пустая ячейка. Можно не учитывать ученика, а можно заполнить ячейку честной оценкой, например средней по порядку отметкой класса. В любом случае решение принимается сознательно.

От пустой ячейки журнала к коду
np.nan⬜ Пустая ячейка
students["score"].median()📏 Честная оценка: срединный балл, 90
.fillna(...)🖊️ Заполнить ею пустую ячейку
students["score"] = ...💾 Сохранить заполненный столбец
Найдите пробелы, потом сознательно заполните или удалите их.
Одним предложением

Пропущенные значения - ячейки без данных, показанные как NaN; их можно заполнить значением, например медианой, или удалить содержащие их строки.

Главное

  1. np.nan отмечает балл Lin как пропущенный.
  2. students["score"].median() пропускает пробел и возвращает 90.0, середину между 95 и 85.
  3. .fillna(...) заменяет пробел этим значением.
  4. Присваивание обратно в students["score"] сохраняет изменение; столбец становится float, потому что NaN - это float.

Когда это нужно?

  • Очистка данных опросов, датчиков и форм перед анализом.
  • Заполнение пробелов типичным значением, чтобы вычисления могли выполняться.
  • Подсчёт пробелов через isna().sum(), чтобы оценить качество данных.

Когда это не нужно

  • Большинство значений в столбце пропущено: заполнение выдумывает данные; подумайте об удалении столбца.
  • Сам факт пропуска важен: до заполнения сохраните отдельный столбец True/False.

Пример кода

Запустить код →
main.py
import pandas as pd
import numpy as np

students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())

print(students)
Получить кнопку запуска для этого примера

Результат выполнения

name  score
0  Ada   95.0
1  Lin   90.0
2  Sam   85.0

Разбор кода

Медиана вычисляется по имеющимся баллам 95 и 85 и равна 90. Метод fillna() заменяет NaN у Lin на 90. Результат снова присваивается столбцу score, чтобы изменение сохранилось в DataFrame. Медиана вместо среднего делает результат менее чувствительным к очень большим или очень маленьким значениям.

Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.

Упражнения для практики

Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.

  1. Добавьте в пример строки, столбцы и несколько пропущенных значений.
  2. Объедините фильтрацию, сортировку и groupby, чтобы получить небольшой отчёт.
  3. Прочитайте реальный файл с данными, проверьте тип каждого столбца и обработайте неверные значения.
Запустить в компиляторе Python →

Частые ошибки

Результат не сохранён

fillna возвращает новый Series; без присваивания ничего не меняется.

Ошибка
students["score"].fillna(students["score"].median())
Исправление
students["score"] = students["score"].fillna(students["score"].median())

Закончили этот урок?

Отметьте его как изученный, чтобы следить за прогрессом.