pandas 온라인 실행

pandas에서 누락된 데이터 처리하기

이 레슨에서는 DataFrame에서 누락된 값(NaN)을 찾아 그 열의 중앙값으로 채웁니다.

  • 중급
  • 2분 분량
  • 실행 가능한 예제 1개

소개

어떤 문제를 해결하나요

실제 데이터에는 빈 곳이 있습니다. 응답하지 않은 설문 문항, 센서가 놓친 측정값, 비워 둔 칸이 그렇습니다. 빈 곳을 그냥 두면 계산이 안 되거나 잘못된 결론으로 이어지는 답이 나오는 경우가 많습니다. 그래서 빈 곳을 찾아내고 어떻게 처리할지 정해야 합니다. 이렇게 비어 있는 값을 결측값이라고 합니다.

일상 속 비유

결측값 처리는 성적부에 빈칸이 하나 있는 선생님의 상황과 같습니다. 선생님은 그 학생을 빼고 계산할 수도 있고, 반의 중간 점수처럼 무리 없는 추정값으로 칸을 채울 수도 있습니다. 어느 쪽이든 분명한 의도를 가지고 정합니다.

성적부의 빈칸에서 코드로
np.nan⬜ 빈칸
students["score"].median()📏 무리 없는 추정값: 중간 점수 90
.fillna(...)🖊️ 그 값으로 빈칸 채우기
students["score"] = ...💾 채운 열을 다시 저장하기
빈 곳을 찾은 다음, 채울지 버릴지 의도를 가지고 정합니다.
한 문장으로

결측값은 데이터가 없는 칸이며 NaN으로 표시됩니다. 중앙값 같은 값으로 채울 수도 있고, 결측값이 있는 행을 삭제할 수도 있습니다.

핵심 포인트

  1. np.nan은 Lin의 점수가 없다는 것을 나타냅니다.
  2. students["score"].median()은 결측값을 빼고 계산해서 90.0을 돌려줍니다. 95와 85의 한가운데 값입니다.
  3. .fillna(...)는 결측값을 그 값으로 채웁니다.
  4. students["score"]에 다시 대입해야 변경된 내용이 남습니다. NaN이 float이기 때문에 이 열의 타입은 float가 됩니다.

언제 사용하나요?

  • 설문, 센서, 입력 양식으로 모은 데이터를 분석하기 전에 정리할 때.
  • 계산을 할 수 있도록 결측값을 대표적인 값으로 채울 때.
  • isna().sum()으로 결측값의 개수를 세어 데이터 품질을 가늠할 때.

필요 없는 경우

  • 열의 값이 대부분 비어 있는 경우: 채우면 없는 데이터를 지어내는 셈입니다. 열 자체를 빼는 것을 고려합니다.
  • 값이 없다는 사실 자체가 중요한 경우: 채우기 전에 결측 여부를 True/False로 담은 열을 따로 만들어 둡니다.

예제 코드

코드 실행 →
main.py
import pandas as pd
import numpy as np

students = pd.DataFrame({"name": ["Ada", "Lin", "Sam"], "score": [95, np.nan, 85]})
students["score"] = students["score"].fillna(students["score"].median())

print(students)
이 예제의 실행 버튼 만들기

실행 결과

name  score
0  Ada   95.0
1  Lin   90.0
2  Sam   85.0

코드 설명

중앙값은 남아 있는 점수 95와 85로 계산하며 90입니다. fillna() 메서드가 Lin의 NaN을 90으로 바꿉니다. 결과를 score 열에 다시 대입해야 변경 사항이 DataFrame에 저장됩니다. 평균 대신 중앙값을 쓰면 아주 크거나 작은 값의 영향을 덜 받습니다.

값을 변경하고 Python 설치 없이 CodeUtility 온라인 Python 컴파일러에서 실행하세요.

연습 문제

아래 제안을 따라 코드를 바꿔 보세요. 코드를 직접 고치고 결과를 확인하면 읽기만 할 때보다 레슨을 훨씬 잘 이해할 수 있습니다.

  1. 예제 데이터에 행, 열, 누락된 값을 몇 개 추가해 보세요.
  2. 걸러 내기, 정렬, groupby를 조합해 작은 보고서를 만들어 보세요.
  3. 실제 데이터 파일을 읽고 각 열의 타입을 확인한 뒤 잘못된 값을 처리해 보세요.
Python 컴파일러에서 실행 →

자주 하는 실수

결과를 저장하지 않기

fillna는 새 Series를 돌려줍니다. 대입하지 않으면 아무것도 바뀌지 않습니다.

문제
students["score"].fillna(students["score"].median())
수정
students["score"] = students["score"].fillna(students["score"].median())

이 레슨을 마쳤나요?

학습 완료로 표시하면 진행 상황을 기록할 수 있습니다.