pandas로 CSV 데이터 읽기
이 레슨에서는 pandas의 read_csv() 함수로 CSV 데이터를 DataFrame으로 읽어 들입니다.
pandas read_csv는 언제 사용할까?
어떤 문제를 해결하나요
만나게 될 대부분의 데이터는 CSV 파일에 저장되어 있습니다. 스프레드시트에서 내보낸 것, 은행 거래 내역, 센서 로그. 줄과 쉼표를 손으로 나누면 따옴표, 빠진 값, 텍스트로 저장된 숫자에서 깨집니다. pandas 는 한 줄로 올바르게 읽습니다.
일상 속 비유
read_csv 는 목록을 스프레드시트에 옮겨 적는 입력 담당자와 같습니다. 첫 줄이 열 제목이 되고, 그다음 줄마다 행 하나가 되며, 담당자는 어떤 열에 숫자가 들었는지 알아챕니다.
"name,score\n..."📃 CSV 텍스트의 줄들StringIO(csv_text)📂 텍스트를 열린 파일처럼 다루기pd.read_csv(...)🧑💼 표로 옮겨 적기students📊 name 과 score 열, 세 행pd.read_csv 는 파일이나 파일 같은 객체의 쉼표로 구분된 텍스트를 DataFrame 으로 읽으며, 첫 줄을 열 이름으로 쓰고 열마다 타입을 추측합니다.
CSV는 스프레드시트, 업무 시스템, 분석 도구, API와 데이터베이스 사이에서 데이터를 교환할 때 널리 사용됩니다. pandas.read_csv()는 CSV를 DataFrame으로 읽어 정제, 필터링과 분석을 가능하게 합니다.
주요 활용 사례
- Excel, Google Sheets 또는 CRM의 내보내기 데이터를 분석합니다.
- 데이터 과학과 머신러닝용 dataset을 불러옵니다.
- 가져오기 전에 결측값, 잘못된 자료형과 중복 데이터를 정리합니다.
언제 사용하나요?
- 스프레드시트, 데이터베이스, 웹사이트에서 내보낸 데이터 불러오기.
- 로그와 보고서를 한꺼번에 읽기.
- 거의 모든 데이터 분석의 첫 단계.
필요 없는 경우
- 시트가 여러 개인 Excel 파일:
pd.read_excel을 씁니다. - 메모리에 다 안 들어가는 파일:
chunksize로 나눠 읽습니다.
기본 예제
import pandas as pd
from io import StringIO
csv_text = "name,score\nAda,95\nLin,88\nSam,91"
students = pd.read_csv(StringIO(csv_text))
print(students)
실행 결과
name score
0 Ada 95
1 Lin 88
2 Sam 91
고급 예제
실제 CSV 파일은 크고 불완전한 경우가 많습니다. 이 예제는 필요한 열을 선택하고 날짜를 파싱하며 자료형을 지정하고 여러 형태의 결측값을 인식합니다.
import pandas as pd
sales = pd.read_csv(
"sales.csv",
usecols=["order_date", "product", "quantity", "revenue"],
parse_dates=["order_date"],
dtype={"product": "string", "quantity": "Int64"},
na_values=["", "N/A", "unknown"],
)
sales = sales.dropna(subset=["order_date", "product"])
monthly_revenue = sales.groupby(
sales["order_date"].dt.to_period("M")
)["revenue"].sum()
print(monthly_revenue)
코드 설명
StringIO는 문자열을 열린 파일처럼 동작하는 객체로 바꾸므로, 임시 파일을 만들지 않고도 read_csv()로 바로 읽을 수 있습니다. pandas는 첫 줄을 헤더로 인식하고 각 열의 타입을 추측합니다. 실제 데이터에서는 dtype, parse_dates, na_values 같은 매개변수로 읽는 방식을 조절할 수 있습니다.
값을 변경하고 Python 설치 없이 CodeUtility 온라인 Python 컴파일러에서 실행하세요.
연습 문제
아래 제안을 따라 코드를 바꿔 보세요. 코드를 직접 고치고 결과를 확인하면 읽기만 할 때보다 레슨을 훨씬 잘 이해할 수 있습니다.
- 예제 데이터에 행, 열, 누락된 값을 몇 개 추가해 보세요.
- 걸러 내기, 정렬, groupby를 조합해 작은 보고서를 만들어 보세요.
- 실제 데이터 파일을 읽고 각 열의 타입을 확인한 뒤 잘못된 값을 처리해 보세요.
자주 하는 실수
틀린 구분자
유럽의 CSV 파일은 ; 를 쓰는 경우가 많아 모든 것이 한 열에 들어갑니다.
pd.read_csv("data.csv")
pd.read_csv("data.csv", sep=";")
이 레슨을 마쳤나요?
학습 완료로 표시하면 진행 상황을 기록할 수 있습니다.