Чтение данных CSV в pandas
В этом уроке вы прочитаете данные CSV в DataFrame с помощью функции read_csv() из pandas.
Когда используется pandas read_csv?
Какую задачу это решает
Большинство данных, с которыми вы встретитесь, хранятся в файлах CSV: выгрузки из таблиц, банковские выписки, логи датчиков. Если разбивать строки по запятым вручную, всё ломается на кавычках, пропущенных значениях и числах, сохранённых как текст. pandas правильно читает такие файлы одной строкой кода.
Пример из жизни
read_csv похож на оператора ввода данных, который переписывает список в электронную таблицу. Первая строка даёт заголовки столбцов, каждая следующая становится строкой таблицы, а оператор замечает, в каких столбцах числа.
"name,score\n..."📃 Строки текста CSVStringIO(csv_text)📂 Сделать вид, что текст - открытый файлpd.read_csv(...)🧑💼 Переписать его в таблицуstudents📊 Столбцы name и score, три строкиpd.read_csv загружает в DataFrame текст, где значения разделены запятыми, из файла или файлоподобного объекта. Первая строка становится именами столбцов, а тип каждого столбца pandas определяет сам.
CSV служит для обмена данными между таблицами, бизнес-системами, аналитическими инструментами, API и базами данных. pandas.read_csv() загружает данные в DataFrame для очистки, фильтрации и анализа.
Распространённые сценарии
- Анализировать экспорт из Excel, Google Sheets или CRM.
- Загружать наборы данных для data science и машинного обучения.
- Исправлять пропуски, неверные типы и дубликаты перед импортом.
Когда это нужно?
- Загрузка данных, выгруженных из таблиц, баз данных и сайтов.
- Массовое чтение логов и отчётов.
- Первый шаг почти любого анализа данных.
Когда это не нужно
- Файлы Excel с несколькими листами: используйте
pd.read_excel. - Файлы, которые не помещаются в память: читайте их частями через
chunksize.
Базовый пример
import pandas as pd
from io import StringIO
csv_text = "name,score\nAda,95\nLin,88\nSam,91"
students = pd.read_csv(StringIO(csv_text))
print(students)
Результат выполнения
name score
0 Ada 95
1 Lin 88
2 Sam 91
Продвинутый пример
Реальные CSV-файлы часто велики и содержат неточности. Этот пример выбирает нужные столбцы, разбирает даты, задаёт типы и распознаёт несколько форматов пропущенных значений.
import pandas as pd
sales = pd.read_csv(
"sales.csv",
usecols=["order_date", "product", "quantity", "revenue"],
parse_dates=["order_date"],
dtype={"product": "string", "quantity": "Int64"},
na_values=["", "N/A", "unknown"],
)
sales = sales.dropna(subset=["order_date", "product"])
monthly_revenue = sales.groupby(
sales["order_date"].dt.to_period("M")
)["revenue"].sum()
print(monthly_revenue)
Разбор кода
StringIO превращает строку в объект, который ведёт себя как открытый файл, поэтому read_csv() может прочитать его сразу, без временного файла. pandas распознаёт первую строку как заголовок и угадывает тип каждого столбца. Для реальных данных параметры dtype, parse_dates и na_values позволяют управлять чтением.
Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.
Упражнения для практики
Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.
- Добавьте в пример строки, столбцы и несколько пропущенных значений.
- Объедините фильтрацию, сортировку и groupby, чтобы получить небольшой отчёт.
- Прочитайте реальный файл с данными, проверьте тип каждого столбца и обработайте неверные значения.
Частые ошибки
Неверный разделитель
В европейских файлах CSV разделителем часто служит ;, и тогда всё попадает в один столбец.
pd.read_csv("data.csv")
pd.read_csv("data.csv", sep=";")
Закончили этот урок?
Отметьте его как изученный, чтобы следить за прогрессом.