Объединение двух DataFrame в pandas
В этом уроке вы объедините два DataFrame по общему ключевому столбцу с помощью метода merge().
Введение
Какую задачу это решает
Связанные данные часто хранятся в отдельных таблицах: имена студентов в одной, баллы в другой, а связывает их ID студента. Чтобы анализировать их вместе, нужно сопоставить строки по общему ключу, как при join в базе данных.
Пример из жизни
Слияние таблиц похоже на сопоставление бейджей с контрольными работами по номеру студента. Вы кладёте две стопки рядом и скрепляете степлером бейдж и работу с одинаковым номером.
students🏷️ Бейджи с idscores📝 Контрольные с idmerge(scores, on="id")📎 Скрепить те, у кого одинаковый idid, name, score📋 По строке на каждого сопоставленного студентаmerge объединяет два DataFrame, сопоставляя значения в одном или нескольких столбцах-ключах; по умолчанию сохраняются только ключи, найденные в обеих таблицах (внутреннее соединение).
Главное
students.merge(scores, on="id")сопоставляет строки с одинаковымid.- В каждой строке результата есть столбцы обеих таблиц: id, name и score.
- По умолчанию сохраняются только id, которые есть в обеих таблицах.
- Столбец
idпоявляется один раз, потому что это ключ.
Когда это нужно?
- Объединение таблиц из базы данных или нескольких файлов.
- Добавление информации, например имён или цен, к строкам, где есть только ID.
- Сравнение двух версий набора данных.
Когда это не нужно
- Наложение таблиц с одинаковыми столбцами друг на друга: используйте
pd.concat. - Ключи, которые не уникальны ни с одной стороны: каждое совпадение умножает строки, поэтому сначала проверьте дубликаты.
Пример кода
import pandas as pd
students = pd.DataFrame({"id": [1, 2], "name": ["Ada", "Lin"]})
scores = pd.DataFrame({"id": [1, 2], "score": [95, 88]})
print(students.merge(scores, on="id"))
Результат выполнения
id name score
0 1 Ada 95
1 2 Lin 88
Разбор кода
Параметр on="id" делает столбец id ключом, который связывает две таблицы. По умолчанию merge() выполняет внутреннее соединение (inner join): оставляет только те id, что есть в обеих таблицах, и собирает их столбцы в итоговую таблицу. Перед объединением проверьте тип ключевого столбца и наличие дубликатов, чтобы не получить неверный результат.
Измените значения и запустите программу в онлайн-компиляторе Python CodeUtility без локальной установки Python.
Упражнения для практики
Попробуйте изменить код по подсказкам ниже. Если менять код и смотреть на результат, урок запомнится гораздо лучше, чем при простом чтении.
- Добавьте в пример строки, столбцы и несколько пропущенных значений.
- Объедините фильтрацию, сортировку и groupby, чтобы получить небольшой отчёт.
- Прочитайте реальный файл с данными, проверьте тип каждого столбца и обработайте неверные значения.
Частые ошибки
Незаметная потеря строк
Внутреннее соединение по умолчанию отбрасывает студентов без балла.
students.merge(scores, on="id")
students.merge(scores, on="id", how="left")
Закончили этот урок?
Отметьте его как изученный, чтобы следить за прогрессом.