Pandas без пропавших файлов. 16 задач анализа данных

Почему таблицы лучше сначала делать маленькими

Pandas часто изучают на больших файлах. Это выглядит солидно, но мешает понять ошибку: результат изменился из-за фильтра, типа данных, пропуска, дубля или порядка сортировки. В этой книге все таблицы маленькие и находятся прямо в тексте. Их можно перепечатать, изменить и сразу увидеть, что поменялось.

Задача книги — не перечислить весь pandas. Мы берём рабочие действия, которые чаще всего ломаются у новичка: прочитать данные, выбрать строки, посчитать новый показатель, сгруппировать, объединить справочник, обработать даты и вернуть компактный отчёт. Каждый раз сначала фиксируется вопрос к данным, потом код, потом проверка результата.

Примеры написаны для pandas 2.2. Они используют только память процесса: данные передаются через StringIO, файлы на компьютере не читаются и не создаются. Это осознанное ограничение. В реальной работе вы замените StringIO на путь к CSV или Excel, но логика очистки и проверки останется той же.

Как запускать примеры

Установите Python 3 и pandas в отдельное учебное окружение. Скопируйте один пример в файл task.py и запустите его. В книге ожидаемый результат напечатан через repr, чтобы были видны списки, словари, строки и округления. Если вывод отличается, сначала проверьте, не изменили ли вы исходную таблицу.

Во всех задачах таблицы синтетические: заказы, товары, просмотры, тесты и клиенты придуманы для обучения. Не подставляйте реальные персональные данные, финансовые выгрузки или клиентские базы в чужие онлайн-сервисы ради проверки. Для тренировки достаточно локального запуска.

У pandas часто есть несколько правильных способов решить одну задачу. В книге выбран один путь, который легче проверить на маленьком наборе. Если вы нашли другой вариант, сравните не только итоговое число, но и порядок строк, типы, пропуски и правила округления.

Что считать хорошим ответом

Хороший ответ в анализе данных состоит из трёх частей: что именно посчитано, на каких строках, и какие ограничения остались. Сумма продаж без статуса оплаты, среднее без обработки пропусков или конверсия без размера группы могут выглядеть убедительно, но отвечают не на тот вопрос.

Поэтому в каждом разборе есть типичная ошибка. Иногда она даёт число, которое кажется правдоподобным. Проверка маленькой таблицей помогает увидеть, почему такое число нельзя нести в отчёт.

Задача 1. Прочитать CSV из текста и проверить типы

Нужно убедиться, что таблица загрузилась полностью, даты стали датами, сумма не потерялась, а регионы видны как отдельные значения.

import pandas as pd

from io import StringIO

DATA = """order_id,date,region,amount

A1,2026-09-01,west,1200

A2,2026-09-01,east,850

A3,2026-09-02,west,430

A4,2026-09-03,east,900

"""

df = pd.read_csv(StringIO(DATA), parse_dates=["date"])

result = {

"rows": int(len(df)),

"amount_sum": int(df["amount"].sum()),

"first_date": df["date"].min().strftime("%Y-%m-%d"),

"regions": sorted(df["region"].unique().tolist()),

}

print(repr(result))

{'rows': 4, 'amount_sum': 3380, 'first_date': '2026-09-01', 'regions': ['east', 'west']}

StringIO делает строку похожей на файл, но не требует внешнего CSV. Это удобно для обучения и для воспроизводимого примера в книге.

parse_dates нужен сразу при чтении: иначе минимальная дата будет строкой, и дальнейшая работа с месяцами или днями недели станет хрупкой.

Проверка количества строк и суммы — простой сторожевой тест. Если позже фильтр или merge случайно выбросят строки, такая проверка быстро покажет проблему.

Не считайте, что read_csv всегда сам угадает нужный тип. Числа он обычно распознаёт, но даты лучше указывать явно.

Добавьте строку A5 за 2026-09-04 в регион north на 700 рублей. Какими должны стать rows, amount_sum и regions?

Вернуться к маршруту

Задача 2. Отфильтровать оплаченные крупные заказы

Нужно выбрать только оплаченные заказы от 1000 рублей и показать их в порядке убывания суммы.

import pandas as pd

from io import StringIO

DATA = """order_id,status,amount

A1,paid,1200

A2,cancelled,2100

A3,paid,650

A4,paid,1000

A5,paid,3100

"""

df = pd.read_csv(StringIO(DATA))

chosen = df[(df["status"] == "paid") & (df["amount"] >= 1000)].copy()

chosen = chosen.sort_values(["amount", "order_id"], ascending=[False, True])

result = chosen["order_id"].tolist()

print(repr(result))

['A5', 'A1', 'A4']

Условия объединены через &: первое отвечает за статус, второе — за нижнюю границу суммы. Скобки вокруг каждого сравнения обязательны.

copy отделяет выбранный фрагмент от исходной таблицы. В простом примере это не меняет результат, но избавляет от предупреждений и неоднозначности при дальнейших правках.