6

Агрегирование данных

Зачастую данные необходимо агрегировать для того,

чтобы принимать взвешенные решения на их осно-

ве. Агрегирование — это процесс сбора данных для их

представления в обобщенном виде путем группировки по промежуточным, итоговым, средним или другим статистическим показателям. В этой главе мы рассмотрим методы

агрегирования, встроенные в pandas, и обсудим, как их можно использовать для анализа данных.

Агрегирование — эффективный способ получить общую картину большого датасета и лучше понять его значения. Например, крупному розничному бизнесу может быть интересно узнать показатели брендов или посмотреть на общие объемы продаж в разных регионах. Владельцу сайта может понадобиться определить наиболее привлекательные материалы, основываясь на количестве посетителей. Климатологу может потребоваться определить самые солнечные места в регионе на основе среднего количества солнечных дней в году.

Агрегирование помогает ответить на подобные вопросы, обеспечивая объединение отдельных значений и их представление в обобщенном виде. Поскольку агрегирование представляет информацию на основе связанных кластеров данных, предполагается, что первым шагом должна стать группировка этих данных по одному или нескольким признакам. Например, в случае крупного розничного продавца сгруппировать данные можно по брендам или по регионам и датам.

134      Глава 6. Агрегирование данных

details, который мы преобразуем в еще один датафрейм. Каждый кортеж представляет собой строку заказа с полями, соответствующими номеру заказа, названию товара, бренду, цене и количеству:

details = [

(9423517, 'Jeans', 'Rip Curl', 87.0, 1), (9423517, 'Jacket', 'The North Face', 112.0, 1), (4626232, 'Socks', 'Vans', 15.0, 1),

(4626232, 'Jeans', 'Quiksilver', 82.0, 1), (9423534, 'Socks', 'DC', 10.0, 2), (9423534, 'Socks', 'Quiksilver', 12.0, 2), (9423679, 'T-shirt', 'Patagonia', 35.0, 1), (4626377, 'Hoody', 'Animal', 44.0, 1),

(4626377, 'Cargo Shorts', 'Animal', 38.0, 1), (4626412, 'Shirt', 'Volcom', 78.0, 1), (9423783, 'Boxer Shorts', 'Superdry', 30.0, 2), (9423783, 'Shorts', 'Globe', 26.0, 1), (4626490, 'Cargo Shorts', 'Billabong', 54.0, 1), (4626490, 'Sweater', 'Dickies', 56.0, 1)

]

# преобразуем список в DataFrame

df_details = pd.DataFrame(details, columns =['OrderNo', 'Item', 'Brand', 'Price', 'Quantity'])

Информацию о сотрудниках компании будем хранить в третьем датафрейме. Создадим его из списка кортежей emps, который содержит номера, имена и местоположение сотрудников:

emps = [

(9001, 'Jeff Russell', 'LA'),

(9002, 'Jane Boorman', 'San Francisco'), (9003, 'Tom Heints', 'NYC'),

(9004, 'Maya Silver', 'Philadelphia')

]

df_emps = pd.DataFrame(emps, columns =['Empno', 'Empname', 'Location'])

Наконец, у нас есть информация о городе и регионе каждого склада. Она хранится в списке кортежей с именем locations. Из этих данных формируем четвертый датафрейм:

locations = [

('LA', 'West'),

('San Francisco', 'West'), ('NYC', 'East'),

Объединение датафреймов      135

('Philadelphia', 'East')

]

df_locations = pd.DataFrame(locations, columns =['Location', 'Region'])

После преобразования данных в формат DataFrame их можно по-разному агрегировать, что позволит ответить на всевозможные вопросы о состоянии бизнеса. Например, можно просмотреть показатели продаж по различным регионам, генерируя промежуточные итоги на конкретную дату. Для этого сначала нужно объединить соответствующие данные в один датафрейм, затем распределить их по группам и применить к получившимся группам агрегатные функции.

Объединение датафреймов

Необходимые для агрегирования данные часто приходится собирать из множества различных контейнеров. Наш пример не исключение. Даже данные заказов распределены между двумя датафреймами: df_ordersи df_details. Наша цель — получить суммы продаж по регионам и по датам. Какие датафреймы нужно объединить и какие именно столбцы из них взять?

Поскольку нам нужен общий объем продаж, из df_detailsнужно взять колонки Price (цена) и Quantity (количество), из df_orders колонку Date (дата), а из df_locations — Region (регион). Следовательно, необходимо объединить следующие датафреймы: df_orders, df_details и df_locations.

Датафреймы df_orders и df_details можно объединить непосредственно вызовом метода pandas merge(), как показано ниже:

df_sales = df_orders.merge(df_details)

ПРИМЕЧАНИЕ

Чтобыразобраться,какработаетmerge(),обратитеськразделу«Объединения «один-ко-многим»» в главе 3.

Мы объединяем датафреймы по столбцу OrderNo (номер заказа). Указывать это в явном виде необязательно, поскольку OrderNo присутствует в обоих датафреймах и будет выбран по умолчанию. Объединенный датафрейм теперь содержит одну запись для каждой строки заказа, как в df_details, но теперь вместе с информацией, добавленной из соответствующих записей из df_orders.

Объединение датафреймов      137

Теперь нужно объединить датафрейм df_sales, который мы только что создали, и датафрейм df_regions. Однако не получится объединить их напрямую, потому что у них нет общих столбцов. Вместо этого объединим их через датафрейм df_emps, который имеет один общий столбец с df_sales и один — с df_regions. В частности, df_sales и df_emps можно объединить по столбцу Empno, именно поэтому мы сохранили данный столбец в df_sales, а df_emps и df_locations объединяются по столбцу Location (местоположение). Реализуем объединение с помощью метода merge():

df_sales_emps = df_sales.merge(df_emps) df_result = df_sales_emps.merge(df_locations)

Выводим датафрейм df_result:

И снова вы, возможно, захотите удалить ненужные столбцы и оставить только те, которые действительно полезны. На этот раз можно избавиться от Empno,

Empname и Location, оставив только Date, Region и Total:

df_result = df_result[['Date','Region','Total']]

Теперь содержимое df_result выглядит следующим образом: