Ограниченные данные

Ограниченное количество отзывов затрудняет точное измерение сходства поль­ зователей при работе рекомендательных систем.

ОБЛАСТИ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ

Вот несколько примеров практического применения рекомендательных систем:

zz Две трети фильмов на Netflix находятся в рекомендациях. zz 35 % продаж Amazon происходит благодаря рекомендациям.

zz В новостях Google рекомендации генерируют на 38 % больше кликов.

zz Прогноз пользовательских предпочтений в отношении товара базируется на рейтинге других товаров.

zz Студентам университетов предлагаются курсы на основе их потребностей и предпочтений.

zzНа онлайн-порталах по поиску работы резюме сопоставляются с вакансиями.

Перейдем к решению реальной задачи с помощью механизма рекомендаций.

ПРАКТИЧЕСКИЙ ПРИМЕР — СОЗДАНИЕ РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЫ

Давайте создадим систему, которая сможет рекомендовать пользователям филь­ мы для просмотра. Мы используем данные, собранные исследовательской группой GroupLens Research Университета Миннесоты.

Выполним следующие действия.

1. Прежде всего импортируем необходимые библиотеки:

import pandas as pd import numpy as np

2. Теперь импортируем наборы данных user_id и item_id:

df_reviews = pd.read_csv('reviews.csv')

df_movie_titles = pd.read_csv('movies.csv',index_col=False)

3. Объединим два DataFrame по ID фильма:

df = pd.merge(df_users, df_movie_titles, on='movieId')

Заголовки таблицы df после выполнения предыдущего кода выглядят сле­ дующим образом (рис. 10.7).

Рис. 10.7

Ниже представлена расшифровка названий столбцов: yy userid: уникальный идентификатор пользователя; yy movieid: уникальный идентификатор фильма;

yy rating: оценка фильма от 1 до 5;

yy timestamp: отметка времени, когда фильм был оценен; yy title: название фильма;

yy genres: жанр фильма.

4.Чтобы увидеть общие тенденции входных данных, вычислим среднее значе­ ние и количество оценок для каждого фильма, используя groupbyпо столбцам title и rating (рис. 10.8).

Рис. 10.8

5.Чтобы подготовить данные для рекомендательной системы, преобразуем набор данных в матрицу со следующими характеристиками:

yy title — столбцы матрицы;

yy userid — будет использован как индекс; yy rating — значение в таблице.

Для этого используем функцию pivot_table из DataFrame:

movie_matrix = df.pivot_table(index='userId', columns='title', values='rating')

Обратите внимание, что этот код создаст очень разреженную матрицу.

6.Теперь применим созданную матрицу для рекомендации фильмов. Для этого выберем пользователя, который смотрел фильм «Аватар» (2009). Прежде всего найдем всех пользователей, которые проявили интерес к этому фильму:

Avatar_user_rating = movie_matrix['Avatar (2009)']

Avatar_user_rating = Avatar_user_rating.dropna()

Avatar_user_rating.head()

7.Далее попробуем предложить фильмы, которые соотносятся с «Аватаром». Рассчитаем корреляцию DataFrame Avatar_user_rating с movie_matrix:

similar_to_Avatar=movie_matrix.corrwith(Avatar_user_rating) corr_Avatar = pd.DataFrame(similar_to_Avatar, columns=['correlation'])

corr_Avatar.dropna(inplace=True)

corr_Avatar = corr_Avatar.join(df_ratings['number_of_ratings']) corr_Avatar.head()

Это даст следующий результат (рис. 10.9).

Рис. 10.9