У меня есть датафрейм traininteractions.parquet , содержащий колонны: userid, itemid,…
- User
У меня есть датафрейм train_interactions.parquet , содержащий колонны: user_id, item_id, target (-1; 0; 1) Также учти, что имеются файлы с метаданными. Датафрейм users_meta содержит следующую информацию:
- user_id
- gender
- age Датафрейм items_meta содержит следующую информацию:
- item_id
- source_id
- duration
- embeddings (вектор размерностью 32, выделяющий признаки клипа)
Также есть датафрейм test_pairs.csv, содержащий колонны: user_id, item_id. Для него нужно предсказать target. Напиши код на Python с использованием модели LightFM и оцени ее качество на метрике ROC AUC
- Assistant
Конечно! Ниже представлен полный пример кода на Python, который выполняет следующие шаги:
- Загружает все необходимые данные.
- Обрабатывает метаданные пользователей и предметов.
- Преобразует идентификаторы пользователей и предметов в индексы.
- Создаёт матрицу взаимодействий для модели LightFM.
- Создаёт матрицы признаков для пользователей и предметов.
- Обучает модель LightFM.
- Проводит предсказания для тестового набора данных.
- Оценивает качество модели с помощью метрики ROC AUC.
Необходимые библиотеки
Убедитесь, что у вас установлены следующие библиотеки. Если нет, вы можете установить их с помощью
pip:pip install pandas pyarrow scipy scikit-learn lightfmПолный код
import pandas as pd import numpy as np from scipy import sparse from lightfm import LightFM from lightfm.data import Dataset from sklearn.preprocessing import OneHotEncoder, StandardScaler from sklearn.metrics import roc_auc_score from sklearn.model_selection import train_test_split # Шаг 1: Загрузка данных # Предполагается, что все файлы находятся в текущей директории. Измените пути при необходимости. # Загрузка взаимодействий train_interactions = pd.read_parquet('train_interactions.parquet') # Загрузка метаданных пользователей users_meta = pd.read_parquet('users_meta.parquet') # Загрузка метаданных предметов items_meta = pd.read_parquet('items_meta.parquet') # Загрузка тестовых пар test_pairs = pd.read_csv('test_pairs.csv') # Если test_pairs.csv содержит метку target, загрузите её также # Предполагаем, что есть столбец 'target' в test_pairs.csv для оценки ROC AUC # Если нет, необходимо иметь отдельный файл с метками # Пример: # test_pairs = pd.read_csv('test_pairs.csv') # test_labels = pd.read_csv('test_labels.csv') # например # Для этого примера предполагаем, что test_pairs содержит 'target' if 'target' not in test_pairs.columns: raise ValueError("test_pairs.csv должен содержать колонку 'target' для оценки ROC AUC.") # Шаг 2: Предобработка данных # Преобразование целевой переменной в бинарный формат # Предполагаем, что target == 1 это позитивное взаимодействие, остальные - негативные train_interactions['binary_target'] = train_interactions['target'].apply(lambda x: 1 if x == 1 else 0) test_pairs['binary_target'] = test_pairs['target'].apply(lambda x: 1 if x == 1 else 0) # Объединяем пользователей и предметы из train и test для согласованности all_users = pd.concat([train_interactions['user_id'], test_pairs['user_id'], users_meta['user_id']]).unique() all_items = pd.concat([train_interactions['item_id'], test_pairs['item_id'], items_meta['item_id']]).unique() # Создаём mappings user_id_map = {id_: idx for idx, id_ in enumerate(all_users)} item_id_map = {id_: idx for idx, id_ in enumerate(all_items)} # Применяем маппинг train_interactions['user_idx'] = train_interactions['user_id'].map(user_id_map) train_interactions['item_idx'] = train_interactions['item_id'].map(item_id_map) test_pairs['user_idx'] = test_pairs['user_id'].map(user_id_map) test_pairs['item_idx'] = test_pairs['item_id'].map(item_id_map) users_meta = users_meta[users_meta['user_id'].isin(all_users)].copy() items_meta = items_meta[items_meta['item_id'].isin(all_items)].copy() # Шаг 3: Создание матрицы взаимодействий num_users = len(all_users) num_items = len(all_items) # Создаём COO-матрицу interaction_matrix = sparse.coo_matrix( (train_interactions['binary_target'], (train_interactions['user_idx'], train_interactions['item_idx'])), shape=(num_users, num_items) ) # Преобразуем в CSR формат для эффективности interaction_matrix = interaction_matrix.tocsr() # Шаг 4: Создание матриц признаков # Обработка признаков пользователей # gender - категориальная, age - числовая # One-Hot Encoding для gender user_gender = users_meta[['gender']].fillna('unknown') ohe_gender = OneHotEncoder(sparse=True) user_gender_encoded = ohe_gender.fit_transform(user_gender) # Нормализация возраста scaler_age = StandardScaler() user_age = users_meta[['age']].fillna(users_meta['age'].median()) user_age_scaled = scaler_age.fit_transform(user_age) user_age_scaled = sparse.csr_matrix(user_age_scaled) # Объединяем пользовательские признаки user_features = sparse.hstack([user_gender_encoded, user_age_scaled]) # Обработка признаков предметов # source_id - категориальная, duration - числовая, embeddings - числовые # One-Hot Encoding для source_id item_source = items_meta[['source_id']].fillna('unknown') ohe_source = OneHotEncoder(sparse=True) item_source_encoded = ohe_source.fit_transform(item_source) # Нормализация duration scaler_duration = StandardScaler() item_duration = items_meta[['duration']].fillna(items_meta['duration'].median()) item_duration_scaled = scaler_duration.fit_transform(item_duration) item_duration_scaled = sparse.csr_matrix(item_duration_scaled) # Обработанные embeddings item_embeddings = np.vstack(items_meta['embeddings'].values) # Если embeddings содержат NaN, заменяем на 0 item_embeddings = np.nan_to_num(item_embeddings) item_embeddings = sparse.csr_matrix(item_embeddings) # Объединяем предметные признаки item_features = sparse.hstack([item_source_encoded, item_duration_scaled, item_embeddings]) # Шаг 5: Обучение модели LightFM # Разделение на тренировочную и валидационную выборки # Здесь используем train_test_split для простоты train_interaction, val_interaction = train_test_split( train_interactions, test_size=0.2, random_state=42, stratify=train_interactions['binary_target'] ) # Создаём матрицы для обучения и валидации train_matrix = sparse.coo_matrix( (train_interaction['binary_target'], (train_interaction['user_idx'], train_interaction['item_idx'])), shape=(num_users, num_items) ).tocsr() val_matrix = sparse.coo_matrix( (val_interaction['binary_target'], (val_interaction['user_idx'], val_interaction['item_idx'])), shape=(num_users, num_items) ).tocsr() # Инициализация модели model = LightFM(loss='warp') # Можно попробовать 'bpr' или 'warp-kos' # Обучение модели с учётом признаков model.fit( train_matrix, user_features=user_features, item_features=item_features, epochs=30, num_threads=4, verbose=True ) # Шаг 6: Предсказания на тестовом наборе # Предсказанные оценки test_user_indices = test_pairs['user_idx'].values test_item_indices = test_pairs['item_idx'].values # Предсказания test_scores = model.predict( test_user_indices, test_item_indices, user_features=user_features, item_features=item_features, num_threads=4 ) # Добавляем предсказания в test_pairs test_pairs['score'] = test_scores # Шаг 7: Оценка модели с использованием ROC AUC # Получение истинных меток и предсказанных вероятностей y_true = test_pairs['binary_target'].values y_scores = test_pairs['score'].astype(np.float32) # Вычисление ROC AUC roc_auc = roc_auc_score(y_true, y_scores) print(f'ROC AUC на тестовом наборе: {roc_auc:.4f}')Пояснения к коду
-
Загрузка данных: Используются
pandasдля загрузки parquet и CSV файлов. -
Предобработка данных:
- Целевая переменная
targetпреобразуется в бинарный формат:1для положительных взаимодействий и0для остальных. - Создаются словари
user_id_mapиitem_id_mapдля преобразования идентификаторов в индексы, необходимые для модели LightFM.
- Целевая переменная
-
Создание матрицы взаимодействий:
- Используется разреженная матрица COO, которая затем преобразуется в CSR формат для повышения эффективности.
-
Создание матриц признаков:
- Пользовательские признаки:
- Пол (
gender) кодируется с помощью One-Hot Encoding. - Возраст (
age) нормализуется с использованиемStandardScaler.
- Пол (
- Предметные признаки:
source_idкодируется с помощью One-Hot Encoding.durationнормализуется.- Вектор
embeddingsиспользуется как есть, преобразуется в разреженную матрицу.
- Все признаки объединяются в одну разреженную матрицу для пользователей и предметов соответственно.
- Пользовательские признаки:
-
Обучение модели LightFM:
- Данные разделяются на тренировочную и валидационную выборки.
- Модель инициализируется с использованием функции потерь
warp, которая хорошо подходит для рекомендаций. - Модель обучается с учётом пользовательских и предметных признаков.
-
Предсказания на тестовом наборе:
- Модель предсказывает оценки для каждой пары
user_idиitem_idиз тестового набора. - Эти оценки используются как вероятности для вычисления ROC AUC.
- Модель предсказывает оценки для каждой пары
-
Оценка модели:
- Используется метрика
roc_auc_scoreизscikit-learnдля оценки качества модели. - Выводится значение ROC AUC на тестовом наборе.
- Используется метрика
Дополнительные рекомендации
-
Тонкая настройка модели: Можно экспериментировать с различными параметрами модели LightFM, такими как количество факторов (
no_components), тип функции потерь (loss), регуляризации и количеством эпох. -
Альтернативные метрики: Помимо ROC AUC, можно рассмотреть другие метрики, такие как Precision@k, Recall@k или MAP для более полного понимания качества модели.
-
Улучшение признаков: Можно дополнительно обрабатывать и включать другие признаки из метаданных, такие как дополнительные сведения о пользователях или предметах.
-
Кросс-валидация: Для более надежной оценки модели рекомендуется использовать кросс-валидацию.
Надеюсь, этот пример поможет вам успешно реализовать рекомендательную систему с использованием LightFM. Если у вас возникнут дополнительные вопросы или потребуется помощь с конкретными частями кода, не стесняйтесь обращаться!