у меня етсь датафрейм train, содержащий колонны userid, advcampaignid и target. Обучи…
- User
у меня етсь датафрейм train, содержащий колонны user_id, adv_campaign_id и target. Обучи модель lightFm для создания рекомендаций на 80% датасета, и провалидируй ее качество на оставшихся 20% датасета по метрике ROC AUC усредненной для каждого user_id
- Assistant
Конечно! Вот пример полного рабочего кода на Python, который выполняет все запрошенные вами шаги с использованием библиотеки LightFM. Этот пример предполагает, что у вас установлен pandas, scikit-learn, scipy и lightfm. Если некоторые из этих библиотек ещё не установлены, вы можете установить их с помощью
pip.import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.preprocessing import LabelEncoder from lightfm import LightFM from lightfm.data import Dataset from scipy.sparse import coo_matrix from sklearn.metrics import roc_auc_score from tqdm import tqdm # Предположим, что ваш датафрейм называется train и уже загружен # Пример загрузки (раскомментируйте и модифицируйте при необходимости): # train = pd.read_csv('path_to_your_train.csv') # Пример структуры датафрейма: # train = pd.DataFrame({ # 'user_id': [...], # 'adv_campaign_id': [...], # 'target': [0, 1, 0, 1, ...] # }) # Шаг 1: Кодирование user_id и adv_campaign_id user_encoder = LabelEncoder() item_encoder = LabelEncoder() train['user_enc'] = user_encoder.fit_transform(train['user_id']) train['item_enc'] = item_encoder.fit_transform(train['adv_campaign_id']) num_users = train['user_enc'].nunique() num_items = train['item_enc'].nunique() # Шаг 2: Разделение на обучающую и валидационную выборки (80/20) train_data, val_data = train_test_split(train, test_size=0.2, random_state=42, stratify=train['user_enc']) # Шаг 3: Создание матриц взаимодействий def create_interaction_matrix(df, num_users, num_items): return coo_matrix( (df['target'].values, (df['user_enc'].values, df['item_enc'].values)), shape=(num_users, num_items) ) train_interaction = create_interaction_matrix(train_data, num_users, num_items) val_interaction = create_interaction_matrix(val_data, num_users, num_items) # Шаг 4: Инициализация и обучение модели LightFM model = LightFM(loss='warp') # Можно выбрать 'logistic', 'bpr', 'warp', 'warp-kos') model.fit( train_interaction, epochs=30, num_threads=4, verbose=True ) # Шаг 5: Функция для получения рекомендаций def get_user_item_scores(model, user_ids, item_ids): return model.predict(user_ids, item_ids) # Шаг 6: Подготовка данных для оценки ROC AUC # Получим список уникальных пользователей в валидационной выборке val_users = val_data['user_enc'].unique() # Создадим словарь, где ключ - user, значение - список положительных item для этого user в валидации user_positive_items = val_data[val_data['target'] == 1].groupby('user_enc')['item_enc'].apply(set).to_dict() # Для расчета ROC AUC нам понадобятся как положительные, так и отрицательные примеры # Для каждого пользователя мы возьмем все items из валидации и предскажем вероятность roc_aucs = [] for user in tqdm(val_users, desc="Вычисление ROC AUC для пользователей"): # Получим все items для этого user в валидации user_val_items = val_data[val_data['user_enc'] == user] # Истинные метки y_true = user_val_items['target'].values # Получим все items для этого user (можно ограничить, если слишком много) user_items = user_val_items['item_enc'].unique() # Предсказанные оценки y_scores = model.predict(user, user_items) # Если все метки одинаковые, пропустим пользователя if len(np.unique(y_true)) < 2: continue roc_auc = roc_auc_score(y_true, y_scores) roc_aucs.append(roc_auc) # Шаг 7: Среднее значение ROC AUC average_roc_auc = np.mean(roc_aucs) print(f"Среднее ROC AUC по всем пользователям: {average_roc_auc:.4f}")Пояснения к коду:
-
Кодирование идентификаторов:
LabelEncoderпреобразует строковые или категориальные идентификаторы пользователей и кампаний в числовые индексы, которые требуются для построения матрицы взаимодействий.
-
Разделение данных:
- Используется
train_test_splitс параметромstratify, чтобы обеспечить равномерное распределение пользователей в обучающей и валидационной выборках.
- Используется
-
Создание матрицы взаимодействий:
- Функция
create_interaction_matrixсоздает разреженную матрицуcoo_matrix, которая является входом для модели LightFM. Каждый элемент матрицы представляет взаимодействие пользователя с кампанией.
- Функция
-
Обучение модели LightFM:
- Выбирается функция потерь
warp(Weighted Approximate-Rank Pairwise), которая хорошо подходит для задач ранжирования и рекомендаций. - Параметр
epochsрегулирует количество проходов по данным. Вы можете настроить его в зависимости от производительности на вашей задаче.
- Выбирается функция потерь
-
Вычисление ROC AUC:
- Для каждого пользователя в валидационной выборке собираются истинные метки и предсказанные оценки.
- Если для пользователя все метки одинаковы (только 0 или только 1), ROC AUC не определен и такой пользователь пропускается.
- ROC AUC вычисляется с использованием
roc_auc_scoreиз scikit-learn и потом усредняется по всем пользователям.
Дополнительные рекомендации:
-
Cold Start: Убедитесь, что в валидационной выборке нет пользователей или кампаний, которых нет в обучающей выборке. Если такие есть, модель не сможет их корректно обработать.
-
Параметры модели: Попробуйте поэкспериментировать с различными параметрами модели (например, размер эмбеддингов, регуляризацию) для улучшения качества рекомендаций.
-
Отсутствие данных: Если у некоторых пользователей очень мало данных в валидационной выборке, их ROC AUC может быть неинформативным. Можно рассмотреть фильтрацию таких пользователей.
-
Производительность: Если набор данных большой, вычисление ROC AUC для каждого пользователя может занять значительное время. В таком случае можно рассмотреть параллельную обработку или выборку пользователей.
Надеюсь, этот пример поможет вам обучить модель LightFM и оценить ее качество по ROC AUC!
-