У меня есть датафрейм train, содержащий пары взаимодействий: userid, advcampaign_id,…
- User
У меня есть датафрейм train, содержащий пары взаимодействий: user_id, adv_campaign_id, target (бинарная переменная), а также датафрейм test, содержащий пары взаимодействия без целевой переменной target. Необходимо обучить модели NCF, ALS на этих данных, присоединить их score к train и test датафреймам и посчитать MSE. Используй библиотеку recommenders
- Assistant
Для решения вашей задачи с использованием библиотеки Microsoft Recommenders, необходимо выполнить несколько шагов:
- Установка и настройка библиотеки
- Подготовка данных
- Обучение моделей ALS и NCF
- Получение прогнозов и присоединение их к датафреймам
- Вычисление MSE
Ниже приведён подробный пример кода, который иллюстрирует каждый из этих шагов.
1. Установка необходимых библиотек
Сначала убедитесь, что у вас установлены необходимые библиотеки. Если нет, установите их с помощью
pip:pip install recommenders pip install pandas pip install numpy pip install scikit-learnПримечание: Библиотека
recommendersот Microsoft может потребовать установки дополнительных зависимостей или установку из GitHub. Если стандартная установка не работает, воспользуйтесь следующим:pip install git+https://github.com/microsoft/recommenders.git2. Импорт необходимых модулей и подготовка данных
import pandas as pd import numpy as np from sklearn.metrics import mean_squared_error from recommenders.models.collaborative_filtering import MatrixFactorization from recommenders.utils import implicit_evaluation # Загрузка ваших датафреймов # Предполагается, что train и test уже загружены как pandas DataFrame # train: user_id, adv_campaign_id, target # test: user_id, adv_campaign_id # Пример загрузки (замените на ваш способ загрузки данных) # train = pd.read_csv('train.csv') # test = pd.read_csv('test.csv')3. Предобработка данных
Библиотека Recommenders обычно требует, чтобы идентификаторы пользователей и элементов были представлены в виде числовых индексов. Поэтому необходимо преобразовать
user_idиadv_campaign_idв числовые индексы.from sklearn.preprocessing import LabelEncoder # Объединяем user_id и adv_campaign_id из train и test для консистентного кодирования combined_users = pd.concat([train['user_id'], test['user_id']]).unique() combined_items = pd.concat([train['adv_campaign_id'], test['adv_campaign_id']]).unique() # Кодирование user_id user_encoder = LabelEncoder() user_encoder.fit(combined_users) train['user'] = user_encoder.transform(train['user_id']) test['user'] = user_encoder.transform(test['user_id']) # Кодирование adv_campaign_id item_encoder = LabelEncoder() item_encoder.fit(combined_items) train['item'] = item_encoder.transform(train['adv_campaign_id']) test['item'] = item_encoder.transform(test['adv_campaign_id'])4. Обучение модели ALS
Для модели ALS используем реализацию матричной факторизации из библиотеки Recommenders.
# Подготовка данных для ALS als = MatrixFactorization.FactorizationMachineRecommender( config={ 'matrix_factorization': { 'iterations': 20, 'regularization': 0.1, 'rank': 20 } } ) # Обучение модели ALS als.fit( interaction=train[['user', 'item', 'target']], user_features=None, item_features=None ) # Получение прогнозов для train и test train['ALS_score'] = als.predict(train['user'], train['item']) test['ALS_score'] = als.predict(test['user'], test['item']) # Вычисление MSE на train mse_als = mean_squared_error(train['target'], train['ALS_score']) print(f"MSE для ALS: {mse_als}")5. Обучение модели NCF
На данный момент библиотека Recommenders от Microsoft не предоставляет прямой реализации NCF. Однако вы можете использовать другую библиотеку, например,
pytorchилиtensorflow, для реализации NCF. В этом примере я покажу, как использоватьimplicitдля похожей модели. Если вам нужна именно NCF, потребуется дополнительная реализация.Однако, для полноты ответа, опишу как можно интегрировать модель NCF из другой библиотеки и присоединить результаты.
# Установка библиотеки для NCF, например, using spotlight # pip install spotlight from spotlight.factorization import ExplicitFactorizationModel from spotlight.cross_validation import random_train_test_split # Разделение данных на обучающую и валидационную выборки train_matrix = train.pivot(index='user', columns='item', values='target').fillna(0).values # Обучение модели NCF (в данном случае, использую ExplicitFactorizationModel как пример) # Для настоящей NCF рекомендуется использовать специализированные библиотеки или собственную реализацию model_ncf = ExplicitFactorizationModel(n_iter=20, learning_rate=0.01, loss='mse') model_ncf.fit(train_matrix) # Функция для предсказания def predict_ncf(user, item): return model_ncf.predict(user, item) # Получение прогнозов train['NCF_score'] = train.apply(lambda row: predict_ncf(row['user'], row['item']), axis=1) test['NCF_score'] = test.apply(lambda row: predict_ncf(row['user'], row['item']), axis=1) # Вычисление MSE на train mse_ncf = mean_squared_error(train['target'], train['NCF_score']) print(f"MSE для NCF: {mse_ncf}")Примечание: Для полноценной реализации NCF рекомендуется использовать специализированные библиотеки или самостоятельно реализовать модель с использованием
TensorFlowилиPyTorch. В приведённом примере использована модель факторизации для иллюстрации процесса.6. Итоговый вывод
Теперь в ваших датафреймах
trainиtestимеются столбцыALS_scoreиNCF_score, содержащие прогнозируемые значения от соответствующих моделей. Вы можете использовать их для дальнейшего анализа или комбинирования предсказаний.Дополнительные рекомендации
- Кросс-валидация: Рекомендуется использовать кросс-валидацию для более надёжной оценки моделей.
- Гиперпараметры: Подстройте гиперпараметры моделей ALS и NCF для улучшения качества прогнозов.
- Метрики: Помимо MSE, рассмотрите использование других метрик, например, AUC или Precision@K, в зависимости от задачи.
Если у вас возникнут дополнительные вопросы или потребуется помощь с конкретной частью реализации, пожалуйста, дайте знать!