Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

у меня етсь датафрейм train, содержащий колонны userid, advcampaignid и target. Обучи…

  1. User

    у меня етсь датафрейм train, содержащий колонны user_id, adv_campaign_id и target. Обучи модель lightFm для создания рекомендаций на 80% датасета, и провалидируй ее качество на оставшихся 20% датасета по метрике ROC AUC усредненной для каждого user_id

  2. Assistant

    Конечно! Вот пример полного рабочего кода на Python, который выполняет все запрошенные вами шаги с использованием библиотеки LightFM. Этот пример предполагает, что у вас установлен pandas, scikit-learn, scipy и lightfm. Если некоторые из этих библиотек ещё не установлены, вы можете установить их с помощью pip.

    import pandas as pd
    import numpy as np
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import LabelEncoder
    from lightfm import LightFM
    from lightfm.data import Dataset
    from scipy.sparse import coo_matrix
    from sklearn.metrics import roc_auc_score
    from tqdm import tqdm
    
    # Предположим, что ваш датафрейм называется train и уже загружен
    # Пример загрузки (раскомментируйте и модифицируйте при необходимости):
    # train = pd.read_csv('path_to_your_train.csv')
    
    # Пример структуры датафрейма:
    # train = pd.DataFrame({
    #     'user_id': [...],
    #     'adv_campaign_id': [...],
    #     'target': [0, 1, 0, 1, ...]
    # })
    
    # Шаг 1: Кодирование user_id и adv_campaign_id
    user_encoder = LabelEncoder()
    item_encoder = LabelEncoder()
    
    train['user_enc'] = user_encoder.fit_transform(train['user_id'])
    train['item_enc'] = item_encoder.fit_transform(train['adv_campaign_id'])
    
    num_users = train['user_enc'].nunique()
    num_items = train['item_enc'].nunique()
    
    # Шаг 2: Разделение на обучающую и валидационную выборки (80/20)
    train_data, val_data = train_test_split(train, test_size=0.2, random_state=42, stratify=train['user_enc'])
    
    # Шаг 3: Создание матриц взаимодействий
    def create_interaction_matrix(df, num_users, num_items):
        return coo_matrix(
            (df['target'].values, (df['user_enc'].values, df['item_enc'].values)),
            shape=(num_users, num_items)
        )
    
    train_interaction = create_interaction_matrix(train_data, num_users, num_items)
    val_interaction = create_interaction_matrix(val_data, num_users, num_items)
    
    # Шаг 4: Инициализация и обучение модели LightFM
    model = LightFM(loss='warp')  # Можно выбрать 'logistic', 'bpr', 'warp', 'warp-kos')
    
    model.fit(
        train_interaction,
        epochs=30,
        num_threads=4,
        verbose=True
    )
    
    # Шаг 5: Функция для получения рекомендаций
    def get_user_item_scores(model, user_ids, item_ids):
        return model.predict(user_ids, item_ids)
    
    # Шаг 6: Подготовка данных для оценки ROC AUC
    # Получим список уникальных пользователей в валидационной выборке
    val_users = val_data['user_enc'].unique()
    
    # Создадим словарь, где ключ - user, значение - список положительных item для этого user в валидации
    user_positive_items = val_data[val_data['target'] == 1].groupby('user_enc')['item_enc'].apply(set).to_dict()
    
    # Для расчета ROC AUC нам понадобятся как положительные, так и отрицательные примеры
    # Для каждого пользователя мы возьмем все items из валидации и предскажем вероятность
    
    roc_aucs = []
    
    for user in tqdm(val_users, desc="Вычисление ROC AUC для пользователей"):
        # Получим все items для этого user в валидации
        user_val_items = val_data[val_data['user_enc'] == user]
        
        # Истинные метки
        y_true = user_val_items['target'].values
        
        # Получим все items для этого user (можно ограничить, если слишком много)
        user_items = user_val_items['item_enc'].unique()
        
        # Предсказанные оценки
        y_scores = model.predict(user, user_items)
        
        # Если все метки одинаковые, пропустим пользователя
        if len(np.unique(y_true)) < 2:
            continue
        
        roc_auc = roc_auc_score(y_true, y_scores)
        roc_aucs.append(roc_auc)
    
    # Шаг 7: Среднее значение ROC AUC
    average_roc_auc = np.mean(roc_aucs)
    print(f"Среднее ROC AUC по всем пользователям: {average_roc_auc:.4f}")
    

    Пояснения к коду:

    1. Кодирование идентификаторов:

      • LabelEncoder преобразует строковые или категориальные идентификаторы пользователей и кампаний в числовые индексы, которые требуются для построения матрицы взаимодействий.
    2. Разделение данных:

      • Используется train_test_split с параметром stratify, чтобы обеспечить равномерное распределение пользователей в обучающей и валидационной выборках.
    3. Создание матрицы взаимодействий:

      • Функция create_interaction_matrix создает разреженную матрицу coo_matrix, которая является входом для модели LightFM. Каждый элемент матрицы представляет взаимодействие пользователя с кампанией.
    4. Обучение модели LightFM:

      • Выбирается функция потерь warp (Weighted Approximate-Rank Pairwise), которая хорошо подходит для задач ранжирования и рекомендаций.
      • Параметр epochs регулирует количество проходов по данным. Вы можете настроить его в зависимости от производительности на вашей задаче.
    5. Вычисление ROC AUC:

      • Для каждого пользователя в валидационной выборке собираются истинные метки и предсказанные оценки.
      • Если для пользователя все метки одинаковы (только 0 или только 1), ROC AUC не определен и такой пользователь пропускается.
      • ROC AUC вычисляется с использованием roc_auc_score из scikit-learn и потом усредняется по всем пользователям.

    Дополнительные рекомендации:

    • Cold Start: Убедитесь, что в валидационной выборке нет пользователей или кампаний, которых нет в обучающей выборке. Если такие есть, модель не сможет их корректно обработать.

    • Параметры модели: Попробуйте поэкспериментировать с различными параметрами модели (например, размер эмбеддингов, регуляризацию) для улучшения качества рекомендаций.

    • Отсутствие данных: Если у некоторых пользователей очень мало данных в валидационной выборке, их ROC AUC может быть неинформативным. Можно рассмотреть фильтрацию таких пользователей.

    • Производительность: Если набор данных большой, вычисление ROC AUC для каждого пользователя может занять значительное время. В таком случае можно рассмотреть параллельную обработку или выборку пользователей.

    Надеюсь, этот пример поможет вам обучить модель LightFM и оценить ее качество по ROC AUC!