Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

Метод рекомендаций со скрытыми переменными. Будем предсказывать оценки по формуле rui =…

  1. User

    Метод рекомендаций со скрытыми переменными. Будем предсказывать оценки по формуле r_ui = ⟨p_u,q_i⟩, p_u ∈ R^d и q_i ∈ R^d - латентные векторы пользователя u и объекта i соответственно. Оптимизировать мы будем MSE между истинной оценкой пользователя и предсказанной с регуляризацией L = ∑{(u,i) ∈ R}(r^ui−r_ui)^2 + λ(∑{u∈U}∥pu∥^2+∑{i∈I} ∥qi∥^2) Вывести формулу обновления параметров матриц P и Q методом ALS

  2. Assistant

    Для обновления параметров матриц P и Q методом ALS нужно последовательно оптимизировать каждую из матриц при фиксированной другой матрице.

    Для обновления матрицы P при фиксированной матрице Q решаем следующую оптимизационную задачу:

    minimize ∑_{(u,i) ∈ R_u}(r^ui−⟨pu,qi⟩)^2 + λ∥pu∥^2

    где R_u - множество объектов, оцененных пользователем u.

    Обозначим S_u = {i|(u,i) ∈ R_u}, т.е. множество объектов, оцененных пользователем u. Тогда для минимизации функционала MSE нужно взять производную по pu и приравнять её к нулю:

    ∂MSE/∂pu = ∑_{i∈S_u}2(r^ui−⟨pu,qi⟩)qi + 2λpu = 0

    Отсюда получаем формулу для обновления вектора pu на каждой итерации ALS:

    pu = (Q_u^T Q_u + λI)^-1 Q_u^T r_u

    где Q_u — матрица объектов соответствующих множеству S_u, r_u — вектор оценок объектов пользователя u.

    Аналогично, для обновления матрицы Q при фиксированной матрице P решаем следующую оптимизационную задачу:

    minimize ∑_{(u,i) ∈ R_i}(r^ui−⟨pu,qi⟩)^2 + λ∥qi∥^2

    где R_i - множество пользователей, которые оценили объект i.

    Множество S_i = {u|(u,i) ∈ R_i}, тогда аналогично получаем формулу для обновления вектора qi на каждой итерации ALS:

    qi = (P_i^T P_i + λI)^-1 P_i^T r_i

    где P_i — матрица пользователей, оценивших объект i, r_i — вектор оценок объекта i.

    Итерации ALS повторяются до сходимости параметров матриц P и Q.

  3. User

    реши уравнения относительно Q: -2(R - PQ.T)P + 2λ*Q = 0

  4. Assistant

    Перепишем уравнение в матричном виде:

    -2P^T(R - PQ^T) + 2λQ = 0

    Раскроем скобки и приведём подобные:

    -2P^TR +2P^TPQ^T + 2λQ = 0

    Перенесём первое слагаемое в правую часть:

    2P^TPQ^T + 2λQ = 2P^TR

    Вынесем общий множитель 2:

    2(P^TPQ^T + λQ) = 2P^TR

    Поделим обе части на 2:

    P^TPQ^T + λQ = P^TR

    Выразим Q:

    (Q^T) = (P^TP + λI)^(-1)P^TR

    Таким образом, решение уравнения относительно Q имеет вид:

    Q = (P^TP + λI)^(-1)P^TR^T

  5. User

    реши уравнения относительно P: (PQ^T - R)Q + λ*P = 0

  6. Assistant

    Перепишем уравнение в матричном виде:

    PQ^TQ - RQ + λP = 0

    Раскроем скобки:

    P(Q^TQ + λI) - RQ = 0

    Выразим матрицу P, перенеся её в левую часть:

    P(Q^TQ + λI) = RQ

    По условию задачи матрица Q^TQ + λI обратима, поэтому можем применить к обеим частям обратную матрицу (Q^TQ + λI)^(-1):

    P = RQ(Q^TQ + λI)^(-1)

    Таким образом, решение уравнения относительно P имеет вид:

    P = RQ(Q^TQ + λI)^(-1)

  7. User

    реши уравнения относительно Q: (PQ^T - R)P + λ*Q = 0

  8. Assistant

    Перепишем уравнение в матричном виде:

    PQ^TP - RP + λQ = 0

    Перенесём RP в правую часть:

    PQ^TP + λQ = RP

    Выразим Q:

    Q = (P^TP + λI)^(-1)P^TR

    Таким образом, решение уравнения относительно Q имеет вид:

    Q = (P^TP + λI)^(-1)P^TR

  9. User

    В этой части мы пощупаем метод рекомендаций со скрытыми переменными. Идея: будем предсказывать оценки по формуле r^ui=⟨pu,qu⟩, pu∈Rd и qi∈Rd - латентные векторы пользователя u и объекта i соответственно.

    Оптимизировать мы будем MSE между истинной оценкой пользователя и предсказанной с регуляризацией L=∑(u,i)∈R(r^ui−rui)2+λ(∑u∈U∥pu∥2+∑i∈I∥qi∥2)

    Задание 7 (1.5 балла). На лекции рассматривались два подхода к оптимизации параметров. Можно это делать обычным стохастческим градинтным спуском, а можно по очереди обновлять матрицы P,Q, и тогда получится метод Alternating Least Squares (ALS). Выведите формулы обновления параметров для обоих методов.

    LFM:

    Напиши ответ для LFM

    ALS:

    Напиши ответ для ALS

  10. Assistant

    Обновление параметров методом градиентного спуска:

    Для обновления параметров матрицы P на каждой итерации стохастического градиентного спуска с фиксированной матрицей Q используем градиент функционала MSE:

    ∂MSE/∂pu = -2(qi(r^ui−⟨pu,qi⟩)+λpu)

    Тогда шаг градиентного спуска имеет вид:

    pu = pu - η(-2(qi(r^ui−⟨pu,qi⟩)+λpu))

    аналогично для матрицы Q.

    Обновление параметров методом ALS:

    Для обновления матриц P и Q методом ALS нужно последовательно оптимизировать каждую из матриц при фиксированной другой матрице.

    Для обновления матрицы P при фиксированной матрице Q решаем следующую оптимизационную задачу:

    minimize ∑_{(u,i) ∈ R_u}(r^ui−⟨pu,qi⟩)^2 + λ∥pu∥^2

    где R_u - множество объектов, оцененных пользователем u.

    Обозначим S_u = {i|(u,i) ∈ R_u}, т.е. множество объектов, оцененных пользователем u. Тогда для минимизации функционала MSE нужно взять производную по pu и приравнять её к нулю:

    ∂MSE/∂pu = ∑_{i∈S_u}2(r^ui−⟨pu,qi⟩)qi + 2λpu = 0

    Отсюда получаем формулу для обновления вектора pu на каждой итерации ALS:

    pu = (Q_u^T Q_u + λI)^-1 Q_u^T r_u

    где Q_u — матрица объектов соответствующих множеству S_u, r_u — вектор оценок объектов пользователя u.

    Аналогично, для обновления матрицы Q при фиксированной матрице P решаем следующую оптимизационную задачу:

    minimize ∑_{(u,i) ∈ R_i}(r^ui−⟨pu,qi⟩)^2 + λ∥qi∥^2

    где R_i - множество пользователей, которые оценили объект i.

    Множество S_i = {u|(u,i) ∈ R_i}, тогда аналогично получаем формулу для обновления вектора qi на каждой итерации ALS:

    qi = (P_i^T P_i + λI)^-1 P_i^T r_i

    где P_i — матрица пользователей, оценивших объект i, r_i — вектор оценок объекта i.

    Итерации ALS повторяются до сходимости параметров матриц P и Q.

  11. User

    В этой части мы пощупаем метод рекомендаций со скрытыми переменными. Идея: будем предсказывать оценки по формуле r^ui=⟨pu,qu⟩, pu∈Rd и qi∈Rd - латентные векторы пользователя u и объекта i соответственно.

    Оптимизировать мы будем MSE между истинной оценкой пользователя и предсказанной с регуляризацией L=∑(u,i)∈R(r^ui−rui)2+λ(∑u∈U∥pu∥2+∑i∈I∥qi∥2)

    Задание 7 (1.5 балла). На лекции рассматривались два подхода к оптимизации параметров. Можно это делать обычным стохастческим градинтным спуском, а можно по очереди обновлять матрицы P,Q, и тогда получится метод Alternating Least Squares (ALS). Выведите формулы обновления параметров для обоих методов.class HiddenVars(BaseModel): def init(self, ratings, dim=128, mode='sgd'): super().init(ratings) self.dim = dim

        assert mode in ['sgd', 'als']
        self.mode = mode
    
        self.P = np.random.normal(size=(self.n_users, dim))
        self.Q = np.random.normal(size=(self.n_items, dim))
    
        self.lr = 0.0003
        self.lamb = 0.01
    
    def fit(self, num_iters=5):
        for epoch in tqdm(range(num_iters)):
    
            if self.mode == 'sgd':
               Напиши тут код для метода 
                pass
    
            elif self.mode == 'als':
                # your code here: ( ̄▽ ̄)/♫•*¨*•.¸¸♪
                pass
    
    def recommend(self, uid):
        pred_rating = self.P[uid] @ self.Q.T
    
        return np.argsort(pred_rating)[::-1]
    
  12. Assistant

    Обновление параметров методом градиентного спуска:

    Для обновления параметров матрицы P на каждой итерации стохастического градиентного спуска с фиксированной матрицей Q используем градиент функционала MSE:

    ∂MSE/∂pu = -2(qi(r^ui−⟨pu,qi⟩)+λpu)

    Тогда шаг градиентного спуска имеет вид:

    pu = pu - η(-2(qi(r^ui−⟨pu,qi⟩)+λpu))

    аналогично для матрицы Q.

    Обновление параметров методом ALS:

    Для обновления матриц P и Q методом ALS нужно последовательно оптимизировать каждую из матриц при фиксированной другой матрице.

    Для обновления матрицы P при фиксированной матрице Q решаем следующую оптимизационную задачу:

    minimize ∑_{(u,i) ∈ R_u}(r^ui−⟨pu,qi⟩)^2 + λ∥pu∥^2

    где R_u - множество объектов, оцененных пользователем u.

    Обозначим S_u = {i|(u,i) ∈ R_u}, т.е. множество объектов, оцененных пользователем u. Тогда для минимизации функционала MSE нужно взять производную по pu и приравнять её к нулю:

    ∂MSE/∂pu = ∑_{i∈S_u}2(r^ui−⟨pu,qi⟩)qi + 2λpu = 0

    Отсюда получаем формулу для обновления вектора pu на каждой итерации ALS:

    pu = (Q_u^T Q_u + λI)^-1 Q_u^T r_u

    где Q_u — матрица объектов соответствующих множеству S_u, r_u — вектор оценок объектов пользователя u.

    Аналогично, для обновления матрицы Q при фиксированной матрице P решаем следующую оптимизационную задачу:

    minimize ∑_{(u,i) ∈ R_i}(r^ui−⟨pu,qi⟩)^2 + λ∥qi∥^2

    где R_i - множество пользователей, которые оценили объект i.

    Множество S_i = {u|(u,i) ∈ R_i}, тогда аналогично получаем формулу для обновления вектора qi на каждой итерации ALS:

    qi = (P_i^T P_i + λI)^-1 P_i^T r_i

    где P_i — матрица пользователей, оценивших объект i, r_i — вектор оценок объекта i.

    Итерации ALS повторяются до сходимости параметров матриц P и Q.