Skip to content
The Chat Archive
llama-3.3-70b-instruct· Meta LMArena Human Preference 140K

Сопоставьте виды модулей и их ключевые характеристики. Выберите один или несколько…

  1. User

    Сопоставьте виды модулей и их ключевые характеристики.

    Выберите один или несколько вариантов ответов.

    Рекуррентные модули

    Ответ 1 Вопрос 3 последовательная обработка, вектор состояния, слабая зависимость количества параметров от длины учитываемых зависимостей Механизм внимания

    Ответ 2 Вопрос 3 инвариантность к сдвигу, параллелизм, простота, учёт локальных особенностей Агрегация/pooling

    Ответ 3 Вопрос 3 уменьшение количества элементов в последовательности, укрупнение, усреднение или выбор максимума Свёрточные модули

    Ответ 4 Вопрос 3 сравнение последовательностей, учёт зависимостей сколько угодно большой длины, "умная" агрегация

  2. Assistant

    Правильные ответы:

    • Рекуррентные модули: последовательная обработка, вектор состояния, слабая зависимость количества параметров от длины учитываемых зависимостей
    • Свёрточные модули: инвариантность к сдвигу, параллелизм, простота, учёт локальных особенностей
    • Агрегация/pooling: уменьшение количества элементов в последовательности, укрупнение, усреднение или выбор максимума
    • Механизм внимания: сравнение последовательностей, учёт зависимостей сколько угодно большой длины, "умная" агрегация

    Таким образом, правильными ответами являются все четыре варианта. Каждый из них соответствует ключевым характеристикам своего типа модуля.

  3. User

    Вы обучаете FastText SkipGram Negative Sampling.

    Напишите функцию, обновляющую веса модели при получении одного обучающего примера в формате (CenterSubwords,CtxWord,Label) .

    При обучении предсказания модели вычисляются по формуле P(CtxWord|CenterSubwords)=σ((∑len(CenterSubwords)w∈CenterSubwordsWw,:len(CenterSubwords))⋅DCtxWord,:)

    Функция потерь - бинарная кросс-энтропия.

    Тесты генерируются случайно.

    import sys import ast import numpy as np

    def parse_array(s): return np.array(ast.literal_eval(s))

    def read_array(): return parse_array(sys.stdin.readline())

    def write_array(arr): print(repr(arr.tolist()))

    def update_ft_weights(center_embeddings, context_embeddings, center_subwords, context_word, label, learning_rate): """ center_embeddings - VocabSize x EmbSize context_embeddings - VocabSize x EmbSize center_subwords - list of ints - list of identifiers of n-grams contained in center word context_word - int - identifier of context word label - 1 if context_word is real, 0 if it is negative learning_rate - float > 0 - size of gradient step """ your code here - update center_embeddings and context_embeddings inplace

    center_embeddings = read_array() context_embeddings = read_array() center_subwords = read_array() context_word = int(sys.stdin.readline().strip()) label = int(sys.stdin.readline().strip()) learning_rate = float(sys.stdin.readline().strip())

    update_ft_weights(center_embeddings, context_embeddings, center_subwords, context_word, label, learning_rate)

    write_array(center_embeddings) write_array(context_embeddings)

  4. Assistant
    import sys
    import ast
    import numpy as np
    
    def parse_array(s):
        return np.array(ast.literal_eval(s))
    
    def read_array():
        return parse_array(sys.stdin.readline())
    
    def write_array(arr):
        print(repr(arr.tolist()))
    
    def sigmoid(x):
        return 1 / (1 + np.exp(-x))
    
    def update_ft_weights(center_embeddings, context_embeddings, center_subwords, context_word, label, learning_rate):
        """
        center_embeddings - VocabSize x EmbSize
        context_embeddings - VocabSize x EmbSize
        center_subwords - list of ints - list of identifiers of n-grams contained in center word
        context_word - int - identifier of context word
        label - 1 if context_word is real, 0 if it is negative
        learning_rate - float > 0 - size of gradient step
        """
        # Вычисляем предсказание модели
        center_embedding = np.mean(center_embeddings[center_subwords], axis=0)
        prediction = sigmoid(np.dot(center_embedding, context_embeddings[context_word]))
    
        # Вычисляем градиент функции потерь
        gradient = (prediction - label) * context_embeddings[context_word]
    
        # Обновляем веса
        for subword in center_subwords:
            center_embeddings[subword] -= learning_rate * gradient
    
        context_embeddings[context_word] -= learning_rate * (prediction - label) * center_embedding
    
    center_embeddings = read_array()
    context_embeddings = read_array()
    center_subwords = read_array()
    context_word = int(sys.stdin.readline().strip())
    label = int(sys.stdin.readline().strip())
    learning_rate = float(sys.stdin.readline().strip())
    
    update_ft_weights(center_embeddings, context_embeddings,
                      center_subwords, context_word, label, learning_rate)
    
    write_array(center_embeddings)
    write_array(context_embeddings)
    

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.