Сопоставьте виды модулей и их ключевые характеристики. Выберите один или несколько…
- User
Сопоставьте виды модулей и их ключевые характеристики.
Выберите один или несколько вариантов ответов.
Рекуррентные модули
Ответ 1 Вопрос 3 последовательная обработка, вектор состояния, слабая зависимость количества параметров от длины учитываемых зависимостей Механизм внимания
Ответ 2 Вопрос 3 инвариантность к сдвигу, параллелизм, простота, учёт локальных особенностей Агрегация/pooling
Ответ 3 Вопрос 3 уменьшение количества элементов в последовательности, укрупнение, усреднение или выбор максимума Свёрточные модули
Ответ 4 Вопрос 3 сравнение последовательностей, учёт зависимостей сколько угодно большой длины, "умная" агрегация
- Assistant
Правильные ответы:
- Рекуррентные модули: последовательная обработка, вектор состояния, слабая зависимость количества параметров от длины учитываемых зависимостей
- Свёрточные модули: инвариантность к сдвигу, параллелизм, простота, учёт локальных особенностей
- Агрегация/pooling: уменьшение количества элементов в последовательности, укрупнение, усреднение или выбор максимума
- Механизм внимания: сравнение последовательностей, учёт зависимостей сколько угодно большой длины, "умная" агрегация
Таким образом, правильными ответами являются все четыре варианта. Каждый из них соответствует ключевым характеристикам своего типа модуля.
- User
Вы обучаете FastText SkipGram Negative Sampling.
Напишите функцию, обновляющую веса модели при получении одного обучающего примера в формате (CenterSubwords,CtxWord,Label) .
При обучении предсказания модели вычисляются по формуле P(CtxWord|CenterSubwords)=σ((∑len(CenterSubwords)w∈CenterSubwordsWw,:len(CenterSubwords))⋅DCtxWord,:)
Функция потерь - бинарная кросс-энтропия.
Тесты генерируются случайно.
import sys import ast import numpy as np
def parse_array(s): return np.array(ast.literal_eval(s))
def read_array(): return parse_array(sys.stdin.readline())
def write_array(arr): print(repr(arr.tolist()))
def update_ft_weights(center_embeddings, context_embeddings, center_subwords, context_word, label, learning_rate): """ center_embeddings - VocabSize x EmbSize context_embeddings - VocabSize x EmbSize center_subwords - list of ints - list of identifiers of n-grams contained in center word context_word - int - identifier of context word label - 1 if context_word is real, 0 if it is negative learning_rate - float > 0 - size of gradient step """ your code here - update center_embeddings and context_embeddings inplace
center_embeddings = read_array() context_embeddings = read_array() center_subwords = read_array() context_word = int(sys.stdin.readline().strip()) label = int(sys.stdin.readline().strip()) learning_rate = float(sys.stdin.readline().strip())
update_ft_weights(center_embeddings, context_embeddings, center_subwords, context_word, label, learning_rate)
write_array(center_embeddings) write_array(context_embeddings)
- Assistant
import sys import ast import numpy as np def parse_array(s): return np.array(ast.literal_eval(s)) def read_array(): return parse_array(sys.stdin.readline()) def write_array(arr): print(repr(arr.tolist())) def sigmoid(x): return 1 / (1 + np.exp(-x)) def update_ft_weights(center_embeddings, context_embeddings, center_subwords, context_word, label, learning_rate): """ center_embeddings - VocabSize x EmbSize context_embeddings - VocabSize x EmbSize center_subwords - list of ints - list of identifiers of n-grams contained in center word context_word - int - identifier of context word label - 1 if context_word is real, 0 if it is negative learning_rate - float > 0 - size of gradient step """ # Вычисляем предсказание модели center_embedding = np.mean(center_embeddings[center_subwords], axis=0) prediction = sigmoid(np.dot(center_embedding, context_embeddings[context_word])) # Вычисляем градиент функции потерь gradient = (prediction - label) * context_embeddings[context_word] # Обновляем веса for subword in center_subwords: center_embeddings[subword] -= learning_rate * gradient context_embeddings[context_word] -= learning_rate * (prediction - label) * center_embedding center_embeddings = read_array() context_embeddings = read_array() center_subwords = read_array() context_word = int(sys.stdin.readline().strip()) label = int(sys.stdin.readline().strip()) learning_rate = float(sys.stdin.readline().strip()) update_ft_weights(center_embeddings, context_embeddings, center_subwords, context_word, label, learning_rate) write_array(center_embeddings) write_array(context_embeddings)
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.