Выполни задание, предполагая, что пишешь Jupyter Notebook и…
- User
Assistant: User: Выполни задание, предполагая, что пишешь Jupyter Notebook и придерживайся хорошего стиля его написания: пиши красивые пояснения в markdown, логично разделяй код на ячейки, выводи полученные результаты как объекты или через print. Использй заголовки и другие способы выделения текста в markdown. Повествование имеет логику, вступление, заключение. Отвечай в формате json по заданному примеру: {1: ["markdown", "В этом ноутбуке будем использовать формулу ."], 2: ["code", "import numpy as np"], 3: ["markdown", "Заключение..."]}. Пиши на русском, если задание на русском. Начинай сразу с написания ячеек. Не останавливай генерацию, пока не выполнишь всё задание. Задание: Исходный код: {0: ['code', 'import torch'], 1: ['markdown', '## 2.1 Создание нейронов и полносвязных слоев'], 2: ['markdown', '2.1.1. Используя операции над матрицами и векторами из библиотеки
torch, реализовать нейрон с заданными весамиweightsиbias. Прогнать векторinputsчерез нейрон и вывести результат. '], 3: ['code', 'class Neuron:\n def init(self, weights, bias):\n # <создать атрибуты объекта weights и bias>\n pass\n \n def forward(self, inputs):\n return # <реализовать логику нейрона>\n'], 4: ['code', 'inputs = torch.tensor([1.0, 2.0, 3.0, 4.0])\nweights = torch.tensor([-0.2, 0.3, -0.5, 0.7])\nbias = 3.14'], 5: ['markdown', '2.1.2 Используя операции над матрицами и векторами из библиотекиtorch, реализовать полносвязный слой с заданными весамиweightsиbiases. Прогнать векторinputsчерез слой и вывести результат. '], 6: ['code', 'class Linear:\n def init(self, weights, biases):\n # <создать атрибуты объекта weights и biases>\n pass\n \n def forward(self, inputs):\n return # <реализовать логику слоя>'], 7: ['code', 'inputs = torch.tensor([1.0, 2.0, 3.0, 4.0])\nweights = torch.tensor([[-0.2, 0.3, -0.5, 0.7],\n [0.5, -0.91, 0.26, -0.5],\n [-0.26, -0.27, 0.17, 0.87]]).T\n\nbiases = torch.tensor([3.14, 2.71, 7.2])'], 8: ['markdown', '2.1.3 Реализовать полносвязный слой из 2.1.2 таким образом, чтобы он мог принимать на вход матрицу (батч) с данными. Продемонстрировать работу.\nРезультатом прогона сквозь слой должна быть матрица размераbatch_sizexn_neurons.\n'], 9: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])'], 10: ['markdown', '2.1.4 Используя операции над матрицами и векторами из библиотекиtorch, реализовать полносвязный слой изn_neuronsнейронов сn_featuresвесами у каждого нейрона (инициализируются из стандартного нормального распределения). Прогнать векторinputsчерез слой и вывести результат. Результатом прогона сквозь слой должна быть матрица размераbatch_sizexn_neurons.'], 11: ['code', 'class Linear:\n def init(self, n_features, n_neurons):\n # <создать атрибуты объекта weights и biases>\n pass\n \n def forward(self, inputs):\n return # <реализовать логику слоя>'], 12: ['markdown', '2.1.5 Используя решение из 2.1.4, создать 2 полносвязных слоя и пропустить матрицуinputsпоследовательно через эти два слоя. Количество нейронов в первом слое выбрать произвольно, количество нейронов во втором слое выбрать так, чтобы результатом прогона являлась матрица (3x7). '], 13: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])'], 14: ['markdown', '## 2.2 Создание функций активации'], 15: ['markdown', '2.2.1 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию активации ReLU:\n\n[image] open\n\nСоздать матрицу размера (4,3), заполненную числами из стандартного нормального распределения, и проверить работоспособность функции активации.'], 16: ['code', 'class ReLU:\n def forward(self, inputs):\n # <реализовать логику ReLU>\n pass'], 17: ['markdown', '2.2.2 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию активации softmax:\n\n[image] open\n\nСоздать матрицу размера (4,3), заполненную числами из стандартного нормального распределения, и проверить работоспособность функции активации. Строки матрицы трактовать как выходы линейного слоя некоторого классификатора для 4 различных примеров.'], 18: ['code', 'class Softmax:\n def forward(self, inputs):\n # <реализовать логику Softmax>\n pass'], 19: ['markdown', '2.2.3 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию активации ELU:\n\n[image] open\n\nСоздать матрицу размера (4,3), заполненную числами из стандартного нормального распределения, и проверить работоспособность функции активации.'], 20: ['code', 'class ELU:\n def init(self, alpha):\n # <создать атрибут объекта alpha>\n pass\n\n def forward(self, inputs):\n # <реализовать логику ReLU>\n pass'], 21: ['markdown', '## 2.3 Создание функции потерь'], 22: ['markdown', '2.3.1 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию потерь MSE:\n\n[image] open\n\nСоздать полносвязный слой с 1 нейроном, прогнать через него батчinputsи посчитать значение MSE, трактуя векторyкак вектор правильных ответов.'], 23: ['code', 'class MSELoss:\n def forward(self, y_pred, y_true):\n return # <реализовать логику MSE>'], 24: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])\n\ny = torch.tensor([2, 3, 4])'], 25: ['markdown', '2.3.2 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию потерь Categorical Cross-Entropy:\n\n\n\nСоздать полносвязный слой с 3 нейронами и прогнать через него батчinputs. Полученный результат пропустить через функцию активации softmax. Посчитать значение CCE, трактуя векторyкак вектор правильных ответов.'], 26: ['code', 'class CategoricalCrossentropyLoss:\n def forward(self, y_pred, y_true):\n # <реализовать логику CCE>\n pass'], 27: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])\ny = torch.tensor([1, 0, 0])'], 28: ['markdown', '2.3.3 Модифицировать 2.3.1, добавив L2-регуляризацию.\n\n[image] open\n'], 29: ['code', 'class MSELossL2:\n def init(self, lambda_):\n # <создать атрибут объекта alpha>\n pass\n\n def data_loss(self, y_pred, y_true):\n # <подсчет первого слагаемого из формулы>\n pass\n\n def reg_loss(self, layer):\n # используйте атрибуты объекта layer, в которых хранятся веса слоя\n # <подсчет второго слагаемого из формулы>\n pass\n\n def forward(self, y_pred, y_true):\n return self.data_loss(y_pred, y_true) + self.reg_loss(y_pred, y_true)'], 30: ['markdown', '## 2.4 Обратное распространение ошибки'], 31: ['markdown', '2.4.1 Используя один нейрон и SGD (1 пример за шаг), решите задачу регрессии'], 32: ['code', 'from sklearn.datasets import make_regression\n\nX, y, coef = make_regression(n_features=4, n_informative=4, coef=True, bias=0.5)\nX = # <преобразуйте массивы numpy в тензоры torch с типом torch.float32\ny = # <преобразуйте массивы numpy в тензоры torch с типом torch.float32'], 33: ['markdown', 'Граф вычислений для этой задачи'], 34: ['markdown', '2.4.1.1 Реализуйте классSquaredLoss\n'], 35: ['code', 'class SquaredLoss:\n def forward(self, y_pred, y_true):\n return # <реализовать логику MSE>\n\n def backward(self, y_pred, y_true):\n self.dinput = # df/dc\n'], 36: ['markdown', '2.4.1.2. Модифицируйте классNeuronиз 2.1.1:\n\n 1) Сделайте так, чтобы веса нейрона инициализировались из стандартного нормального распределения\n\n 2) Реализуйте расчет градиента относительно весовweightsиbias'], 37: ['code', 'class Neuron:\n def init(self, n_inputs):\n # <создать атрибуты объекта weights и bias>\n pass\n \n def forward(self, inputs):\n return # <реализовать логику нейрона>\n \n def backward(self, dvalue):\n # dvalue - значение производной, которое приходит нейрону от следующего слоя сети\n # в данном случае это будет значение df/dc (созданное методом backwards у объекта MSELoss)\n self.dweights = # df/dW\n self.dinput = # df/wX\n self.dbias = # df/db\n'], 38: ['markdown', '2.4.1.3 Допишите цикл для настройки весов нейрона\n\nSGD\n\n[image] open'], 39: ['code', 'n_inputs = # <размерность элемента выборки >\nlearning_rate = 0.1 # скорость обучения\nn_epoch = 100 # количество эпох\n\nneuron = Neuron(n_inputs)\nloss = MSELoss()\n\nlosses = []\nfor epoch in range(100):\n for x_example, y_example in zip(X, y):\n # forward pass\n y_pred = # <прогон через нейрон>\n curr_loss = # <прогон через функцию потерь>\n losses.append(curr_loss)\n\n # backprop\n # <вызов методов backward>\n # обратите внимание на последовательность вызовов: от конца к началу\n\n # <шаг оптимизации для весов (weights и bias) нейрона>'], 40: ['markdown', '2.4.2 Решите задачу 2.4.1, используя пакетный градиентный спуск'], 41: ['markdown', 'Вычисления для этой задачи: \n1\n2'], 42: ['markdown', '2.4.1.1 Модифицируйте классMSELossиз 2.3.1, реализовав расчет производной относительно предыдущего слоя с учетом того, что теперь работа ведется с батчами, а не с индивидуальными примерами\n '], 43: ['code', 'class MSELoss:\n def forward(self, y_pred, y_true):\n return # <реализовать логику MSE>\n\n def backward(self, y_pred, y_true):\n self.dinput = # df/dy^\n'], 44: ['markdown', '2.4.2.2. Модифицируйте классNeuronиз 2.4.1.2:\n\n 1) Реализуйте методforwardтаким образом, чтобы он мог принимать на вход матрицу (батч) с данными. \n\n 2) Реализуйте расчет градиента относительно весовweightsиbiasс учетом того, что теперь работа ведется с батчами, а не с индивидуальными примерами'], 45: ['code', 'class Neuron:\n def init(self, n_inputs):\n # <создать атрибуты объекта weights и bias>\n pass\n \n def forward(self, inputs):\n return # <реализовать логику нейрона>\n \n def backward(self, dvalue):\n # dvalue - значение градиента, которое приходит нейрону от следующего слоя сети\n # в данном случае это будет градиент L по y^ (созданный методом backwards у объекта MSELoss)\n self.dweights = # df/dW\n self.dbias = # df/db\n'], 46: ['markdown', '2.4.2.3 Допишите цикл для настройки весов нейрона'], 47: ['code', 'n_inputs = # <размерность элемента выборки >\nlearning_rate = 0.1 # скорость обучения\nn_epoch = 100 # количество эпох\n\nneuron = Neuron(n_inputs)\nloss = MSELoss()\n\n\nfor epoch in range(100):\n # forward pass\n y_pred = # <прогон через нейрон>\n curr_loss = # <прогон через функцию потерь>\n losses.append(curr_loss)\n\n # backprop\n # <вызов методов backward>\n # обратите внимание на последовательность вызовов: от конца к началу\n\n # <шаг оптимизации для весов (weights и bias) нейрона>'], 48: ['markdown', '2.4.3 Используя один полносвязный слой и пакетный градиетный спуск, решите задачу регрессии из 2.4.1'], 49: ['markdown', '2.4.3.1 Модифицируйте классLinearиз 2.1.4. (вычисление градиентов)'], 50: ['code', 'class Linear:\n def init(self, n_features, n_neurons):\n # <создать атрибуты объекта weights и biases>\n pass\n \n def forward(self, inputs):\n return # <реализовать логику слоя>\n\n def backward(self, dvalues):\n self.dweights = # df/dW\n self.dbiases = # df/db\n self.dinputs = # df/dX'], 51: ['markdown', '2.4.3.2 Создайте слой с одним нейроном. Используя класс MSELoss из 2.4.2, убедитесь, что модель обучается'], 52: ['markdown', '2.4.4 Используя наработки из 2.4, создайте нейросеть и решите задачу регрессии.\n\nПредлагаемая архитектура: \n1. Полносвязный слой с 10 нейронами\n2. Активация ReLU\n3. Полносвязный слой с 1 нейроном'], 53: ['code', 'X = torch.linspace(-1, 1, 100).view(-1, 1)\ny = X.pow(2) + 0.2 * torch.rand(X.size()) '], 54: ['code', 'class Activation_ReLU:\n def forward(self, inputs):\n self.inputs = inputs\n self.output = inputs.clip(min=0)\n return self.output\n \n def backward(self, dvalues):\n self.dinputs = dvalues.clone()\n self.dinputs[self.inputs <= 0] = 0'], 55: ['code', "# создание компонентов сети\n# fc1 = \n# relu1 = \n# fc2 = \n\nloss = MSELoss()\nlr = 0.02\n\nys = []\nfor epoch in range(2001):\n # \n # fc1 > relu1 > fc2 > loss\n\n data_loss = # <прогон через функцию потерь>\n\n if epoch % 200 == 0:\n print(f'epoch {epoch} mean loss {data_loss}')\n ys.append(out)\n \n # \n # loss > fc2 > relu1 > fc1\n\n # <шаг оптимизации для fc1>\n\n # <шаг оптимизации для fc2>\n"], 56: ['code', 'import matplotlib.pyplot as plt\n\nfig, axs = plt.subplots(len(ys), 1, figsize=(10, 40))\nfor ax, y_ in zip(axs, ys):\n ax.scatter(X.numpy(), y.numpy(), color = "orange")\n ax.plot(X.numpy(), y_.numpy(), 'g-', lw=3)\n ax.set_xlim(-1.05, 1.5)\n ax.set_ylim(-0.25, 1.25)']}Выполни задания из ноутбука. Строго следуй заданию, не меняй его. Смотри, соотносится ли текущий код с предыдущим.Продолжи генерацию предыдущего ответа, опираясь на те же требования. Отвечай в форме json со следующего по порядку номера ячейки в прерыдущем ответе, не переписывая код предыдущих ячеек!. Не закрывай скобку, пока все задания не были выполнены!{0: ['code', 'import torch'], 1: ['markdown', '## 2.1 Создание нейронов и полносвязных слоев'], 2: ['markdown', '2.1.1. Используя операции над матрицами и векторами из библиотекиtorch, реализовать нейрон с заданными весамиweightsиbias. Прогнать векторinputsчерез нейрон и вывести результат.'], 3: ['code', 'class Neuron:\n def init(self, weights, bias):\n self.weights = weights\n self.bias = bias\n\n def forward(self, inputs):\n return torch.dot(inputs, self.weights) + self.bias'], 4: ['code', 'inputs = torch.tensor([1.0, 2.0, 3.0, 4.0])\nweights = torch.tensor([-0.2, 0.3, -0.5, 0.7])\nbias = 3.14\nneuron = Neuron(weights, bias)\noutput = neuron.forward(inputs)\nprint(output)'], 5: ['markdown', '2.1.2 Используя операции над матрицами и векторами из библиотекиtorch, реализовать полносвязный слой с заданными весамиweightsиbiases. Прогнать векторinputsчерез слой и вывести результат.'], 6: ['code', 'class Linear:\n def init(self, weights, biases):\n self.weights = weights\n self.biases = biases\n\n def forward(self, inputs):\n return torch.matmul(inputs, self.weights) + self.biases'], 7: ['code', 'inputs = torch.tensor([1.0, 2.0, 3.0, 4.0])\nweights = torch.tensor([[-0.2, 0.3, -0.5, 0.7],\n [0.5, -0.91, 0.26, -0.5],\n [-0.26, -0.27, 0.17, 0.87]]).T\nbiases = torch.tensor([3.14, 2.71, 7.2])\nlinear_layer = Linear(weights, biases)\noutput = linear_layer.forward(inputs)\nprint(output)'], 8: ['markdown', '2.1.3 Реализовать полносвязный слой из 2.1.2 таким образом, чтобы он мог принимать на вход матрицу (батч) с данными. Продемонстрировать работу.\nРезультатом прогона сквозь слой должна быть матрица размераbatch_sizexn_neurons.'], 9: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])\nweights = torch.tensor([[-0.2, 0.3, -0.5, 0.7],\n [0.5, -0.91, 0.26, -0.5],\n [-0.26, -0.27, 0.17, 0.87]]).T\nbiases = torch.tensor([3.14, 2.71, 7.2])\nlinear_layer = Linear(weights, biases)\noutput = linear_layer.forward(inputs)\nprint(output)'], 10: ['markdown', '2.1.4 Используя операции над матрицами и векторами из библиотекиtorch, реализовать полносвязный слой изn_neuronsнейронов сn_featuresвесами у каждого нейрона (инициализируются из стандартного нормального распределения). Прогнать векторinputsчерез слой и вывести результат. Результатом прогона сквозь слой должна быть матрица размераbatch_sizexn_neurons.'], 11: ['code', 'class Linear:\n def init(self, n_features, n_neurons):\n self.weights = torch.randn(n_features, n_neurons)\n self.biases = torch.zeros(n_neurons)\n\n def forward(self, inputs):\n return torch.matmul(inputs, self.weights) + self.biases'], 12: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])\nlinear_layer = Linear(n_features=4, n_neurons=7)\noutput = linear_layer.forward(inputs)\nprint(output)'], 13: ['markdown', '2.1.5 Используя решение из 2.1.4, создать 2 полносвязных слоя и пропустить матрицуinputsпоследовательно через эти два слоя. Количество нейронов в первом слое выбрать произвольно, количество нейронов во втором слое выбрать так, чтобы результатом прогона являлась матрица (3x7).'], 14: ['markdown', '## 2.2 Создание функций активации'], 15: ['markdown', '2.2.1 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию активации ReLU:\n\n[image] open\n\nСоздать матрицу размера (4,3), заполненную числами из стандартного нормального распределения, и проверить работоспособность функции активации.'], 16: ['code', 'class ReLU:\n def forward(self, inputs):\n return torch.maximum(inputs, torch.tensor(0.0))'], 17: ['code', 'relu = ReLU()\ninputs = torch.randn(4, 3)\noutput = relu.forward(inputs)\nprint(output)'], 18: ['markdown', '2.2.2 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию активации softmax:\n\n[image] open\n\nСоздать матрицу размера (4,3), заполненную числами из стандартного нормального распределения, и проверить работоспособность функции активации. Строки матрицы трактовать как выходы линейного слоя некоторого классификатора для 4 различных примеров.'], 19: ['code', 'class Softmax:\n def forward(self, inputs):\n exp_values = torch.exp(inputs - torch.max(inputs, dim=1, keepdim=True).values)\n return exp_values / torch.sum(exp_values, dim=1, keepdim=True)'], 20: ['code', 'softmax = Softmax()\ninputs = torch.randn(4, 3)\noutput = softmax.forward(inputs)\nprint(output)'], 21: ['markdown', '2.2.3 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию активации ELU:\n\n[image] open\n\nСоздать матрицу размера (4,3), заполненную числами из стандартного нормального распределения, и проверить работоспособность функции активации.'], 22: ['code', 'class ELU:\n def init(self, alpha=1.0):\n self.alpha = alpha\n\n def forward(self, inputs):\n return torch.where(inputs > 0, inputs, self.alpha * (torch.exp(inputs) - 1))'], 23: ['code', 'elu = ELU(alpha=1.0)\ninputs = torch.randn(4, 3)\noutput = elu.forward(inputs)\nprint(output)'], 24: ['markdown', '## 2.3 Создание функции потерь'], 25: ['markdown', '2.3.1 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию потерь MSE:\n\n[image] open\n\nСоздать полносвязный слой с 1 нейроном, прогнать через него батчinputsи посчитать значение MSE, трактуя векторyкак вектор правильных ответов.'], 26: ['code', 'class MSELoss:\n def forward(self, y_pred, y_true):\n return torch.mean((y_pred - y_true) ** 2)'], 27: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])\ny = torch.tensor([2, 3, 4])\nmse_loss = MSELoss()\ny_pred = linear_layer.forward(inputs)\nloss_value = mse_loss.forward(y_pred, y)\nprint(loss_value)'], 28: ['markdown', '2.3.2 Используя операции над матрицами и векторами из библиотекиtorch, реализовать функцию потерь Categorical Cross-Entropy:\n\nСоздать полносвязный слой с 3 нейронами и прогнать через него батчinputs. Полученный результат пропустить через функцию активации softmax. Посчитать значение CCE, трактуя векторyкак вектор правильных ответов.'], 29: ['code', 'class CategoricalCrossentropyLoss:\n def forward(self, y_pred, y_true):\n y_pred_clipped = torch.clamp(y_pred, 1e-12, 1.0)\n return -torch.mean(torch.sum(y_true * torch.log(y_pred_clipped), dim=1))'], 30: ['code', 'inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])\ny = torch.tensor([[1, 0, 0], [0, 1, 0], [0, 0, 1]])\nlinear_layer = Linear(n_features=4, n_neurons=3)\ny_pred = linear_layer.forward(inputs)\nsoftmax = Softmax()\ny_pred_softmax = softmax.forward(y_pred)\ncce_loss = CategoricalCrossentropyLoss()\nloss_value = cce_loss.forward(y_pred_softmax, y)\nprint(loss_value)'], 31: ['markdown', '## 2.4 Обратное распространение ошибки'], 32: ['markdown', '2.4.1 Используя один нейрон и SGD (1 пример за шаг), решите задачу регрессии'], 33: ['code', 'from sklearn.datasets import make_regression\n\nX, y, coef = make_regression(n_features=4, n_informative=4, coef=True, bias=0.5)\nX = torch.tensor(X, dtype=torch.float32)\ny = torch.tensor(y, dtype=torch.float32)'], 34: ['markdown', 'Граф вычислений для этой задачи'], 35: ['markdown', '2.4.1.1 Реализуйте классSquaredLoss'], 36: ['code', 'class SquaredLoss:\n def forward(self, y_pred, y_true):\n return torch.mean((y_pred - y_true) ** 2)\n \n def backward(self, y_pred, y_true):\n self.dinput = 2 * (y_pred - y_true) / y_true.numel()'], 37: ['markdown', '2.4.1.2. Модифицируйте классNeuronиз 2.1.1:\n\n 1) Сделайте так, чтобы веса нейрона инициализировались из стандартного нормального распределения\n\n 2) Реализуйте расчет градиента относительно весовweightsиbias'], 38: ['code', 'class Neuron:\n def __init__(self, n_inputs):\n self.weights = torch.randn(n_inputs)\n self.bias = torch.randn(1)\n\n def forward(self, inputs):\n return torch.dot(inputs, self.weights) + self.bias\n\n def backward(self, dvalue):\n self.dweights = dvalue * self.inputs\n self.dbias = dvalue\n self.dinput = dvalue * self.weights'], 39: ['markdown', '2.4.1.3 Допишите цикл для настройки весов нейрона\n\n[SGD](https://ru.wikipedia.org/wiki/Случайный_градиентный_спуск)\n\n'], 40: ['code', 'n_inputs = 4\nlearning_rate = 0.1 # скорость обучения\nn_epoch = 100 # количество эпох\n\nneuron = Neuron(n_inputs)\nloss = SquaredLoss()\n\nlosses = []\nfor epoch in range(n_epoch):\n for x_example, y_example in zip(X, y):\n # forward pass\n y_pred = neuron.forward(x_example)\n curr_loss = loss.forward(y_pred, y_example)\n losses.append(curr_loss)\n\n # backprop\n dvalue = loss.backward(y_pred, y_example)\n neuron.backward(dvalue)\n\n # обновление весов\n neuron.weights -= learning_rate * neuron.dweights\n neuron.bias -= learning_rate * neuron.dbias'], 41: ['markdown', '2.4.2 Решите задачу 2.4.1, используя пакетный градиентный спуск'], 42: ['markdown', 'Вычисления для этой задачи: \n[1](https://i.ibb.co/rmtQT6P/photo-2021-02-15-18-00-43.jpg)\n[2](https://i.ibb.co/NmCFVnQ/photo-2021-02-15-18-01-17.jpg)'], 43: ['markdown', '2.4.1.1 Модифицируйте классMSELoss` из 2.3.1, реализовав расчет производной относительно предыдущего слоя с учетом того, что теперь работа ведется с батчами, а не с индивидуальными примерами']} Assistant: - Assistant
{ "44": [ "code", "class MSELoss:\n def forward(self, y_pred, y_true):\n return torch.mean((y_pred - y_true) ** 2)\n\n def backward(self, y_pred, y_true):\n self.dinput = 2 * (y_pred - y_true) / y_true.numel()" ], "45": [ "markdown", "2.4.2.2. Модифицируйте класс `Neuron` из __2.4.1.2__:\n\n 1) Реализуйте метод `forward` таким образом, чтобы он мог принимать на вход матрицу (батч) с данными. \n\n 2) Реализуйте расчет градиента относительно весов `weights` и `bias` с учетом того, что теперь работа ведется с батчами, а не с индивидуальными примерами" ], "46": [ "code", "class Neuron:\n def __init__(self, n_inputs):\n self.weights = torch.randn(n_inputs)\n self.bias = torch.randn(1)\n\n def forward(self, inputs):\n self.inputs = inputs\n return torch.matmul(inputs, self.weights) + self.bias\n\n def backward(self, dvalue):\n self.dweights = torch.matmul(self.inputs.T, dvalue) / self.inputs.shape[0]\n self.dbias = torch.sum(dvalue, axis=0) / self.inputs.shape[0]\n self.dinput = torch.matmul(dvalue, self.weights.T)" ], "47": [ "markdown", "2.4.2.3 Допишите цикл для настройки весов нейрона" ], "48": [ "code", "n_inputs = 4\nlearning_rate = 0.1 # скорость обучения\nn_epoch = 100 # количество эпох\n\nneuron = Neuron(n_inputs)\nloss = MSELoss()\n\nfor epoch in range(n_epoch):\n # forward pass\n y_pred = neuron.forward(X)\n curr_loss = loss.forward(y_pred, y)\n losses.append(curr_loss.item())\n\n # backprop\n loss.backward(y_pred, y)\n neuron.backward(loss.dinput)\n\n # обновление весов\n neuron.weights -= learning_rate * neuron.dweights\n neuron.bias -= learning_rate * neuron.dbias" ], "49": [ "markdown", "2.4.3 Используя один полносвязный слой и пакетный градиетный спуск, решите задачу регрессии из __2.4.1__" ], "50": [ "markdown", "2.4.3.1 Модифицируйте класс `Linear` из __2.1.4__. ([вычисление градиентов](https://i.ibb.co/kgVR6m6/photo-2021-02-15-21-30-28.jpg))" ], "51": [ "code", "class Linear:\n def __init__(self, n_features, n_neurons):\n self.weights = torch.randn(n_features, n_neurons)\n self.biases = torch.zeros(n_neurons)\n\n def forward(self, inputs):\n self.inputs = inputs\n return torch.matmul(inputs, self.weights) + self.biases\n\n def backward(self, dvalues):\n self.dweights = torch.matmul(self.inputs.T, dvalues)\n self.dbiases = torch.sum(dvalues, axis=0)\n self.dinputs = torch.matmul(dvalues, self.weights.T)" ], "52": [ "markdown", "2.4.3.2 Создайте слой с одним нейроном. Используя класс MSELoss из 2.4.2, убедитесь, что модель обучается" ], "53": [ "code", "inputs = torch.tensor([[1, 2, 3, 2.5], \n [2, 5, -1, 2], \n [-1.5, 2.7, 3.3, -0.8]])\ny = torch.tensor([2, 3, 4])\n\n# Создание полносвязного слоя с одним нейроном\nlinear_layer = Linear(n_features=4, n_neurons=1)\nloss = MSELoss()\n\nlearning_rate = 0.01\nn_epoch = 1000\nlosses = []\n\nfor epoch in range(n_epoch):\n # Forward pass\n y_pred = linear_layer.forward(inputs)\n curr_loss = loss.forward(y_pred.squeeze(), y.float())\n losses.append(curr_loss.item())\n\n # Backward pass\n loss.backward(y_pred.squeeze(), y.float())\n linear_layer.backward(loss.dinput.unsqueeze(1))\n\n # Обновление весов\n linear_layer.weights -= learning_rate * linear_layer.dweights\n linear_layer.biases -= learning_rate * linear_layer.dbiases\n\n # Печать каждые 100 эпох\n if epoch % 100 == 0:\n print(f'Epoch {epoch}, Loss: {curr_loss.item()}')" ], "54": [ "markdown", "2.4.4 Используя наработки из 2.4, создайте нейросеть и решите задачу регрессии.\n\nПредлагаемая архитектура: \n1. Полносвязный слой с 10 нейронами\n2. Активация ReLU\n3. Полносвязный слой с 1 нейроном" ], "55": [ "code", "X = torch.linspace(-1, 1, 100).view(-1, 1)\ny = X.pow(2) + 0.2 * torch.rand(X.size())" ], "56": [ "code", "class Activation_ReLU:\n def forward(self, inputs):\n self.inputs = inputs\n self.output = inputs.clip(min=0)\n return self.output\n\n def backward(self, dvalues):\n self.dinputs = dvalues.clone()\n self.dinputs[self.inputs <= 0] = 0" ], "57": [ "code", "linear1 = Linear(n_features=1, n_neurons=10)\nrelu = Activation_ReLU()\nlinear2 = Linear(n_features=10, n_neurons=1)\nloss = MSELoss()\nlearning_rate = 0.02\n\nfor epoch in range(2001):\n # Forward pass\n layer1_output = linear1.forward(X)\n relu_output = relu.forward(layer1_output)\n layer2_output = linear2.forward(relu_output)\n curr_loss = loss.forward(layer2_output.squeeze(), y)\n\n if epoch % 200 == 0:\n print(f'epoch {epoch} mean loss {curr_loss}')\n \n # Backpropagation\n loss.backward(layer2_output.squeeze(), y)\n linear2.backward(loss.dinput.unsqueeze(1))\n relu.backward(linear2.dinputs)\n linear1.backward(relu.dinputs)\n\n # Update weights\n linear1.weights -= learning_rate * linear1.dweights\n linear1.biases -= learning_rate * linear1.dbiases\n linear2.weights -= learning_rate * linear2.dweights\n linear2.biases -= learning_rate * linear2.dbiases" ], "58": [ "code", "import matplotlib.pyplot as plt\n\nplt.scatter(X.numpy(), y.numpy(), color='orange')\nplt.plot(X.numpy(), layer2_output.detach().numpy(), 'g-', lw=3)\nplt.xlim(-1.05, 1.05)\nplt.ylim(-0.25, 1.25)\nplt.show()" ] }