Реализуй обновление координат найденного экстремума методом градиентного спуска
- User
Реализуй обновление координат найденного экстремума методом градиентного спуска
- Assistant
Градиентный спуск — это оптимизационный алгоритм, который используется для нахождения локального минимума функции путем выполнения итерационных шагов в направлении антиградиента (отрицательного градиента) функции в текущей точке.
Чтобы провести обновление координат экстремума с помощью метода градиентного спуска, вам необходимо определить начальную точку, скорость обучения (learning rate или шаг градиента) и функцию, экстремум которой вы ищете.
Допустим, вы хотите найти минимум функции ( f(x, y) ). Вот общие шаги, которые вам нужно будет выполнить:
- Задайте начальные координаты, ( x_0 ) и ( y_0 ), и скорость обучения ( \alpha ).
- Вычислите градиент ( \nabla f(x, y) ) в начальной точке ( (x_0, y_0) ).
- Обновите значения координат как:
[ x_{\text{new}} = x_{\text{old}} - \alpha \cdot \frac{\partial f}{\partial x} ]
[ y_{\text{new}} = y_{\text{old}} - \alpha \cdot \frac{\partial f}{\partial y} ]
- Повторяйте шаги 2 и 3 до тех пор, пока изменения в координатах не станут достаточно маленькими или пока не будет достигнуто максимальное количество итераций.
Стоит отметить, что ( \frac{\partial f}{\partial x} ) и ( \frac{\partial f}{\partial y} ) — это частные производные функции ( f ) по ( x ) и по ( y ) соответственно; они показывают, как функция меняется в направлении каждой из координат.
Вот пример кода на Python:
def f(x, y): # Пример функции, экстремум которой мы хотим найти return x**2 + y**2 def grad_f(x, y): # Градиент функции f df_dx = 2*x # Производная по x df_dy = 2*y # Производная по y return df_dx, df_dy def gradient_descent(initial_point, learning_rate, n_iterations): x, y = initial_point for _ in range(n_iterations): df_dx, df_dy = grad_f(x, y) # Обновление координат x -= learning_rate * df_dx y -= learning_rate * df_dy # Печать текущих координат и значения функции print(f"Iteration {_+1}: x = {x}, y = {y}, f(x, y) = {f(x, y)}") return x, y # Начальная точка initial_point = (4, 4) # Шаг обучения (скорость обучения) learning_rate = 0.1 # Количество итераций n_iterations = 20 # Нахождение экстремума minimum_x, minimum_y = gradient_descent(initial_point, learning_rate, n_iterations) print(f"The minimum of the function is at x = {minimum_x}, y = {minimum_y}")Этот код иллюстрирует, как можно использовать метод градиентного спуска для нахождения минимума квадратной функции. После запуска код найдет точку, которая приближенно минимизирует функцию (в данном случае функция имеет глобальный минимум в точке (0, 0)).
- User
Дополни код: def gradient_descent(vector, lr=0.001, epsilon=0.001, stop_iteration=10000): """
Args: vector (np.array): исходные занчения аргументво x, y lr (float, optional): learning rate. Коэффициент скорости обучения. epsilon (float, optional): Допустимая погрешность stop_iteration (int, optional): количество итераций Returns: np.array, содержащий координаты экстремума, номер итерации, градиенты x, y, значения отклонений от истинного значения """ iteration = 1 x_gradient = np.array([]) y_gradient = np.array([]) loss = np.array([]) extremum = # Ваш код для вычисления новых координат экстремума, найденного градиентным спуском x_gradient = np.append(x_gradient, extremum[0]) y_gradient = np.append(y_gradient, extremum[1]) while np.linalg.norm(np.subtract(extremum[0], extremum[1])) > epsilon: loss = np.append(loss, np.absolute(vector[0]-extremum[0])) vector = extremum extremum = # Код аналогичный предыдущему x_gradient = np.append(x_gradient, extremum[0]) y_gradient = np.append(y_gradient, extremum[1]) iteration = iteration + 1 if iteration == stop_iteration: break return np.array([extremum, iteration, x_gradient, y_gradient, loss]) - Assistant
Для завершения функции
gradient_descent, нам понадобится функция, которая вычисляет градиент исходной функции, и мы должны будем постоянно обновлятьvectorв направлении, противоположном градиенту, чтобы найти минимум. В вашем коде вместо заглушек# Ваш код...должна быть реализация шага градиентного спуска. Для работы с массивами мы будем использовать библиотеку NumPy.Вот дополненный код с использованием этих предположений:
import numpy as np def func_gradient(vector): """ Градиент заданной функции. В этой заглушке предполагается что func - квадратичная функция. Например, f(x, y) = x^2 + y^2, градиент df/dx = 2x, df/dy = 2y. """ x, y = vector df_dx = 2*x # Пример для x^2 df_dy = 2*y # Пример для y^2 return np.array([df_dx, df_dy]) def gradient_descent(vector, lr=0.001, epsilon=0.001, stop_iteration=10000): iteration = 1 x_gradient = np.array([]) y_gradient = np.array([]) loss = np.array([]) extremum = vector - lr * func_gradient(vector) # Шаг градиентного спуска x_gradient = np.append(x_gradient, extremum[0]) y_gradient = np.append(y_gradient, extremum[1]) while np.linalg.norm(func_gradient(vector)) > epsilon and iteration < stop_iteration: loss = np.append(loss, np.linalg.norm(func_gradient(vector))) vector = extremum extremum = vector - lr * func_gradient(vector) # Шаг градиентного спуска x_gradient = np.append(x_gradient, extremum[0]) y_gradient = np.append(y_gradient, extremum[1]) iteration += 1 return np.array([extremum, iteration, x_gradient, y_gradient, loss]) # Тестирование функции на примере. Стартовая точка (где-то на плоскости для f(x, y) = x^2 + y^2): start_point = np.array([2.0, 2.0]) results = gradient_descent(start_point) print(f"Координаты экстремума: {results[0]}") print(f"Номер итерации: {results[1]}") print(f"Градиенты по x: {results[2]}") print(f"Градиенты по y: {results[3]}") print(f"Значения отклонений: {results[4]}")В функции
func_gradient()предположено, что функция, экстремум которой мы ищем, имеет видf(x, y) = x^2 + y^2. Такая функция имеет минимум в точке(0, 0), и её градиент в любой точке(x, y)равен(2x, 2y). Если ваша целевая функция отличается отx^2 + y^2, вам следует изменитьfunc_gradientсоответствующим образом. - User
как рассчитать норму градиента функции?
- Assistant
Норма градиента функции — это скалярное значение, которое дает меру степени изменения функции в наиболее быстро возрастающем направлении в данной точке. Градиент функции ( \nabla f ) представляет собой вектор, состоящий из всех частных производных функции в данной точке.
Для вектора-градиента ( \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \ldots, \frac{\partial f}{\partial x_n} \right) ), его норма обычно вычисляется как Евклидова норма (норма L2), которая рассчитывается следующим образом:
[ \left| \nabla f \right|_2 = \sqrt{\left( \frac{\partial f}{\partial x_1} \right)^2 + \left( \frac{\partial f}{\partial x_2} \right)^2 + \ldots + \left( \frac{\partial f}{\partial x_n} \right)^2} ]
Это выражение подразумевает взятие квадратного корня из суммы квадратов всех частных производных функции.
Приведем пример на Python с использованием NumPy. Допустим, у нас есть функция ( f(x, y) ), мы нашли её частные производные, и теперь мы хотим вычислить норму градиента в определенной точке:
import numpy as np # Пусть дана функция f(x, y) = x^2 + y^2 # Её градиент равен [2x, 2y] def gradient(x, y): return np.array([2*x, 2*y]) # Вычисляем норму градиента функции в точке (x, y) point = np.array([3, 4]) grad_vector = gradient(point[0], point[1]) norm_of_gradient = np.linalg.norm(grad_vector) print(f"Градиент функции в точке {point}: {grad_vector}") print(f"Норма градиента: {norm_of_gradient}")Вывод будет примерно следующим:
Градиент функции в точке [3 4]: [6 8] Норма градиента: 10.0Здесь
np.linalg.norm()вычисляет Евклидову норму градиента, что соответствует норме L2.