Напиши реализацию стохастического градиентного спуска на python. Используй сигмоидную…
- User
Напиши реализацию стохастического градиентного спуска на python. Используй сигмоидную функцию потерь. Необходимо спрогнозировать значение последнего столбца в матрице с данными
- Assistant
Конечно! Давайте реализуем стохастический градиентный спуск (SGD) для логистической регрессии с использованием сигмоидной функции потерь на Python. Цель состоит в том, чтобы предсказать значения последнего столбца в матрице данных.
Вот пошаговая реализация:
import numpy as np # Предположим, что data — это ваша матрица данных в виде numpy массива # Размерность data: (число образцов, число признаков + 1), где последний столбец — это метки # Пример: создадим случайные данные для демонстрации np.random.seed(42) num_samples = 100 num_features = 5 # Генерируем случайные признаки X = np.random.randn(num_samples, num_features) # Генерируем случайные метки (0 или 1) y = np.random.randint(0, 2, size=(num_samples, 1)) # Собираем полную матрицу данных data = np.hstack((X, y)) # Разделяем матрицу данных на признаки и метки X = data[:, :-1] # Все столбцы, кроме последнего y = data[:, -1].reshape(-1, 1) # Последний столбец в качестве меток # Добавляем столбец единиц для учета свободного члена (bias) X = np.hstack((np.ones((X.shape[0], 1)), X)) # Инициализируем веса weights = np.zeros((X.shape[1], 1)) # Определяем сигмоидную функцию def sigmoid(z): return 1 / (1 + np.exp(-z)) # Параметры обучения learning_rate = 0.01 # Скорость обучения num_epochs = 100 # Количество эпох # Стохастический градиентный спуск for epoch in range(num_epochs): # Перемешиваем данные в каждой эпохе indices = np.random.permutation(X.shape[0]) X_shuffled = X[indices] y_shuffled = y[indices] for i in range(X.shape[0]): xi = X_shuffled[i].reshape(1, -1) # Признаки i-го образца yi = y_shuffled[i] # Метка i-го образца # Прогноз модели prediction = sigmoid(np.dot(xi, weights)) # Ошибка error = prediction - yi # Градиент gradient = xi.T * error # Обновление весов weights -= learning_rate * gradient # Прогноз на обучающей выборке y_pred_prob = sigmoid(np.dot(X, weights)) y_pred = (y_pred_prob >= 0.5).astype(int) # Выводим первые 10 реальных и прогнозируемых значений print("Реальные метки: ", y[:10].flatten()) print("Прогнозируемые метки:", y_pred[:10].flatten())Объяснение кода:
-
Импорт библиотек:
numpyдля операций с массивами.
-
Генерация или загрузка данных:
- В этом примере мы генерируем случайные данные для демонстрации.
- Предполагается, что у вас уже есть матрица данных
data.
-
Подготовка данных:
- Разделяем матрицу
dataна матрицу признаковXи вектор метокy. - Добавляем столбец единиц к
Xдля учета свободного члена (intercept term).
- Разделяем матрицу
-
Инициализация весов:
- Инициализируем веса нулями. Размерность весов соответствует числу признаков + 1.
-
Определение сигмоидной функции:
- Функция
sigmoid(z)вычисляет сигмоидную функцию отz.
- Функция
-
Параметры обучения:
learning_rate— скорость обучения, определяет размер шага обновления весов.num_epochs— количество проходов по всему обучающему набору данных.
-
Стохастический градиентный спуск (SGD):
- В каждой эпохе мы перемешиваем данные, чтобы обучаться на разных последовательностях данных.
- Для каждого образца:
- Вычисляем прогноз модели с текущими весами.
- Вычисляем ошибку как разницу между прогнозом и реальным значением.
- Вычисляем градиент функции потерь по весам.
- Обновляем веса, двигаясь в направлении уменьшения ошибки.
-
Прогнозирование:
- После обучения модели мы используем обученные веса для прогнозирования на обучающей выборке.
- Применяем сигмоидную функцию к линейной комбинации признаков и весов.
- Преобразуем вероятности в классы, используя порог 0.5.
-
Вывод результатов:
- Выводим первые 10 реальных и прогнозируемых меток для сравнения.
Примечания:
- В реальном сценарии вам нужно будет загрузить ваши данные вместо генерации случайных.
- Убедитесь, что ваши метки
yимеют значения 0 и 1, так как это необходимо для логистической регрессии. - Параметры
learning_rateиnum_epochsможно настроить для улучшения производительности модели. - Вы можете добавить оценку качества модели, используя метрики, такие как точность, полнота и F-мера.
Дополнительная информация:
Стохастический градиентный спуск обновляет веса модели на основе каждого отдельного образца, что делает процесс обучения шумным, но позволяет быстрее находить минимумы функции потерь в больших наборах данных. Использование сигмоидной функции потерь в логистической регрессии позволяет моделировать вероятность принадлежности к классу, что особенно полезно в задачах классификации с двумя классами.
Если у вас есть вопросы или нужны дополнительные разъяснения, пожалуйста, дайте знать!
-