Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Напиши реализацию стохастического градиентного спуска на python. Используй сигмоидную…

  1. User

    Напиши реализацию стохастического градиентного спуска на python. Используй сигмоидную функцию потерь. Необходимо спрогнозировать значение последнего столбца в матрице с данными

  2. Assistant

    Конечно! Давайте реализуем стохастический градиентный спуск (SGD) для логистической регрессии с использованием сигмоидной функции потерь на Python. Цель состоит в том, чтобы предсказать значения последнего столбца в матрице данных.

    Вот пошаговая реализация:

    import numpy as np
    
    # Предположим, что data — это ваша матрица данных в виде numpy массива
    # Размерность data: (число образцов, число признаков + 1), где последний столбец — это метки
    
    # Пример: создадим случайные данные для демонстрации
    np.random.seed(42)
    num_samples = 100
    num_features = 5
    
    # Генерируем случайные признаки
    X = np.random.randn(num_samples, num_features)
    
    # Генерируем случайные метки (0 или 1)
    y = np.random.randint(0, 2, size=(num_samples, 1))
    
    # Собираем полную матрицу данных
    data = np.hstack((X, y))
    
    # Разделяем матрицу данных на признаки и метки
    X = data[:, :-1]  # Все столбцы, кроме последнего
    y = data[:, -1].reshape(-1, 1)  # Последний столбец в качестве меток
    
    # Добавляем столбец единиц для учета свободного члена (bias)
    X = np.hstack((np.ones((X.shape[0], 1)), X))
    
    # Инициализируем веса
    weights = np.zeros((X.shape[1], 1))
    
    # Определяем сигмоидную функцию
    def sigmoid(z):
        return 1 / (1 + np.exp(-z))
    
    # Параметры обучения
    learning_rate = 0.01  # Скорость обучения
    num_epochs = 100  # Количество эпох
    
    # Стохастический градиентный спуск
    for epoch in range(num_epochs):
        # Перемешиваем данные в каждой эпохе
        indices = np.random.permutation(X.shape[0])
        X_shuffled = X[indices]
        y_shuffled = y[indices]
        
        for i in range(X.shape[0]):
            xi = X_shuffled[i].reshape(1, -1)  # Признаки i-го образца
            yi = y_shuffled[i]  # Метка i-го образца
            
            # Прогноз модели
            prediction = sigmoid(np.dot(xi, weights))
            
            # Ошибка
            error = prediction - yi
            
            # Градиент
            gradient = xi.T * error
            
            # Обновление весов
            weights -= learning_rate * gradient
    
    # Прогноз на обучающей выборке
    y_pred_prob = sigmoid(np.dot(X, weights))
    y_pred = (y_pred_prob >= 0.5).astype(int)
    
    # Выводим первые 10 реальных и прогнозируемых значений
    print("Реальные метки:      ", y[:10].flatten())
    print("Прогнозируемые метки:", y_pred[:10].flatten())
    

    Объяснение кода:

    1. Импорт библиотек:

      • numpy для операций с массивами.
    2. Генерация или загрузка данных:

      • В этом примере мы генерируем случайные данные для демонстрации.
      • Предполагается, что у вас уже есть матрица данных data.
    3. Подготовка данных:

      • Разделяем матрицу data на матрицу признаков X и вектор меток y.
      • Добавляем столбец единиц к X для учета свободного члена (intercept term).
    4. Инициализация весов:

      • Инициализируем веса нулями. Размерность весов соответствует числу признаков + 1.
    5. Определение сигмоидной функции:

      • Функция sigmoid(z) вычисляет сигмоидную функцию от z.
    6. Параметры обучения:

      • learning_rate — скорость обучения, определяет размер шага обновления весов.
      • num_epochs — количество проходов по всему обучающему набору данных.
    7. Стохастический градиентный спуск (SGD):

      • В каждой эпохе мы перемешиваем данные, чтобы обучаться на разных последовательностях данных.
      • Для каждого образца:
        • Вычисляем прогноз модели с текущими весами.
        • Вычисляем ошибку как разницу между прогнозом и реальным значением.
        • Вычисляем градиент функции потерь по весам.
        • Обновляем веса, двигаясь в направлении уменьшения ошибки.
    8. Прогнозирование:

      • После обучения модели мы используем обученные веса для прогнозирования на обучающей выборке.
      • Применяем сигмоидную функцию к линейной комбинации признаков и весов.
      • Преобразуем вероятности в классы, используя порог 0.5.
    9. Вывод результатов:

      • Выводим первые 10 реальных и прогнозируемых меток для сравнения.

    Примечания:

    • В реальном сценарии вам нужно будет загрузить ваши данные вместо генерации случайных.
    • Убедитесь, что ваши метки y имеют значения 0 и 1, так как это необходимо для логистической регрессии.
    • Параметры learning_rate и num_epochs можно настроить для улучшения производительности модели.
    • Вы можете добавить оценку качества модели, используя метрики, такие как точность, полнота и F-мера.

    Дополнительная информация:

    Стохастический градиентный спуск обновляет веса модели на основе каждого отдельного образца, что делает процесс обучения шумным, но позволяет быстрее находить минимумы функции потерь в больших наборах данных. Использование сигмоидной функции потерь в логистической регрессии позволяет моделировать вероятность принадлежности к классу, что особенно полезно в задачах классификации с двумя классами.

    Если у вас есть вопросы или нужны дополнительные разъяснения, пожалуйста, дайте знать!