Вот код, который стоит графики. Переделай его так, чтобы оне строил графики, а просто…
- User
Вот код, который стоит графики. Переделай его так, чтобы оне строил графики, а просто делал матрицу с корреляциями
def make_corr_plot(X) -> set: num_features = X.shape[1] fig, axes = plt.subplots(num_features, num_features, figsize=(36, 36))
to_remove = set() for i in range(num_features): for j in range(num_features): if i == j: axes[i, j].hist(X[:, i], bins=15, color='lightgray', edgecolor='black') axes[i, j].set_title(f"Feature {i+1}") else: axes[i, j].scatter(X[:, i], X[:, j], alpha=0.5, color='skyblue') # corr = np.corrcoef(X[:, i], X[:, j])[0, 1] X_col_i, X_col_j = X[:, i], X[:, j] mean_X_i = np.mean(X_col_i) mean_X_j = np.mean(X_col_j) numerator = np.sum((X_col_i - mean_X_i) * (X_col_j - mean_X_j)) denominator = np.sqrt(np.sum((X_col_i - mean_X_i) ** 2) * np.sum((X_col_j - mean_X_j) ** 2)) if denominator == 0: corr = 0 else: corr = numerator / denominator if corr > 0.9: print(f"Features {i} and {j} have correlation = {corr}. It is more, than 0.9.") if i not in to_remove: to_remove.add(j) # axes[i, j].annotate(f"Corr: {corr:.2f}", xy=(0.5, 0.9), xycoords='axes fraction', ha='center', fontsize=10, color='red') axes[i, j].set_title(f"{i} vs {j}, \ncorr={corr:.2f}") if i < num_features - 1: axes[i, j].set_xticks([]) if j > 0: axes[i, j].set_yticks([]) plt.tight_layout() plt.show() return to_remove - Assistant
Чтобы переписать этот код для создания матрицы корреляций вместо построения графиков, мы можем исключить все графические элементы и сосредоточиться на вычислении корреляций для всех пар признаков. Для хранения корреляционных значений можно использовать массив
numpy. Вот как может выглядеть переписанный код:import numpy as np def calculate_correlation_matrix(X) -> np.ndarray: num_features = X.shape[1] correlation_matrix = np.zeros((num_features, num_features)) to_remove = set() for i in range(num_features): for j in range(num_features): X_col_i, X_col_j = X[:, i], X[:, j] mean_X_i = np.mean(X_col_i) mean_X_j = np.mean(X_col_j) numerator = np.sum((X_col_i - mean_X_i) * (X_col_j - mean_X_j)) denominator = np.sqrt(np.sum((X_col_i - mean_X_i) ** 2) * np.sum((X_col_j - mean_X_j) ** 2)) if denominator == 0: corr = 0 else: corr = numerator / denominator correlation_matrix[i, j] = corr if corr > 0.9 and i != j: print(f"Features {i} and {j} have correlation = {corr}. It is more, than 0.9.") if i not in to_remove: to_remove.add(j) return correlation_matrix, to_remove # Пример использования: # X = np.random.rand(100, 5) # Генерация тестового набора данных # corr_matrix, to_remove = calculate_correlation_matrix(X) # print("Correlation Matrix:\n", corr_matrix) # print("Features to remove:", to_remove)Теперь функция
calculate_correlation_matrixвычисляет матрицу корреляций и возвращает её вместе с индексами признаков, которые можно потенциально исключить из-за высокой корреляции. - User
Напиши функцию теперь, которая бы выводила матрицу красиво
- Assistant
Чтобы красиво вывести матрицу корреляций, мы можем воспользоваться библиотекой
pandasдля созданияDataFrame, что позволит использовать методpandasдля более читаемого вывода. Также мы можем использоватьseabornдля визуализации корреляционной матрицы в виде тепловой карты. Вот как можно это сделать:import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt def calculate_correlation_matrix(X) -> np.ndarray: num_features = X.shape[1] correlation_matrix = np.zeros((num_features, num_features)) to_remove = set() for i in range(num_features): for j in range(num_features): X_col_i, X_col_j = X[:, i], X[:, j] mean_X_i = np.mean(X_col_i) mean_X_j = np.mean(X_col_j) numerator = np.sum((X_col_i - mean_X_i) * (X_col_j - mean_X_j)) denominator = np.sqrt(np.sum((X_col_i - mean_X_i) ** 2) * np.sum((X_col_j - mean_X_j) ** 2)) if denominator == 0: corr = 0 else: corr = numerator / denominator correlation_matrix[i, j] = corr if corr > 0.9 and i != j: print(f"Features {i} and {j} have correlation = {corr}. It is more, than 0.9.") if i not in to_remove: to_remove.add(j) return correlation_matrix, to_remove def plot_correlation_matrix(correlation_matrix: np.ndarray): # Создаем DataFrame для более удобного отображения df_corr = pd.DataFrame(correlation_matrix, index=[f"Feature {i+1}" for i in range(correlation_matrix.shape[0])], columns=[f"Feature {i+1}" for i in range(correlation_matrix.shape[1])]) # Печать матрицы в текстовом виде print("\nCorrelation Matrix:\n", df_corr) # Построение тепловой карты plt.figure(figsize=(10, 8)) sns.heatmap(df_corr, annot=True, cmap='coolwarm', fmt=".2f", cbar=True, square=True) plt.title('Correlation Matrix') plt.show() # Пример использования: # X = np.random.rand(100, 5) # Генерация тестового набора данных # corr_matrix, to_remove = calculate_correlation_matrix(X) # plot_correlation_matrix(corr_matrix) # print("Features to remove:", to_remove)Функция
plot_correlation_matrixпринимает матрицу корреляций в видеnumpy.ndarray, преобразует её вDataFrameдля удобного текстового отображения и строит тепловую карту для визуализации корреляций с помощьюseaborn. Это делает матрицу легко читаемой и позволяет быстро идентифицировать коррелирующие признаки. - User
Без matplotlib seaborn и pandas. Просто print, где выводилось бы только два знака после запятой у каждого числа
- Assistant
Если вы хотите вывести матрицу корреляций в консоль без использования дополнительных библиотек, таких как
pandas,matplotlibилиseaborn, то вы можете сделать это с помощью стандартных средств Python, отформатировав числа до двух знаков после запятой. Вот пример того, как это можно сделать:import numpy as np def calculate_correlation_matrix(X) -> np.ndarray: num_features = X.shape[1] correlation_matrix = np.zeros((num_features, num_features)) to_remove = set() for i in range(num_features): for j in range(num_features): X_col_i, X_col_j = X[:, i], X[:, j] mean_X_i = np.mean(X_col_i) mean_X_j = np.mean(X_col_j) numerator = np.sum((X_col_i - mean_X_i) * (X_col_j - mean_X_j)) denominator = np.sqrt(np.sum((X_col_i - mean_X_i) ** 2) * np.sum((X_col_j - mean_X_j) ** 2)) if denominator == 0: corr = 0 else: corr = numerator / denominator correlation_matrix[i, j] = corr if corr > 0.9 and i != j: print(f"Features {i} and {j} have correlation = {corr}. It is more, than 0.9.") if i not in to_remove: to_remove.add(j) return correlation_matrix, to_remove def print_correlation_matrix(correlation_matrix: np.ndarray): num_features = correlation_matrix.shape[0] # Печать заголовка header = " " + " ".join([f"F{i+1}".rjust(6) for i in range(num_features)]) print(header) # Печать матрицы for i in range(num_features): row = f"F{i+1} " + " ".join([f"{correlation_matrix[i, j]:6.2f}" for j in range(num_features)]) print(row) # Пример использования: # X = np.random.rand(100, 5) # Генерация тестового набора данных # corr_matrix, to_remove = calculate_correlation_matrix(X) # print_correlation_matrix(corr_matrix) # print("Features to remove:", to_remove)Функция
print_correlation_matrixпринимает матрицу корреляций и выводит её в консоль в виде табличных данных с двумя знаками после запятой. Заголовки и значения по возможности выравниваются для улучшения читаемости. - User
Что число 111 делает? ax = fig.add_subplot(111, projection="3d")
def show_space(X, y): fig = plt.figure(figsize=(10, 8)) ax = fig.add_subplot(123, projection="3d")
scatter = ax.scatter(X[:, 0], X[:, 1], X[:, 2], c=y, cmap='viridis') ax.view_init(elev=25, azim=25) plt.show() - Assistant
Число
111в методеadd_subplot– это способ обозначения сетки и позиции графика в этой сетке. Оно состоит из трёх цифр:nrows,ncolsиindex.nrows– количество строк в сетке.ncols– количество столбцов в сетке.index– позиция текущего графика в сетке (нумерация идет слева направо и сверху вниз, начиная с 1).
Когда вы пишете
fig.add_subplot(111), это означает, что создается один график, занимающий всю область фигуры, так как сетка состоит из1строки и1столбца. Рассмотрим подробнее:1– одна строка.1– один столбец.1– единственный график, занимающий всю сетку.
Поэтому
add_subplot(111, projection="3d")создаёт 3D-график, занимающий всю фигуру.В вашем коде:
ax = fig.add_subplot(123, projection="3d")Значение
123представляет собой:1– одна строка в сетке.2– два столбца в сетке.3– текущий график занимает третью позицию в сетке.
Однако установка
123как параметр дляadd_subplotхуже подходит, если ваша цель — создать единственный график на всей фигуре. Правильнее было бы использовать111, если вы не планируете добавлять дополнительные графики в фигуру. Установка123, вероятно, была сделана ошибочно или подразумевалось другое расположение, требующее большего количества субплотов. - User
Построй с помощью matplotlib гистограмму на которой будут: класс 0 как синий, а класс 1, как красный
- Assistant
Чтобы построить гистограмму, на которой данные одного класса будут отображаться синим цветом, а другого класса — красным, нужно сгруппировать ваши данные по классам и затем визуализировать их с помощью функции
histиз библиотекиmatplotlib. Предположим, что у вас есть данные в виде двумерного массиваX, где строки представляют собой образцы, и массивy, представляющий метки классов (0 или 1).Вот пример кода для выполнения этой задачи:
import numpy as np import matplotlib.pyplot as plt # Пример данных # X - это двумерный массив с числовыми признаками # y - это метки классов (0 или 1) X = np.random.rand(100, 1) # Данные y = np.random.randint(0, 2, size=(100, )) # Метки классов # Разделяем данные по классам X_class0 = X[y == 0] X_class1 = X[y == 1] # Построение гистограммы plt.figure(figsize=(10, 6)) plt.hist(X_class0, bins=15, alpha=0.7, label='Class 0', color='blue', edgecolor='black') plt.hist(X_class1, bins=15, alpha=0.7, label='Class 1', color='red', edgecolor='black') plt.title('Histogram of Classes') plt.xlabel('Feature Value') plt.ylabel('Frequency') plt.legend() plt.show()Объяснение кода:
-
Генерация данных: В примере создаются случайные данные — массив
Xс числовыми признаками и массивyс метками классов (0 или 1). -
Разделение данных: Данные разделяются на два подмножества —
X_class0для класса 0 иX_class1для класса 1. -
Построение гистограммы:
- Используется функция
plt.histдля каждой группы данных. bins=15: Устанавливает количество корзин (столбцов) в гистограмме.alpha=0.7: Устанавливает прозрачность гистограммы.color: Задает цвет для каждого класса.edgecolor='black': Добавляет черные границы для ясности.- Легенда (
plt.legend()) позволяет легко идентифицировать классы по цветам.
- Используется функция
-
Отображение гистограммы: Вызывается
plt.show()для отображения графика.
Этот код визуализирует распределение данных для каждого класса, показывая, как часто значка каждого класса встречаются в данных.
-
- User
Перефразируй: знакомство с основными методами предобработки табличных данных, их анализа, а также изучение алгоритмов классификации: линейный дискриминант Фишера и логистическая регрессия (с градиентным спуском) – с дальнейшей реализацией даннных алгоритмов без сторонних библиотек.
- Assistant
ознакомление с основными методами предобработки табличных данных, их анализа, а также изучение алгоритмов классификации: линейного дискриминанта Фишера и логистической регрессии (с использованием градиентного спуска) с последующей реализацией этих алгоритмов без использования сторонних библиотек.
- User
Не, как будто другой человек писал чтобы
- Assistant
изучение ключевых методов предобработки и анализа табличных данных, а также освоение алгоритмов классификации, таких как линейный дискриминант Фишера и логистическая регрессия (реализованная с градиентным спуском), с дальнейшей разработкой данных алгоритмов самостоятельно, без применения сторонних библиотек.
- User
В ходе выполнения курсовой работы было произведено знакомство с основными методами предобработки табличных данных, их анализа. Так- же были изучучены алгоритмы классификации: линейный дискриминант Фишера и логистическая регрессия (с градиентным спуском) – с дальней- шей реализацией даннных алгоритмов без сторонних библиотек на языке скриптов Python3.
- Assistant
В процессе выполнения курсовой работы были изучены основные методы предобработки и анализа табличных данных. Также были рассмотрены алгоритмы классификации, такие как линейный дискриминант Фишера и логистическая регрессия (с применением градиентного спуска). Эти алгоритмы были впоследствии реализованы самостоятельно на языке программирования Python3 без использования сторонних библиотек.
- User
Тоже самое, но восстанови формулы
1 Теоретическая часть Линейный дискриминант Фишера предполагает нормальное распреде- ление данных и одинаковые ковариационные матрицы классов, в то время как логистическая регрессия менее чувствительна к форме распределения данных. LDA находит проекцию, максимизирующую разделение классов, то- гда как логистическая регрессия оптимизирует вероятность правильной классификации. 1.1 Линейный дискриминант Фишера (LDA) Линейный дискриминант Фишера (LDA) находит линейную комбина- цию признаков, которая максимизирует различие между классами. Основная цель LDA — проецировать многомерные данные на одну ось, так чтобы разделение между классами было наибольшим. Примерный алгоритм следующий. Пусть есть два класса 𝐶1 и 𝐶2 с вы- борками 𝑋1 и 𝑋2 соответственно. Вычислим средние векторы для каждого класса: 1 ∑︁ 1 ∑︁ 𝜇1 = 𝑥, 𝜇2 = 𝑥, 𝑁1 𝑁2 𝑥∈𝑋1 𝑥∈𝑋2 где 𝑁1 и 𝑁2 – количество объектов в классах 𝐶1 и 𝐶2. Предполагается, что ковариационные матрицы классов одинаковы, поэтому вычисляется общая ковариационная матрица 𝑆: (︃ )︃ 1 ∑︁ ∑︁ 𝑆 = (𝑥 − 𝜇1 )(𝑥 − 𝜇1 )𝑇 + (𝑥 − 𝜇2)(𝑥 − 𝜇2)𝑇 . 𝑁1 + 𝑁2 − 2 𝑥∈𝑋1 𝑥∈𝑋2 Чтобы максимизировать расстояние между классами при миними- зации внутриклассовой дисперсии, используется направление вектора 𝑤, которое определяется как: 6 𝑤 = 𝑆 −1(𝜇1 − 𝜇2 ). Проецируем объект 𝑥 на направление 𝑤 и определяем, к какому классу он относится. Разделяющая гиперплоскость будет находиться в точке, где 𝑤 · 𝑥 = 𝑏, где 𝑏 – порог, который определяется на основе расстояний между классами. 1.2 Логистическая регрессия Логистическая регрессия — метод для бинарной классификации, ко- торый использует логистическую функцию для моделирования вероятности принадлежности объекта к одному из классов. Логистическая регрессия подходит для случая, когда данные не обязательно нормально распределены и когда ковариационные матрицы классов могут быть разными. Примерный алгоритм следующий. Пусть 𝑥 – вектор признаков, а 𝜃 — вектор параметров модели. Логистическая регрессия использует логисти- ческую функцию для моделирования вероятности принадлежности к классу 1: 1 𝑃 (𝑦 = 1|𝑥) = 𝜎(𝜃𝑇 𝑥) = , 1 + 𝑒−𝜃𝑇 𝑥 где 𝜎(𝑧) = 1 −𝑧 – логистическая функция (сигмоида), которая пере- 1+𝑒водит линейную комбинацию признаков в диапазон (0,1). Для обучения логистической регрессии используется логарифмиче- ская функция потерь (логарифмическая правдоподобность): 𝑁 1 ∑︁ (︀ 𝑇 )︀ 𝐿(𝜃) = − 𝑦𝑖 log 𝜎(𝜃𝑇 𝑥𝑖 ) + (1 − 𝑦𝑖 ) log(1 − 𝜎(𝜃 𝑥𝑖 )) , 𝑁𝑖=1 где 𝑦𝑖 — истинная метка класса для 𝑖-го объекта, а 𝑥𝑖 — вектор признаков для этого объекта. 7 Минимизируя функцию потерь 𝐿(𝜃) по параметрам 𝜃 с помощью гра- диентного спуска, находим оптимальные параметры, которые максимизи- руют вероятность правильной классификации. Обновление параметров на каждом шаге выглядит следующим образом: 𝜃 := 𝜃 − 𝛼∇𝜃 𝐿(𝜃), где 𝛼 — скорость обучения, а ∇𝜃 𝐿(𝜃) – градиент функции потерь. После нахождения оптимальных параметров 𝜃, для объекта 𝑥 можно предсказать вероятность принадлежности к классу 1 с помощью функции: 𝑃 (𝑦 = 1|𝑥) = 𝜎(𝜃𝑇 𝑥). Для бинарной классификации результат можно интерпретировать с использованием порога (обычно 0.5): если вероятность выше порога, то объект классифицируется как класс 1, иначе — как класс 0.
- Assistant
Теоретическая часть
Линейный дискриминант Фишера (LDA) исходит из предположения о нормальном распределении данных и одинаковых ковариационных матрицах классов, в то время как логистическая регрессия менее чувствительна к форме распределения данных. LDA ищет проекцию, которая максимизирует разделение классов, тогда как логистическая регрессия оптимизирует вероятность правильной классификации.
1.1 Линейный дискриминант Фишера (LDA)
Линейный дискриминант Фишера (LDA) находит линейную комбинацию признаков, которая максимизирует различие между классами. Основная цель LDA — проецировать многомерные данные на одну ось так, чтобы разделение между классами было наибольшим.
Примерный алгоритм заключается в следующем. Пусть есть два класса (C_1) и (C_2) с выборками (X_1) и (X_2) соответственно. Вычислим средние векторы для каждого класса:
[ \mu_1 = \frac{1}{N_1} \sum_{x \in X_1} x, \quad \mu_2 = \frac{1}{N_2} \sum_{x \in X_2} x ]
где (N_1) и (N_2) — количество объектов в классах (C_1) и (C_2).
Предполагается, что ковариационные матрицы классов одинаковы, поэтому вычисляется общая ковариационная матрица (S):
[ S = \frac{1}{N_1 + N_2 - 2} \left( \sum_{x \in X_1} (x - \mu_1)(x - \mu_1)^T + \sum_{x \in X_2} (x - \mu_2)(x - \mu_2)^T \right) ]
Чтобы максимизировать расстояние между классами при минимизации внутриклассовой дисперсии, используется направление вектора (w), которое определяется как:
[ w = S^{-1}(\mu_1 - \mu_2) ]
Проецируем объект (x) на направление (w) и определяем, к какому классу он относится. Разделяющая гиперплоскость будет находиться в точке, где (w \cdot x = b), где (b) — порог, который определяется на основе расстояний между классами.
1.2 Логистическая регрессия
Логистическая регрессия — метод для бинарной классификации, который использует логистическую функцию для моделирования вероятности принадлежности объекта к одному из классов. Логистическая регрессия подходит для случая, когда данные не обязательно нормально распределены и когда ковариационные матрицы классов могут быть разными.
Примерный алгоритм следующий. Пусть (x) — вектор признаков, а (\theta) — вектор параметров модели. Логистическая регрессия использует логистическую функцию для моделирования вероятности принадлежности к классу 1:
[ P(y = 1|x) = \sigma(\theta^T x) = \frac{1}{1 + e^{-\theta^T x}} ]
где (\sigma(z) = \frac{1}{1+e^{-z}}) — логистическая функция (сигмоида), которая переводит линейную комбинацию признаков в диапазон ((0,1)).
Для обучения логистической регрессии используется логарифмическая функция потерь (логарифмическое правдоподобие):
[ L(\theta) = -\frac{1}{N} \sum_{i=1}^{N} \left( y_i \log \sigma(\theta^T x_i) + (1 - y_i) \log(1 - \sigma(\theta^T x_i)) \right) ]
где (y_i) — истинная метка класса для (i)-го объекта, а (x_i) — вектор признаков для этого объекта.
Минимизируя функцию потерь (L(\theta)) по параметрам (\theta) с помощью градиентного спуска, находим оптимальные параметры, которые максимизируют вероятность правильной классификации. Обновление параметров на каждом шаге выглядит следующим образом:
[ \theta := \theta - \alpha \nabla_\theta L(\theta) ]
где (\alpha) — скорость обучения, а (\nabla_\theta L(\theta)) — градиент функции потерь.
После нахождения оптимальных параметров (\theta), для объекта (x) можно предсказать вероятность принадлежности к классу 1 с помощью функции:
[ P(y = 1|x) = \sigma(\theta^T x) ]
Для бинарной классификации результат можно интерпретировать с использованием порога (обычно 0.5): если вероятность выше порога, то объект классифицируется как класс 1, иначе — как класс 0.
- User
В ходе выполнения задания были освоены навыки работы с предобработкой данных, анализа признаков и произведено знакомство с линейным дискрименантом Фишера. Также были сделаны реализации вышеперечисленного без использования специализированных библиотек.
- Assistant
В процессе выполнения задания были приобретены навыки предобработки данных и анализа признаков, а также проведено изучение линейного дискриминанта Фишера. Кроме того, были реализованы указанные методы без использования специализированных библиотек.
- User
Опиши алгоритм получения предсказания на новых входных данных для Фишера
- Assistant
Линейный дискриминант Фишера (LDA) используется для нахождения линейной комбинации признаков, которая позволяет максимально разделить два или более класса. После того как модель обучена, можно использовать её для предсказания классов новых входных данных. Вот пошаговый алгоритм получения предсказания для новых входных данных с использованием LDA:
-
Обучение модели (если необходимо):
-
Вычисление средних векторов:
- Для каждого класса вычислите средний вектор (\mu_k).
-
Вычисление ковариационной матрицы:
- Предполагая, что ковариационные матрицы для всех классов одинаковы, вычислите объединённую ковариационную матрицу (S).
-
Определение оптимального направления:
- Вычислите вектор направленности (w = S^{-1}(\mu_1 - \mu_2)), который максимизирует различие между классами.
-
-
Проекция данных:
- Для каждой новой входной точки (x_{\text{new}}), выполните проекцию её признаков на направление (w), вычислив скалярное произведение: [ y_{\text{projected}} = w \cdot x_{\text{new}} ]
-
Определение порога:
- Если порог (b) не определён на стадии обучения, его можно установить как среднюю точку между средними проекциями двух классов или по другим критериям.
-
Классификация:
- Сравните (y_{\text{projected}}) с порогом (b):
- Если (y_{\text{projected}} > b), то (x_{\text{new}}) относят к классу 1.
- Иначе (x_{\text{new}}) относят к классу 2.
- Сравните (y_{\text{projected}}) с порогом (b):
Этот алгоритм позволяет предсказывать класс для новых данных, основываясь на линейной комбинации признаков, сконструированной для максимального различия между классами в обучающей выборке.
-