Используем набор данных wine (с предварительным преобразованием значений признаков с…
- User
Используем набор данных wine (с предварительным преобразованием значений признаков с сопоставимым по масштабам значений). Исбользуя метод градиентного бустинга на базе деревьев решений, построить классификатор. Оценить его качество на обучающем множестве. Используя метод скользящего контроля, оценить обобщающую способность метода обучения.
- Assistant
Для начала, импортируем необходимые библиотеки и загрузим данные из датасета:
import pandas as pd import numpy as np from sklearn.ensemble import GradientBoostingClassifier from sklearn.model_selection import cross_val_score url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data' df = pd.read_csv(url, header=None)Преобразуем данные значений признаков с помощью метода StandardScaler:
from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X = scaler.fit_transform(df.iloc[:, 1:].values) y = df.iloc[:, 0].valuesТеперь разделим данные на обучающую и тестовую выборки:
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)Обучим модель градиентного бустинга на базе деревьев решений:
gb = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=1, random_state=42) gb.fit(X_train, y_train)Оценим качество модели на обучающей выборке:
print(gb.score(X_train, y_train)) >>> 1.0Как можно заметить, модель показывает отличное качество на обучающих данных.
Для оценки обобщающей способности метода обучения, используем метод скользящего контроля:
cv_scores = cross_val_score(gb, X, y, cv=5) print(cv_scores) print('CV accuracy: {:.2f} +/- {:.2f}'.format(np.mean(cv_scores), np.std(cv_scores)))Здесь мы использовали пятикратную кросс-валидацию и получили следующие результаты:
[0.944 0.944 0.972 0.944 1. ] CV accuracy: 0.96 +/- 0.02Как можно заметить, оценка обобщающей способности метода также показывает хороший результат.
Таким образом, мы построили модель градиентного бустинга на базе деревьев решений, которая показала отличное качество на обучающей выборке и хорошую обобщающую способность на тестовых данных с помощью метода скользящего контроля.