В этом задании мы решаем задачу классификации. Надо классифицировать временные ряды на…
- User
В этом задании мы решаем задачу классификации. Надо классифицировать временные ряды на два класса. Решение должно содержать анализ предоставленных данных (EDA), процесс построения и проверки гипотез, генерацию признаков из обучающей выборки, обучение модели и предсказание. Целевая метрика: ROC AUC Выборки: train.parquet : обучающая выборка test.parquet : тестовая выборка sample_submission.csv : пример ответа
Обучающая выборка train.parquet:
- id - уникальный идентификатор объекта.
- dates - массив с датами наблюдений.
- values - массив с соответствующими наблюдениями.
- label - класс ряда.
Тестовая выборка test.parquet:
- id - уникальный идентификатор объекта.
- dates - массив с датами наблюдений.
- values - массив с соответствующими наблюдениями.
Пример решения sample_submission.csv:
- id - уникальный идентификатор объекта.
- score - предсказание (вероятность класса 1)
- Assistant
Конечно! Давайте последовательно решим задачу классификации временных рядов, соблюдая все указанные этапы: EDA, построение и проверка гипотез, генерация признаков, обучение модели и предсказание. В конце предоставлю пример кода на Python с использованием популярных библиотек.
Этапы решения
- Загрузка данных и предварительный анализ (EDA)
- Построение и проверка гипотез
- Генерация признаков
- Обучение модели
- Оценка модели
- Предсказание на тестовой выборке и подготовка submission файла
1. Загрузка данных и предварительный анализ (EDA)
Первым делом необходимо загрузить данные и провести первичный анализ, чтобы понять структуру и распределение данных.
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns # Загрузка данных train = pd.read_parquet('train.parquet') test = pd.read_parquet('test.parquet') sample_submission = pd.read_csv('sample_submission.csv') # Просмотр первых строк обучающей выборки print(train.head()) # Проверка размеров выборок print(f"Train shape: {train.shape}") print(f"Test shape: {test.shape}") # Проверка распределения классов sns.countplot(x='label', data=train) plt.title('Распределение классов') plt.show()Анализ:
- Количество объектов в обучающей и тестовой выборках.
- Распределение классов (балансировка).
2. Построение и проверка гипотез
На основе EDA можно выдвинуть несколько гипотез о том, какие признаки могут быть полезны для классификации:
- Статистические характеристики: среднее, стандартное отклонение, минимум, максимум, медиана и т.д.
- Функции преобразования временного ряда: скользящие средние, экспоненциальные сглаживания.
- Частотные признаки: компоненты FFT.
- Характеристики тренда и сезонности.
- Длина ряда.
3. Генерация признаков
Извлекаем различные характеристики из временных рядов для использования в модели.
from scipy import stats from sklearn.preprocessing import StandardScaler import warnings warnings.filterwarnings('ignore') def extract_features(df): features = pd.DataFrame() features['id'] = df['id'] # Длина временного ряда features['length'] = df['values'].apply(len) # Статистические признаки features['mean'] = df['values'].apply(np.mean) features['std'] = df['values'].apply(np.std) features['min'] = df['values'].apply(np.min) features['max'] = df['values'].apply(np.max) features['median'] = df['values'].apply(np.median) features['skew'] = df['values'].apply(stats.skew) features['kurtosis'] = df['values'].apply(stats.kurtosis) # Признаки на основе тенденции def slope(x): return np.polyfit(range(len(x)), x, 1)[0] features['slope'] = df['values'].apply(slope) # Признаки на основе FFT def fft_features(x): fft_vals = np.abs(np.fft.fft(x)) fft_norm = fft_vals / np.sum(fft_vals) return fft_norm[:10].tolist() # первые 10 коэффициентов fft_feat = df['values'].apply(fft_features) fft_df = pd.DataFrame(fft_feat.tolist(), columns=[f'fft_{i}' for i in range(10)]) features = pd.concat([features, fft_df], axis=1) return features # Генерация признаков для обучающей и тестовой выборок train_features = extract_features(train) test_features = extract_features(test) # Добавление целевой переменной train_features['label'] = train['label']Описание признаков:
- Основные статистические метрики: mean, std, min, max, median, skew, kurtosis.
- Slope: наклон линии тренда.
- FFT признаки: первые 10 коэффициентов преобразования Фурье для захвата частотных характеристик.
4. Обучение модели
Используем алгоритм градиентного бустинга (LightGBM) для обучения модели.
import lightgbm as lgb from sklearn.model_selection import StratifiedKFold from sklearn.metrics import roc_auc_score # Разделение данных на признаки и целевую переменную X = train_features.drop(['id', 'label'], axis=1) y = train_features['label'] X_test = test_features.drop('id', axis=1) # Стандартизация признаков (опционально) scaler = StandardScaler() X = scaler.fit_transform(X) X_test = scaler.transform(X_test) # Настройка параметров модели params = { 'objective': 'binary', 'metric': 'auc', 'boosting_type': 'gbdt', 'learning_rate': 0.05, 'num_leaves': 31, 'max_depth': -1, 'min_child_samples': 20, 'subsample': 0.8, 'colsample_bytree': 0.8, 'random_state': 42 } # Кросс-валидация kf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) oof = np.zeros(len(X)) predictions = np.zeros(len(X_test)) for train_index, valid_index in kf.split(X, y): X_tr, X_val = X[train_index], X[valid_index] y_tr, y_val = y.iloc[train_index], y.iloc[valid_index] lgb_train = lgb.Dataset(X_tr, y_tr) lgb_valid = lgb.Dataset(X_val, y_val, reference=lgb_train) model = lgb.train(params, lgb_train, num_boost_round=1000, valid_sets=[lgb_train, lgb_valid], early_stopping_rounds=100, verbose_eval=100) oof[valid_index] = model.predict(X_val, num_iteration=model.best_iteration) predictions += model.predict(X_test, num_iteration=model.best_iteration) / kf.n_splits # Оценка модели roc_auc = roc_auc_score(y, oof) print(f'ROC AUC на кросс-валидации: {roc_auc:.4f}')Пояснения:
- Стандартизация признаков может помочь модели лучше обучиться.
- StratifiedKFold обеспечивает сохранение пропорций классов в каждой фолде.
- Early Stopping предотвращает переобучение.
5. Оценка модели
Мы уже вычислили ROC AUC на кросс-валидации. Если требуется, можно дополнительно построить ROC-кривую.
from sklearn.metrics import roc_curve fpr, tpr, thresholds = roc_curve(y, oof) plt.plot(fpr, tpr, label=f'ROC AUC = {roc_auc:.4f}') plt.plot([0,1], [0,1], 'k--') plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('ROC Curve') plt.legend() plt.show()6. Предсказание на тестовой выборке и подготовка submission файла
Теперь используем обученную модель для предсказания на тестовой выборке и сформируем submission файл.
# Формирование submission файла submission = pd.DataFrame({ 'id': test_features['id'], 'score': predictions }) # Сохранение в CSV submission.to_csv('submission.csv', index=False) print("Submission файл сохранен как 'submission.csv'")Полный пример кода
Для удобства представлю полный пример кода, объединяющий все шаги:
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from scipy import stats from sklearn.preprocessing import StandardScaler from sklearn.model_selection import StratifiedKFold from sklearn.metrics import roc_auc_score, roc_curve import lightgbm as lgb import warnings warnings.filterwarnings('ignore') # 1. Загрузка данных train = pd.read_parquet('train.parquet') test = pd.read_parquet('test.parquet') sample_submission = pd.read_csv('sample_submission.csv') # 2. EDA print("Первые строки обучающей выборки:") print(train.head()) print(f"Train shape: {train.shape}") print(f"Test shape: {test.shape}") # Распределение классов plt.figure(figsize=(6,4)) sns.countplot(x='label', data=train) plt.title('Распределение классов') plt.show() # Пример визуализации временного ряда plt.figure(figsize=(10,4)) for i in range(3): plt.plot(train.iloc[i]['dates'], train.iloc[i]['values'], label=f"Class {train.iloc[i]['label']}") plt.title('Примеры временных рядов') plt.legend() plt.show() # 3. Генерация признаков def extract_features(df): features = pd.DataFrame() features['id'] = df['id'] # Длина временного ряда features['length'] = df['values'].apply(len) # Статистические признаки features['mean'] = df['values'].apply(np.mean) features['std'] = df['values'].apply(np.std) features['min'] = df['values'].apply(np.min) features['max'] = df['values'].apply(np.max) features['median'] = df['values'].apply(np.median) features['skew'] = df['values'].apply(stats.skew) features['kurtosis'] = df['values'].apply(stats.kurtosis) # Признаки на основе тенденции def slope(x): return np.polyfit(range(len(x)), x, 1)[0] features['slope'] = df['values'].apply(slope) # Признаки на основе FFT def fft_features(x): fft_vals = np.abs(np.fft.fft(x)) fft_norm = fft_vals / np.sum(fft_vals) return fft_norm[:10].tolist() # первые 10 коэффициентов fft_feat = df['values'].apply(fft_features) fft_df = pd.DataFrame(fft_feat.tolist(), columns=[f'fft_{i}' for i in range(10)]) features = pd.concat([features, fft_df], axis=1) return features # Генерация признаков train_features = extract_features(train) test_features = extract_features(test) # Добавление целевой переменной train_features['label'] = train['label'] # 4. Обучение модели X = train_features.drop(['id', 'label'], axis=1) y = train_features['label'] X_test = test_features.drop('id', axis=1) # Стандартизация признаков scaler = StandardScaler() X = scaler.fit_transform(X) X_test = scaler.transform(X_test) # Параметры модели params = { 'objective': 'binary', 'metric': 'auc', 'boosting_type': 'gbdt', 'learning_rate': 0.05, 'num_leaves': 31, 'max_depth': -1, 'min_child_samples': 20, 'subsample': 0.8, 'colsample_bytree': 0.8, 'random_state': 42 } # Кросс-валидация kf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) oof = np.zeros(len(X)) predictions = np.zeros(len(X_test)) for fold, (train_idx, valid_idx) in enumerate(kf.split(X, y)): print(f"Фолд {fold+1}") X_tr, X_val = X[train_idx], X[valid_idx] y_tr, y_val = y.iloc[train_idx], y.iloc[valid_idx] lgb_train = lgb.Dataset(X_tr, y_tr) lgb_valid = lgb.Dataset(X_val, y_val, reference=lgb_train) model = lgb.train(params, lgb_train, num_boost_round=1000, valid_sets=[lgb_train, lgb_valid], early_stopping_rounds=100, verbose_eval=100) oof[valid_idx] = model.predict(X_val, num_iteration=model.best_iteration) predictions += model.predict(X_test, num_iteration=model.best_iteration) / kf.n_splits # Оценка модели roc_auc = roc_auc_score(y, oof) print(f'ROC AUC на кросс-валидации: {roc_auc:.4f}') # Построение ROC-кривой fpr, tpr, thresholds = roc_curve(y, oof) plt.figure(figsize=(6,4)) plt.plot(fpr, tpr, label=f'ROC AUC = {roc_auc:.4f}') plt.plot([0,1], [0,1], 'k--') plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('ROC Curve') plt.legend() plt.show() # 5. Подготовка submission файла submission = pd.DataFrame({ 'id': test_features['id'], 'score': predictions }) submission.to_csv('submission.csv', index=False) print("Submission файл сохранен как 'submission.csv'")Дополнительные улучшения
Для повышения качества модели можно рассмотреть следующие подходы:
- Больше признаков: Добавление дополнительных характеристик, таких как разности, скользящие окна, коэффициенты автокорреляции и т.д.
- Тщательная обработка временных признаков: Если даты имеют сезонные компоненты (например, дневные, ежемесячные тренды), можно извлечь соответствующие признаки.
- Выбор моделей: Попробовать разные алгоритмы, например, XGBoost, CatBoost, или даже нейронные сети (если размер данных это оправдывает).
- Гиперпараметрическая оптимизация: Использовать Grid Search или Bayesian Optimization для подбора лучших параметров модели.
- Ensembling: Комбинировать предсказания нескольких моделей для повышения стабильности и качества.
Заключение
Представленный подход обеспечивает базовый каркас для решения задачи классификации временных рядов. Начав с EDA и извлечения простых признаков, можно постепенно усложнять модель и добавлять более информативные характеристики, чтобы достичь лучших результатов по целевой метрике ROC AUC.