как выбрать модель временного ряда чтоб построить прогноз на три месяца по индексам цен…
- User
как выбрать модель временного ряда чтоб построить прогноз на три месяца по индексам цен авиабилетов. датасет, содержащий недельные ценовые индексы на авиабилеты из Москвы в города России с мая 2022 года по конец декабря 2023 года. Ценовые индексы по каждому направлению приведены к единице для самой ранней наблюдаемой даты. вот часть данных date airport_departure airport_arrival price_index 18.05.2022 Москва Абакан 1,00 18.05.2022 Москва Архангельск 1,00 18.05.2022 Москва Благовещенск 1,00 18.05.2022 Москва Астрахань 1,00 18.05.2022 Москва Анапа nan
- Assistant
Для построения прогноза по временным рядам на основании исторических данных ценовых индексов авиабилетов, используйте следующие этапы:
1. Предварительная обработка данных
-
Конвертация строк в даты: Убедитесь, что столбец с датами корректно распознается как тип даты.
-
Обработка пропущенных значений: Замените пропущенные значения (
nan) на подходящие значения, например, среднее или медиану, или используйте методы интерполяции.import pandas as pd # Пример загрузки данных и конвертации даты df = pd.read_csv("data.csv") df['date'] = pd.to_datetime(df['date'], format='%d.%m.%Y') # Заполнение пропущенных значений df['price_index'] = df['price_index'].apply(lambda x: float(str(x).replace(',', '.'))) df['price_index'] = df['price_index'].fillna(df['price_index'].mean())
2. Визуализация данных
-
Анализ трендов и сезонности: Визуализируйте данные для каждого направления отдельно, чтобы понять, есть ли очевидные тренды или сезонные колебания.
import matplotlib.pyplot as plt # Визуализация индекса цен для направления Москва-Абакан abakan = df[df['airport_arrival'] == 'Абакан'] plt.figure(figsize=(10, 6)) plt.plot(abakan['date'], abakan['price_index']) plt.title('Ценовой индекс: Москва-Абакан') plt.xlabel('Дата') plt.ylabel('Индекс цены') plt.grid(True) plt.show()
3. Выбор модели
-
Стационарность ряда: Проверьте временные ряды на стационарность, используя тест Дики-Фуллера, так как многие модели временных рядов (ARIMA, например) требуют стационарности данных.
from statsmodels.tsa.stattools import adfuller result = adfuller(abakan['price_index'].dropna()) print('ADF Statistic: %f' % result[0]) print('p-value: %f' % result[1]) -
Выбор и настройка модели: В зависимости от трендов и сезонности можно использовать разные подходы:
- ARIMA/SARIMA: Хорошо подходит, если есть тренд или сезонность.
- Экспоненциальное сглаживание (ETS): Если тренды менее очевидны.
- Prophet: Библиотека от Facebook, которая хорошо работает с еженедельными данными и учитывает праздники, изменения тренда и сезонность.
Пример конфигурации SARIMA:
from statsmodels.tsa.statespace.sarimax import SARIMAX model = SARIMAX(abakan['price_index'], order=(1, 1, 1), seasonal_order=(1, 1, 1, 52)) result = model.fit()
4. Проверка и оценка модели
- Кросс-валидация: Используйте кросс-валидацию для оценки стабильности модели.
- Сравнение с тестовыми данными: Разделите данные на обучающую и тестовую выборки, чтобы проверить точность модели на неизвестных данных.
5. Прогнозирование
-
Создание прогнозов: Используйте обученную модель для генерации прогнозов на следующие три месяца.
forecast = result.get_forecast(steps=12) # Примерно 12 недель в 3 месяцах predicted_mean = forecast.predicted_mean
Перед началом анализа убедитесь в чистоте и полноте данных. Неконсистентные данные могут существенно повлиять на точность модели прогнозирования.
-
- User
напиши код на питоне для реализации шагов 3, 4 и 5. получилось что большинство направлений стационарны с сезонностью. можно ли учесть направление как отдельный регрессор или лучше для каждого направления строить свою модель? вот как у меня данные уже записаны df = pd.read_excel('test_data.xlsx', parse_dates=['date']) grouped = df.groupby(['airport_departure', 'airport_arrival']) пропуски не убирал. если надо удали их
- Assistant
Чтобы построить прогнозы с учётом стационарности данных с сезонностью, мы можем использовать модель SARIMA (Сезонная ARIMA). Каждое направление можно моделировать отдельно для более точного анализа, так как разные направления могут иметь различные тренды и сезонности.
Шаг 3. Выбор и настройка модели
Использование модели SARIMA на примере одного направления:
from statsmodels.tsa.statespace.sarimax import SARIMAX import pandas as pd import matplotlib.pyplot as plt # Загрузка и подготовка данных df = pd.read_excel('test_data.xlsx', parse_dates=['date']) df.dropna(inplace=True) # Удаление пропущенных значений # Выбор направления для моделирования: например, Москва-Абакан direction_df = df[(df['airport_departure'] == 'Москва') & (df['airport_arrival'] == 'Абакан')] # Модель SARIMA model = SARIMAX(direction_df['price_index'], order=(1, 1, 1), # параметры модели p, d, q seasonal_order=(1, 1, 1, 52)) # параметры сезонности P, D, Q, S results = model.fit() # Результаты print(results.summary())Шаг 4. Проверка и оценка модели
Используем последние несколько точек данных как тестовую выборку:
# Разделение данных на обучающую и тестовую выборку train = direction_df.iloc[:-10] test = direction_df.iloc[-10:] # Обучение модели на тренировочных данных model = SARIMAX(train['price_index'], order=(1, 1, 1), seasonal_order=(1, 1, 1, 52)) results = model.fit() # Прогноз forecast = results.get_forecast(steps=10) forecast_index = pd.date_range(start=test['date'].iloc[0], periods=10, freq='W-MON') forecast_mean = forecast.predicted_mean forecast_ci = forecast.conf_int() # Визуализация результата plt.figure(figsize=(10, 6)) plt.plot(direction_df['date'], direction_df['price_index'], label='Исходные данные') plt.plot(forecast_index, forecast_mean, label='Прогноз', color='red') plt.fill_between(forecast_index, forecast_ci.iloc[:, 0], forecast_ci.iloc[:, 1], color='pink') plt.legend() plt.show() # Вы можете также рассчитать точность прогноза, сравнив его с тестовыми даннымиШаг 5. Создание прогноза на три месяца
# Создание прогноза на следующие 3 месяца (примерно 12 недель) long_forecast = results.get_forecast(steps=12) forecast_mean = long_forecast.predicted_mean forecast_dates = pd.date_range(start=direction_df['date'].iloc[-1], periods=13, freq='W')[1:] # Визуализация долгосрочного прогноза plt.figure(figsize=(10, 6)) plt.plot(direction_df['date'], direction_df['price_index'], label='Исходные данные') plt.plot(forecast_dates, forecast_mean, label='Прогноз на 3 месяца', color='green') plt.legend() plt.show()Этот подход предполагает анализ каждого направления отдельно. Если направлений много и вы хотите проводить масштабный анализ, можете попробовать интегрировать направления как категориальные переменные в модель машинного обучения или использовать методы уменьшения размерности данных.
- User
направлений 52. можно ли учесть направление как отдельный регрессор или лучше для каждого направления строить свою модель? попробовать интегрировать направления как категориальные переменные в модель машинного обучения или использовать методы уменьшения размерности данных. реализуй это все в питон
- Assistant
Для того чтобы эффективно управлять прогнозами для 52 различных направлений, можно подходить к этому по-разному в зависимости от целей и доступных ресурсов устройства для обучения моделей. Использование единой модели для всех направлений может дать менее точные результаты для каждого конкретного направления, но позволит управлять параметрами модели централизованно.
Интеграция направлений как категориальные переменные
Можно воспользоваться моделями машинного обучения, в которых направления будут использованы как фичи. Один из популярных подходов — использование градиентного бустинга (например, XGBoost), который хорошо подходит для работы с категориальными и числовыми данными.
Подготовка данных
Переведём категориальные переменные в числовой формат с помощью one-hot encoding.
import pandas as pd from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestRegressor from sklearn.preprocessing import OneHotEncoder from sklearn.pipeline import make_pipeline from sklearn.metrics import mean_squared_error, mean_absolute_error # Загрузка данных df = pd.read_excel('test_data.xlsx', parse_dates=['date']) df.dropna(inplace=True) # Подготовка данных df['week'] = df['date'].dt.isocalendar().week # Добавляем номер недели df['year'] = df['date'].dt.year # Добавляем год # Кодирование категориальных переменных encoder = OneHotEncoder() encoded_features = encoder.fit_transform(df[['airport_departure', 'airport_arrival']]) encoded_df = pd.DataFrame(encoded_features.toarray(), columns=encoder.get_feature_names(['departure', 'arrival'])) df = df.reset_index(drop=True) # resettting index after dropping rows df = pd.concat([df, encoded_df], axis=1) df.drop(['airport_departure', 'airport_arrival', 'date'], axis=1, inplace=True) # Разделение данных на обучающую и тестовую выборки X_train, X_test, y_train, y_test = train_test_split(df.drop('price_index', axis=1), df['price_index'], test_size=0.2, random_state=42) # Тренировка модели model = make_pipeline(RandomForestRegressor(n_estimators=100, random_state=42)) model.fit(X_train, y_train) # Предсказание на тестовых данных predictions = model.predict(X_test) # Вычисление ошибки mse = mean_squared_error(y_test, predictions) mae = mean_absolute_error(y_test, predictions) print(f'Mean Squared Error: {mse}') print(f'Mean Absolute Error: {mae}')Визуализация результатов и выводы
Этот подход позволяет обучить единую модель для предсказания ценовых индексов авиабилетов по 52 направлениям, используя информацию о направлении как один из предикторов. Подбор правильных параметров модели, количество и тип используемых вами фич (например, добавление данных о праздниках, погодах) могут значительно повысить точность такой модели.
Преимущества:
- Унифицированный подход без необходимости обучать отдельную модель под каждое направление.
Недостатки:
- Потенциально менее точные прогнозы для каждого конкретного направления в сравнении с индивидуальными моделями.
- Время обучения и сложность модели могут быть выше.