Tienes que generar un EDA para la informacion que te voy a compartir, esta informacion…
- User
Tienes que generar un EDA para la informacion que te voy a compartir, esta informacion es informacion historica de crudos, cuando se habla de crudos, los valores del mercado se definen segun el mes de entrega del hidrocarburo, por ende para un dia de analisis pueden haber muchos valores represetativos del mes en el futuro rn que se entregaran los comodities. Para extraer informacion de los 3 hidrocarburos a analizar se usa la siguiente funcion de python, los tres hidrocarburos se definen por los simbolos alli definidos. from extract_crude_data import get_futures_data, save_futures_data
import datetime
Test parameters
partial_symbols = ['QLY', 'QHO', 'QCL']
start_date = datetime.datetime(2022, 10, 1) #start date of delivery crude end_date = datetime.datetime(2024, 8, 31) #end date of delivery crude
frequency = 'daily' #"weekly" or "monthly"
limit = '1000' #days back in the time to carry dataGet data
futures_data = get_futures_data(partial_symbols, start_date, end_date, frequency, limit) Aqui se crea la variable, que sera un diccionario de dataframes con cada symbolo parcial como key. y el aspecto de cada dataframe es este: Date Open High Low Close Volume OI Symbol delivery_month delivery_year 15356 2024-06-14 NaN 2.3613 2.3613 2.3613 --- 157 QLYM24 6 24 16778 2024-06-17 NaN 2.4436 2.4436 2.4436 15 156 QLYQ24 8 24 15357 2024-06-17 NaN 2.3665 2.3665 2.3665 --- 157 QLYM24 6 24. Entre las caractetisticas del EDA debe tener: Determinar si estas correlaciones varían según la temporalidad (diario, semanal, mensual) y generar gráficos de correlación (heatmaps). Evaluación de la temporalidad de las predicciones: Análisis de las ventanas de tiempo disponibles para determinar si hay suficientes datos en las diferentes frecuencias (diario, semanal, mensual).
Validar la viabilidad de hacer predicciones precisas en función de la cantidad y calidad de datos para cada temporalidad. Identificación de patrones estacionales o cíclicos: Detectar patrones estacionales en las series de tiempo de commodities, clima e indicadores económicos, que puedan influir en las predicciones.
Generar gráficos que muestren estos patrones en diferentes períodos de tiempo.
- Assistant
¡Claro! A continuación, te proporcionaré una guía detallada para realizar un Análisis Exploratorio de Datos (EDA) sobre la información histórica de crudos que has compartido. Utilizaremos Python y sus principales bibliotecas para llevar a cabo este análisis, enfocándonos en las características que has mencionado.
1. Preparación del Entorno
Primero, asegurémonos de tener instaladas las bibliotecas necesarias:
# Instalar las bibliotecas necesarias si no están instaladas !pip install pandas numpy matplotlib seaborn plotly statsmodelsImportamos las bibliotecas:
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import plotly.express as px from statsmodels.tsa.seasonal import seasonal_decompose import datetime2. Carga de Datos
Asumiendo que ya tienes la función
get_futures_datadefinida y que devuelve un diccionario de DataFrames:from extract_crude_data import get_futures_data, save_futures_data # Parámetros de prueba partial_symbols = ['QLY', 'QHO', 'QCL'] start_date = datetime.datetime(2022, 10, 1) # Fecha de inicio de entrega del crudo end_date = datetime.datetime(2024, 8, 31) # Fecha de fin de entrega del crudo frequency = 'daily' # "weekly" o "monthly" limit = '1000' # Días atrás para traer datos # Obtener datos futures_data = get_futures_data(partial_symbols, start_date, end_date, frequency, limit)3. Preprocesamiento de Datos
Antes de empezar el análisis, es importante limpiar y preparar los datos.
3.1. Unión de los Datos
Unimos todos los DataFrames en uno solo para facilitar el análisis:
# Concatenar todos los DataFrames en uno solo df_list = [] for symbol, df in futures_data.items(): df['Partial_Symbol'] = symbol df_list.append(df) data = pd.concat(df_list, ignore_index=True)3.2. Conversión de Tipos de Datos
Aseguramos que las columnas tengan el tipo de dato correcto:
# Convertir la columna Date a tipo datetime data['Date'] = pd.to_datetime(data['Date']) # Convertir las columnas numéricas numerical_cols = ['Open', 'High', 'Low', 'Close', 'Volume', 'OI', 'delivery_month', 'delivery_year'] for col in numerical_cols: data[col] = pd.to_numeric(data[col], errors='coerce')3.3. Manejo de Valores Faltantes
Identificamos y manejamos los valores faltantes:
# Verificar valores faltantes print(data.isnull().sum()) # Opcional: Rellenar o eliminar valores faltantes según corresponda data = data.dropna() # Esta es una opción; otra podría ser rellenar con forward fill # data.fillna(method='ffill', inplace=True)4. Análisis de Correlaciones por Temporalidad
4.1. Definir Funciones para Agregar Datos
Creamos funciones para agregar los datos a diferentes frecuencias: diaria, semanal y mensual.
def aggregate_data(df, freq): """ Agrega los datos según la frecuencia especificada. freq: 'daily', 'weekly', 'monthly' """ if freq == 'daily': return df.copy() elif freq == 'weekly': df_agg = df.resample('W', on='Date').agg({ 'Open': 'first', 'High': 'max', 'Low': 'min', 'Close': 'last', 'Volume': 'sum', 'OI': 'sum' }).dropna() return df_agg elif freq == 'monthly': df_agg = df.resample('M', on='Date').agg({ 'Open': 'first', 'High': 'max', 'Low': 'min', 'Close': 'last', 'Volume': 'sum', 'OI': 'sum' }).dropna() return df_agg else: raise ValueError("Frecuencia no soportada")4.2. Calcular y Visualizar las Correlaciones
Calculamos las correlaciones para cada temporalidad y generamos heatmaps.
frequencies = ['daily', 'weekly', 'monthly'] correlation_results = {} for freq in frequencies: df_agg = aggregate_data(data, freq) corr = df_agg[['Open', 'High', 'Low', 'Close', 'Volume', 'OI']].corr() correlation_results[freq] = corr # Generar heatmap plt.figure(figsize=(8,6)) sns.heatmap(corr, annot=True, cmap='coolwarm', fmt=".2f") plt.title(f"Heatmap de Correlaciones ({freq.capitalize()})") plt.show()Interpretación: Observa cómo las correlaciones entre variables como
Close,VolumeyOIcambian al variar la temporalidad. Estas diferencias pueden influir en los modelos predictivos que se diseñen posteriormente.5. Evaluación de la Temporalidad de las Predicciones
5.1. Análisis de Ventanas de Tiempo Disponibles
Verificamos si hay suficientes datos para cada frecuencia.
for freq in frequencies: df_agg = aggregate_data(data, freq) num_points = len(df_agg) print(f"Frecuencia: {freq.capitalize()}, Número de puntos: {num_points}")5.2. Validación de la Viabilidad para Predicciones
Evaluamos la densidad y calidad de los datos.
# Por ejemplo, si estamos trabajando con datos diarios: df_daily = aggregate_data(data, 'daily') print(f"Días con datos: {df_daily['Close'].count()}") print(f"Periodo cubierto: {df_daily['Date'].min().date()} a {df_daily['Date'].max().date()}") # Similar para semanal y mensualConsideraciones:
- Datos Diarios: Mayor granularidad pero puede tener más ruido.
- Datos Semanales/Mensuales: Menos ruido y patrones más claros, pero menor cantidad de puntos de datos.
La elección de la temporalidad dependerá del objetivo del análisis y la capacidad de los modelos para manejar la frecuencia seleccionada.
6. Identificación de Patrones Estacionales o Cíclicos
6.1. Descomposición de Series Temporales
Utilizaremos la descomposición estacional para identificar tendencias y estacionalidades.
from statsmodels.tsa.seasonal import seasonal_decompose # Seleccionar una serie para el análisis (por ejemplo, Close de QLYM24) symbol = 'QLYM24' df_symbol = data[data['Symbol'] == symbol].set_index('Date').sort_index() df_symbol_monthly = aggregate_data(df_symbol, 'monthly') # Descomposición decomposition = seasonal_decompose(df_symbol_monthly['Close'], model='additive') decomposition.plot() plt.suptitle(f"Descomposición de la Serie Temporal para {symbol} (Mensual)") plt.show()6.2. Detección de Patrones Estacionales
Podemos utilizar gráficos interactivos para observar posibles patrones.
# Gráfico interactivo con Plotly fig = px.line(df_symbol_monthly, x=df_symbol_monthly.index, y='Close', title=f"Serie Temporal de Cierre para {symbol} (Mensual)") fig.show() # Añadir estacionalidad manualmente si se identifica6.3. Análisis de Múltiples Períodos
Comparar diferentes períodos para observar consistencia en patrones estacionales.
# Por ejemplo, comparar 2022 vs 2023 vs 2024 years = [2022, 2023, 2024] plt.figure(figsize=(12,8)) for year in years: df_year = df_symbol_monthly[df_symbol_monthly.index.year == year] plt.plot(df_year.index, df_year['Close'], label=str(year)) plt.title(f"Patrones Estacionales para {symbol} por Año") plt.xlabel("Fecha") plt.ylabel("Precio de Cierre") plt.legend() plt.show()Interpretación: Busca patrones recurrentes como aumentos o disminuciones en ciertos meses, lo que podría indicar estacionalidad.
7. Conclusiones del EDA
Después de realizar los análisis anteriores, es posible extraer varias conclusiones que pueden guiar modelos predictivos futuros:
-
Correlaciones: Identificar qué variables están fuertemente correlacionadas y cómo esto varía con la temporalidad puede ayudar a seleccionar características relevantes para modelos.
-
Temporalidad Adecuada: Dependiendo de la cantidad de datos y los patrones observados, elegir la frecuencia (diaria, semanal, mensual) que proporcione el mejor equilibrio entre detalle y claridad.
-
Patrones Estacionales: La detección de estacionalidades permite incorporar variables estacionales en los modelos predictivos, mejorando su precisión.
-
Calidad de los Datos: Asegurar que hay suficientes datos y que están limpios es fundamental para cualquier análisis posterior.
8. Siguientes Pasos
Con el EDA completado, los siguientes pasos podrían incluir:
-
Creación de Modelos Predictivos: Utilizar técnicas de series temporales, machine learning o deep learning para predecir precios futuros.
-
Validación de Modelos: Evaluar el rendimiento de los modelos utilizando métricas apropiadas.
-
Implementación de Visualizaciones Avanzadas: Crear dashboards interactivos para monitorear los datos en tiempo real.
Espero que esta guía te sea de ayuda para realizar un EDA completo y efectivo sobre tus datos de crudos. ¡Éxito en tu análisis!