Rozpisz mi zapotrzebowanie na wszystkie biblioteki których będę potrzebował. Pamiętaj,…
- User
Rozpisz mi zapotrzebowanie na wszystkie biblioteki których będę potrzebował. Pamiętaj, że najlepiej jeśli będą one pracowały lokalnie bez przesyłania danych do internetu czy zewnetrznych zasobów. Rozpisz mi także krok po kroku co przygotować, jakie zmienne do kazdego z ID punktu dopisać (np. wojewodztwo, liczba mieszkańców najblizszego miasta, srednia temperatura dla kwartałów/miesięcy, srednia średnica gazociągów w danym terenie, parametry stacji gazowej etc.)
- Assistant
Przygotowałem szczegółowe zestawienie niezbędnych bibliotek oraz strukturę danych do analizy.
1. Wymagane Biblioteki Python:
# Podstawowe biblioteki do analizy danych pip install pandas pip install numpy pip install scipy # Biblioteki do wizualizacji pip install matplotlib pip install seaborn # Biblioteki do modelowania pip install scikit-learn pip install statsmodels pip install xgboost pip install lightgbm # Biblioteki do obsługi danych czasowych pip install datetime pip install holidays # dla dni świątecznych w Polsce # Opcjonalnie dla zaawansowanych modeli pip install tensorflow # dla modeli deep learning pip install keras2. Struktura Danych dla Każdego Punktu Poboru (ID):
A. Dane Identyfikacyjne:
- ID punktu poboru
- Nazwa stacji/punktu
- Współrzędne geograficzne (szerokość, długość)
- Typ punktu (przemysłowy/komunalny/mieszany)
- Data uruchomienia punktu
B. Dane Lokalizacyjne:
-
Administracyjne:
- Województwo
- Powiat
- Gmina
- Kod pocztowy
- Strefa klimatyczna
-
Demograficzne:
- Liczba mieszkańców w promieniu 5 km
- Liczba mieszkańców najbliższego miasta
- Gęstość zaludnienia w gminie
- Liczba podmiotów gospodarczych w okolicy
C. Parametry Techniczne:
-
Stacja Gazowa:
- Przepustowość nominalna [m³/h]
- Ciśnienie wejściowe [MPa]
- Ciśnienie wyjściowe [MPa]
- Liczba ciągów redukcyjnych
- Rok ostatniej modernizacji
- Typ układu pomiarowego
- Klasa dokładności układu pomiarowego
-
Sieć Gazowa:
- Średnia średnica gazociągów zasilających [mm]
- Materiał gazociągów
- Długość sieci w obszarze zasilania [km]
- Liczba przyłączy
- Wiek infrastruktury [lata]
D. Dane Historyczne (szereg czasowy):
-
Pomiary Zużycia:
- Data pomiaru
- Godzina pomiaru (dla danych godzinowych)
- Zużycie gazu [m³]
- Ciśnienie gazu
- Temperatura gazu
- Współczynnik korekcji
-
Dane Pogodowe (miesięczne/kwartalne):
- Średnia temperatura [°C]
- Minimalna temperatura [°C]
- Maksymalna temperatura [°C]
- Liczba dni z temperaturą poniżej 0°C
- Suma opadów [mm]
- Liczba dni z opadami
- Średnia prędkość wiatru [m/s]
- Nasłonecznienie [h]
- Wilgotność względna [%]
E. Wskaźniki Ekonomiczne:
-
Lokalne:
- PKB per capita w regionie
- Stopa bezrobocia w powiecie
- Średnie wynagrodzenie w regionie
- Liczba nowych inwestycji w regionie
-
Energetyczne:
- Cena gazu
- Cena alternatywnych źródeł energii
- Liczba dni grzewczych
- Stopniodni grzania (HDD)
F. Charakterystyka Odbiorców:
-
Struktura odbiorców:
- Procent odbiorców przemysłowych
- Procent odbiorców komunalnych
- Procent innych odbiorców
- Liczba dużych odbiorców (>100k m³/rok)
-
Profile zużycia:
- Współczynnik nierównomierności dobowej
- Współczynnik nierównomierności miesięcznej
- Szczytowe godziny poboru
- Charakterystyka sezonowości
3. Przygotowanie Danych - Krok po Kroku:
- Utworzenie bazy danych:
import pandas as pd import numpy as np # Struktura głównej tabeli columns = [ # Dane identyfikacyjne 'id_punktu', 'nazwa_stacji', 'latitude', 'longitude', 'typ_punktu', # Dane lokalizacyjne 'wojewodztwo', 'powiat', 'gmina', 'kod_pocztowy', # Parametry techniczne 'przepustowosc_nom', 'cisnienie_wej', 'cisnienie_wyj', # Dane pomiarowe 'data_pomiaru', 'zuzycie_gazu', 'cisnienie_gazu', 'temp_gazu', # pozostałe kolumny... ] df = pd.DataFrame(columns=columns)- Przygotowanie funkcji pomocniczych:
def calculate_hdd(temp_mean, base_temp=18): """Obliczanie stopniodni grzania""" return max(0, base_temp - temp_mean) def calculate_seasonality(data): """Obliczanie współczynników sezonowości""" return data.groupby([data.index.month]).mean() def prepare_weather_data(weather_df): """Przygotowanie danych pogodowych""" # Agregacja danych pogodowych return weather_df.resample('D').agg({ 'temperature': 'mean', 'precipitation': 'sum', 'wind_speed': 'mean' })- Przygotowanie danych historycznych:
def prepare_historical_data(df): # Konwersja dat df['data_pomiaru'] = pd.to_datetime(df['data_pomiaru']) # Utworzenie cech czasowych df['rok'] = df['data_pomiaru'].dt.year df['miesiac'] = df['data_pomiaru'].dt.month df['dzien_tygodnia'] = df['data_pomiaru'].dt.dayofweek # Obliczenie średnich ruchomych df['zuzycie_ma7'] = df['zuzycie_gazu'].rolling(window=7).mean() df['zuzycie_ma30'] = df['zuzycie_gazu'].rolling(window=30).mean() return df- Łączenie danych z różnych źródeł:
def merge_all_data(consumption_df, weather_df, technical_df): # Łączenie danych o zużyciu z danymi pogodowymi merged_df = pd.merge( consumption_df, weather_df, on='data_pomiaru', how='left' ) # Dodanie danych technicznych merged_df = pd.merge( merged_df, technical_df, on='id_punktu', how='left' ) return merged_df- Przygotowanie zmiennych do modelowania:
def prepare_features(df): # One-hot encoding dla zmiennych kategorycznych df = pd.get_dummies(df, columns=['wojewodztwo', 'typ_punktu']) # Normalizacja zmiennych numerycznych numeric_columns = ['przepustowosc_nom', 'cisnienie_wej', 'cisnienie_wyj'] df[numeric_columns] = (df[numeric_columns] - df[numeric_columns].mean()) / df[numeric_columns].std() return df- Przykładowy pipeline przetwarzania danych:
def main_pipeline(): # Wczytanie danych consumption_df = pd.read_csv('zuzycie.csv') weather_df = pd.read_csv('pogoda.csv') technical_df = pd.read_csv('parametry_techniczne.csv') # Przygotowanie danych consumption_df = prepare_historical_data(consumption_df) weather_df = prepare_weather_data(weather_df) # Łączenie wszystkich danych final_df = merge_all_data(consumption_df, weather_df, technical_df) # Przygotowanie zmiennych do modelowania final_df = prepare_features(final_df) return final_df4. Wskazówki dotyczące przygotowania danych:
- Wszystkie dane powinny być przechowywane lokalnie w formacie CSV lub w lokalnej bazie danych (np. SQLite).
- Warto stworzyć system automatycznego backupu danych.
- Dla danych pogodowych można wykorzystać lokalne stacje meteorologiczne.
- Dane techniczne powinny być aktualizowane przy każdej modernizacji.
- Warto przygotować procedury walidacji danych wejściowych.
5. Struktura katalogów projektu:
projekt_gaz/ ├── data/ │ ├── raw/ # surowe dane │ ├── processed/ # przetworzone dane │ └── external/ # dane zewnętrzne (np. pogodowe) ├── src/ │ ├── data/ # skrypty do przetwarzania danych │ ├── features/ # tworzenie zmiennych │ ├── models/ # modele │ └── visualization/ # wizualizacje ├── notebooks/ # Jupyter notebooks ├── reports/ # raporty i wizualizacje └── requirements.txt # wymagane bibliotekiTa struktura pozwala na uporządkowane przechowywanie i przetwarzanie danych oraz tworzenie modeli prognostycznych. Wszystkie operacje mogą być wykonywane lokalnie, bez potrzeby połączenia z internetem.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.