import os import json import numpy as np import pandas as pd import talib import logging…
- User
import os import json import numpy as np import pandas as pd import talib import logging from sklearn.preprocessing import MinMaxScaler from sklearn.model_selection import train_test_split, GridSearchCV from lightgbm import LGBMClassifier from sklearn.metrics import classification_report from imblearn.over_sampling import SMOTE import pickle
Loglama ayarları
logging.basicConfig(level=logging.INFO) logger = logging.getLogger(name)
def calculate_indicators(data): logger.info("Göstergeler hesaplanıyor...") close = data['close'].astype(np.float64) high = data['high'].astype(np.float64) low = data['low'].astype(np.float64) volume = data['volume'].astype(np.float64)
# Hacim Değişimi data['volume_change'] = volume.pct_change() logger.info("Hacim değişimi hesaplandı.") # Hacim Hareketli Ortalama data['volume_moving_average'] = volume.rolling(window=20).mean() logger.info("Hacim hareketli ortalaması hesaplandı.") # Hacim Göreceli Güç Endeksi (VRSI) volume_change = volume.diff() gain = volume_change.clip(lower=0) loss = (-volume_change).clip(lower=0) avg_gain = gain.rolling(window=14).mean() avg_loss = loss.rolling(window=14).mean() rs = avg_gain / avg_loss data['volume_rsi'] = 100 - (100 / (1 + rs)) logger.info("Hacim RSI hesaplandı.") # Fiyat Değişimi data['price_change'] = close.pct_change() logger.info("Fiyat değişimi hesaplandı.") # Bollinger Bantları upper, middle, lower = talib.BBANDS(close, timeperiod=20, nbdevup=2, nbdevdn=2) data['bollinger_upper'] = upper data['bollinger_middle'] = middle data['bollinger_lower'] = lower data['bollinger_width'] = (upper - lower) / middle logger.info("Bollinger Bantları hesaplandı.") # Hareketli Ortalama Yakınsama Iraksama (MACD) data['macd'], data['macd_signal'], data['macd_histogram'] = talib.MACD(close) logger.info("MACD hesaplandı.") # Fisher Transformasyonu data['fisher'] = talib.HT_TRENDLINE(close) logger.info("Fisher Transformasyonu hesaplandı.") # Göreceli Güç Endeksi (RSI) data['rsi'] = talib.RSI(close, timeperiod=14) logger.info("RSI hesaplandı.") # Ek Göstergeler data['adx'] = talib.ADX(high, low, close, timeperiod=14) data['mfi'] = talib.MFI(high, low, close, volume, timeperiod=14) data['cci'] = talib.CCI(high, low, close, timeperiod=14) logger.info("ADX, MFI ve CCI hesaplandı.") return datadef load_and_process_data(file_path, window_size=50): logger.info(f"{file_path} dosyasından veri yükleniyor ve işleniyor.") try: with open(file_path, 'r') as file: raw_data = json.load(file) data = pd.DataFrame(raw_data, columns=['timestamp', 'open', 'high', 'low', 'close', 'volume']) data = data.astype(float) except json.JSONDecodeError: logger.error(f"JSON dosyası okunurken hata oluştu: {file_path}") return None, None except IOError: logger.error(f"Dosya açılırken IO hatası oluştu: {file_path}") return None, None except Exception as e: logger.error(f"{file_path} dosyasında beklenmedik bir hata oluştu: {e}") return None, None
logger.info("Veri başarıyla yüklendi.") data = calculate_indicators(data) logger.info("Göstergeler başarıyla hesaplandı.") # Verileri temizleyin ve NaN değerleri ele alın data.replace([np.inf, -np.inf], np.nan, inplace=True) data.dropna(inplace=True) logger.info("Veri temizliği tamamlandı.") # Veriyi normalize et scaler = MinMaxScaler() features_to_normalize = ['open', 'high', 'low', 'close', 'volume', 'bollinger_upper', 'bollinger_middle', 'bollinger_lower', 'bollinger_width', 'macd', 'macd_signal', 'macd_histogram', 'fisher', 'rsi', 'adx', 'mfi', 'cci', 'volume_change', 'volume_moving_average', 'volume_rsi'] # Seçili özellikleri normalize et if data[features_to_normalize].isnull().any().any(): logger.error("Normalize edilecek verilerde NaN değerler mevcut!") else: data[features_to_normalize] = scaler.fit_transform(data[features_to_normalize]) logger.info("Veriler başarıyla normalize edildi.") # 2% fiyat artışı hedef değişkeni oluşturma targets = [] for i in range(window_size, len(data) - 1): future_price = data['close'].iloc[i + 1] current_price = data['close'].iloc[i] target = 1 if (future_price - current_price) / current_price >= 0.02 else 0 targets.append(target) data = data.iloc[window_size:-1] data['target'] = targets logger.info("Hedef değişkenler oluşturuldu.") return data, scalerdef train_and_evaluate_model(data, symbol, scaler): logger.info(f"{symbol} için model eğitiliyor...")
features = data.drop(columns=['target']) target = data['target'] # SMOTE ile sınıf dengesizliğini gider smote = SMOTE(random_state=42) features_resampled, target_resampled = smote.fit_resample(features, target) logger.info("Sınıf dengesizliği SMOTE ile düzeltildi.") # Veriyi eğitim ve test setlerine ayır features_train, features_test, target_train, target_test = train_test_split(features_resampled, target_resampled, test_size=0.2, random_state=42) logger.info("Veriler eğitim ve test setlerine ayrıldı.") # GridSearchCV ile hiperparametre ayarlaması parameter_grid = { 'num_leaves': [31, 50], 'learning_rate': [0.1, 0.05], 'n_estimators': [100, 200] } lgbm = LGBMClassifier(random_state=42) grid_search = GridSearchCV(estimator=lgbm, param_grid=parameter_grid, cv=3, n_jobs=-1, verbose=2) grid_search.fit(features_train, target_train) logger.info("GridSearch ile en iyi model parametreleri bulundu.") # En iyi parametrelerle modeli eğit best_model = grid_search.best_estimator_ logger.info(f"En iyi model parametreleri: {grid_search.best_params_}") # Model, scaler ve özellik listesi kaydedilir model_file = f'{symbol}_USDT-15m_model.pkl' with open(model_file, 'wb') as file: pickle.dump((best_model, scaler, data.columns), file) logger.info(f"{symbol} için model, scaler ve özellik listesi {model_file} olarak kaydedildi.") # Model performansını değerlendir predictions = best_model.predict(features_test) logger.info(f"{symbol} için sınıflandırma raporu:\n{classification_report(target_test, predictions)}") # Özellik önemleri feature_importance = pd.DataFrame(best_model.feature_importances_, index=features.columns, columns=['importance']).sort_values('importance', ascending=False) logger.info(f"Özellik önem dereceleri: \n{feature_importance}") # Eğitim verilerini Excel'e kaydet excel_file = f'{symbol}_USDT-15m_training_data.xlsx' data.to_excel(excel_file, index=False) logger.info(f"Eğitim verileri {excel_file} olarak dışa aktarıldı.")def process_all_json_files_in_directory(directory, window_size=50): logger.info(f"{directory} dizinindeki tüm JSON dosyaları işleniyor...") json_files = [f for f in os.listdir(directory) if f.endswith('.json')]
for json_file in json_files: file_path = os.path.join(directory, json_file) logger.info(f"{json_file} dosyası işleniyor...") try: data, scaler = load_and_process_data(file_path, window_size) if data is not None and scaler is not None: symbol = json_file.split('_')[0] train_and_evaluate_model(data, symbol, scaler) else: logger.error(f"{json_file} dosyası için geçerli veri yok. Bu dosya atlanıyor.") except Exception as e: logger.error(f"{json_file} dosyası işlenirken bir hata oluştu: {e}. Bu dosya atlanıyor.")kodu artıları ve eksileri ile anlat sorun olabilecek noktalara değin.
- Assistant
Bu kod, kripto para verilerini işleyerek çeşitli teknik göstergeler hesaplar, verileri normalize eder, hedef değişken (2% fiyat artışı) oluşturur, ardından bir LightGBM sınıflandırıcı kullanarak bir model eğitir ve değerlendirir. İşleme zamanı açısından oldukça zengin bir örnek olup, veri biliminde yaygın olarak kullanılan bir iş akışını temsil eder.
Artıları:
-
Kapsamlı Gösterge Hesaplamaları:
- Kod, çeşitli teknik göstergeleri (Bollinger Bantları, MACD, RSI vb.) hesaplar. Bu göstergeler, fiyat hareketlerini daha iyi anlamak ve öngörüler yapmak için kullanılır.
-
Donanım Kapsamı:
SMOTEkullanarak sınıf dengesizliğini gidermesi, dengesiz veri kümelerinde performansı artırabilir.
-
Veri İşleme:
- Veri temizleme (NaN değerlerin ele alınması) ve ölçeklendirme (
MinMaxScalerkullanımı), modelleme sürecinde yaygın olarak yapılan önemli adımlardır.
- Veri temizleme (NaN değerlerin ele alınması) ve ölçeklendirme (
-
Model Seçimi ve Hiperparametre Ayarlama:
- LightGBM gibi güçlü bir algoritma kullanılması ve GridSearchCV ile hiperparametre ayarları, model performansını artırabilir.
-
Modülerlik ve Yeniden Kullanılabilirlik:
- Fonksiyonlar modüler şekilde yazılmıştır, bu da kodun başka projeler veya amaçlar için kolaylıkla yeniden kullanılabilmesini sağlar.
-
Logging:
- Ayrıntılı loglama, süreçleri izlemeyi ve hataları ayıklamayı kolaylaştırır.
Eksileri ve Sorun Olabilecek Noktalar:
-
Performans Sorunları:
- JSON dosyalarının büyük olması durumunda bellek kullanımı ve işlem süresi sorun yaratabilir.
- GridSearchCV, büyük veri setleri ve geniş hiperparametre aralıkları ile zaman alıcı olabilir.
-
Eksik Veri Kontrolü:
- Eksik değerlerin ele alınması sırasında, tüm satırları düşürmek yerine daha uygun bir işlem yapılması gerekebilir (örneğin, doğrudan ortalama veya medyan ile doldurmak).
-
Zaman Damgası Kullanımı:
timestampile ilgili herhangi bir işlem yapılmamış; zaman bazlı özelliklerin eklenmesi modelin daha iyi performans göstermesini sağlayabilir.
-
SMOTE Kullanımı:
- SMOTE, bazı durumlarda aşırı öğrenmeye (overfitting) yol açabilir.
-
Özellik İsimlendirmesi ve Yönetimi:
- Kodda belirli özellikler hardcoded şekilde yazılmış; özelliklerin dinamik olarak seçilmesi yönetilebilirlik açısından avantaj sağlar.
-
Hedef Değişken İkili Sınıflandırması:
- Kodun sadece %2 fiyat değişimini hedef değişken olarak alması modele özgü ve belki de başka hedefler için yetersiz kalabilir.
-
Dosya Adı ve İsimlendirme Sorunları:
- Eğitim ve model dosyalarının kaydedilmesi sırasında sembol gibi değişiklikler göz ardı edilirse isimlendirme çakışmaları veya yanlış dosya işlemleri olabilir.
-
Üretim Hazırlığı:
- Eğitim süreci tamamlandıktan sonra modelin izlenmesi ve zaman içinde güncellenmesi gerekebilir. Bu süreç için planlama yapılmamış.
Özetle, bu kod iyi yapılandırılmış olsa da, performans ve uygunluk açısından birkaç iyileştirme yapılabilir. Kodun gerçek dünya uygulamaları için daha iyi yapılandırılması, daha kapsamlı veri işleme ve daha fazla genel iş akışı optimizasyonuyla sağlanabilir.
-