Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

import os import json import numpy as np import pandas as pd import talib import logging…

  1. User

    import os import json import numpy as np import pandas as pd import talib import logging from sklearn.preprocessing import MinMaxScaler from sklearn.model_selection import train_test_split, GridSearchCV from lightgbm import LGBMClassifier from sklearn.metrics import classification_report from imblearn.over_sampling import SMOTE import pickle

    Loglama ayarları

    logging.basicConfig(level=logging.INFO) logger = logging.getLogger(name)

    def calculate_indicators(data): logger.info("Göstergeler hesaplanıyor...") close = data['close'].astype(np.float64) high = data['high'].astype(np.float64) low = data['low'].astype(np.float64) volume = data['volume'].astype(np.float64)

    # Hacim Değişimi
    data['volume_change'] = volume.pct_change()
    logger.info("Hacim değişimi hesaplandı.")
    
    # Hacim Hareketli Ortalama
    data['volume_moving_average'] = volume.rolling(window=20).mean()
    logger.info("Hacim hareketli ortalaması hesaplandı.")
    
    # Hacim Göreceli Güç Endeksi (VRSI)
    volume_change = volume.diff()
    gain = volume_change.clip(lower=0)
    loss = (-volume_change).clip(lower=0)
    avg_gain = gain.rolling(window=14).mean()
    avg_loss = loss.rolling(window=14).mean()
    rs = avg_gain / avg_loss
    data['volume_rsi'] = 100 - (100 / (1 + rs))
    logger.info("Hacim RSI hesaplandı.")
    
    # Fiyat Değişimi
    data['price_change'] = close.pct_change()
    logger.info("Fiyat değişimi hesaplandı.")
    
    # Bollinger Bantları
    upper, middle, lower = talib.BBANDS(close, timeperiod=20, nbdevup=2, nbdevdn=2)
    data['bollinger_upper'] = upper
    data['bollinger_middle'] = middle
    data['bollinger_lower'] = lower
    data['bollinger_width'] = (upper - lower) / middle
    logger.info("Bollinger Bantları hesaplandı.")
    
    # Hareketli Ortalama Yakınsama Iraksama (MACD)
    data['macd'], data['macd_signal'], data['macd_histogram'] = talib.MACD(close)
    logger.info("MACD hesaplandı.")
    
    # Fisher Transformasyonu
    data['fisher'] = talib.HT_TRENDLINE(close)
    logger.info("Fisher Transformasyonu hesaplandı.")
    
    # Göreceli Güç Endeksi (RSI)
    data['rsi'] = talib.RSI(close, timeperiod=14)
    logger.info("RSI hesaplandı.")
    
    # Ek Göstergeler
    data['adx'] = talib.ADX(high, low, close, timeperiod=14)
    data['mfi'] = talib.MFI(high, low, close, volume, timeperiod=14)
    data['cci'] = talib.CCI(high, low, close, timeperiod=14)
    logger.info("ADX, MFI ve CCI hesaplandı.")
    
    return data
    

    def load_and_process_data(file_path, window_size=50): logger.info(f"{file_path} dosyasından veri yükleniyor ve işleniyor.") try: with open(file_path, 'r') as file: raw_data = json.load(file) data = pd.DataFrame(raw_data, columns=['timestamp', 'open', 'high', 'low', 'close', 'volume']) data = data.astype(float) except json.JSONDecodeError: logger.error(f"JSON dosyası okunurken hata oluştu: {file_path}") return None, None except IOError: logger.error(f"Dosya açılırken IO hatası oluştu: {file_path}") return None, None except Exception as e: logger.error(f"{file_path} dosyasında beklenmedik bir hata oluştu: {e}") return None, None

    logger.info("Veri başarıyla yüklendi.")
    data = calculate_indicators(data)
    logger.info("Göstergeler başarıyla hesaplandı.")
    
    # Verileri temizleyin ve NaN değerleri ele alın
    data.replace([np.inf, -np.inf], np.nan, inplace=True)
    data.dropna(inplace=True)
    logger.info("Veri temizliği tamamlandı.")
    
    # Veriyi normalize et
    scaler = MinMaxScaler()
    features_to_normalize = ['open', 'high', 'low', 'close', 'volume',
                             'bollinger_upper', 'bollinger_middle', 'bollinger_lower', 'bollinger_width',
                             'macd', 'macd_signal', 'macd_histogram',
                             'fisher', 'rsi', 'adx', 'mfi', 'cci', 'volume_change', 'volume_moving_average', 'volume_rsi']
    
    # Seçili özellikleri normalize et
    if data[features_to_normalize].isnull().any().any():
        logger.error("Normalize edilecek verilerde NaN değerler mevcut!")
    else:
        data[features_to_normalize] = scaler.fit_transform(data[features_to_normalize])
        logger.info("Veriler başarıyla normalize edildi.")
    
    # 2% fiyat artışı hedef değişkeni oluşturma
    targets = []
    for i in range(window_size, len(data) - 1):
        future_price = data['close'].iloc[i + 1]
        current_price = data['close'].iloc[i]
        target = 1 if (future_price - current_price) / current_price >= 0.02 else 0
        targets.append(target)
    data = data.iloc[window_size:-1]
    data['target'] = targets
    logger.info("Hedef değişkenler oluşturuldu.")
    
    return data, scaler
    

    def train_and_evaluate_model(data, symbol, scaler): logger.info(f"{symbol} için model eğitiliyor...")

    features = data.drop(columns=['target'])
    target = data['target']
    
    # SMOTE ile sınıf dengesizliğini gider
    smote = SMOTE(random_state=42)
    features_resampled, target_resampled = smote.fit_resample(features, target)
    logger.info("Sınıf dengesizliği SMOTE ile düzeltildi.")
    
    # Veriyi eğitim ve test setlerine ayır
    features_train, features_test, target_train, target_test = train_test_split(features_resampled, target_resampled, test_size=0.2, random_state=42)
    logger.info("Veriler eğitim ve test setlerine ayrıldı.")
    
    # GridSearchCV ile hiperparametre ayarlaması
    parameter_grid = {
        'num_leaves': [31, 50],
        'learning_rate': [0.1, 0.05],
        'n_estimators': [100, 200]
    }
    lgbm = LGBMClassifier(random_state=42)
    grid_search = GridSearchCV(estimator=lgbm, param_grid=parameter_grid, cv=3, n_jobs=-1, verbose=2)
    grid_search.fit(features_train, target_train)
    logger.info("GridSearch ile en iyi model parametreleri bulundu.")
    
    # En iyi parametrelerle modeli eğit
    best_model = grid_search.best_estimator_
    logger.info(f"En iyi model parametreleri: {grid_search.best_params_}")
    
    # Model, scaler ve özellik listesi kaydedilir
    model_file = f'{symbol}_USDT-15m_model.pkl'
    with open(model_file, 'wb') as file:
        pickle.dump((best_model, scaler, data.columns), file)
    logger.info(f"{symbol} için model, scaler ve özellik listesi {model_file} olarak kaydedildi.")
    
    # Model performansını değerlendir
    predictions = best_model.predict(features_test)
    logger.info(f"{symbol} için sınıflandırma raporu:\n{classification_report(target_test, predictions)}")
    
    # Özellik önemleri
    feature_importance = pd.DataFrame(best_model.feature_importances_, index=features.columns, columns=['importance']).sort_values('importance', ascending=False)
    logger.info(f"Özellik önem dereceleri: \n{feature_importance}")
    
    # Eğitim verilerini Excel'e kaydet
    excel_file = f'{symbol}_USDT-15m_training_data.xlsx'
    data.to_excel(excel_file, index=False)
    logger.info(f"Eğitim verileri {excel_file} olarak dışa aktarıldı.")
    

    def process_all_json_files_in_directory(directory, window_size=50): logger.info(f"{directory} dizinindeki tüm JSON dosyaları işleniyor...") json_files = [f for f in os.listdir(directory) if f.endswith('.json')]

    for json_file in json_files:
        file_path = os.path.join(directory, json_file)
        logger.info(f"{json_file} dosyası işleniyor...")
        try:
            data, scaler = load_and_process_data(file_path, window_size)
            if data is not None and scaler is not None:
                symbol = json_file.split('_')[0]
                train_and_evaluate_model(data, symbol, scaler)
            else:
                logger.error(f"{json_file} dosyası için geçerli veri yok. Bu dosya atlanıyor.")
        except Exception as e:
            logger.error(f"{json_file} dosyası işlenirken bir hata oluştu: {e}. Bu dosya atlanıyor.")
    

    kodu artıları ve eksileri ile anlat sorun olabilecek noktalara değin.

  2. Assistant

    Bu kod, kripto para verilerini işleyerek çeşitli teknik göstergeler hesaplar, verileri normalize eder, hedef değişken (2% fiyat artışı) oluşturur, ardından bir LightGBM sınıflandırıcı kullanarak bir model eğitir ve değerlendirir. İşleme zamanı açısından oldukça zengin bir örnek olup, veri biliminde yaygın olarak kullanılan bir iş akışını temsil eder.

    Artıları:

    1. Kapsamlı Gösterge Hesaplamaları:

      • Kod, çeşitli teknik göstergeleri (Bollinger Bantları, MACD, RSI vb.) hesaplar. Bu göstergeler, fiyat hareketlerini daha iyi anlamak ve öngörüler yapmak için kullanılır.
    2. Donanım Kapsamı:

      • SMOTE kullanarak sınıf dengesizliğini gidermesi, dengesiz veri kümelerinde performansı artırabilir.
    3. Veri İşleme:

      • Veri temizleme (NaN değerlerin ele alınması) ve ölçeklendirme (MinMaxScaler kullanımı), modelleme sürecinde yaygın olarak yapılan önemli adımlardır.
    4. Model Seçimi ve Hiperparametre Ayarlama:

      • LightGBM gibi güçlü bir algoritma kullanılması ve GridSearchCV ile hiperparametre ayarları, model performansını artırabilir.
    5. Modülerlik ve Yeniden Kullanılabilirlik:

      • Fonksiyonlar modüler şekilde yazılmıştır, bu da kodun başka projeler veya amaçlar için kolaylıkla yeniden kullanılabilmesini sağlar.
    6. Logging:

      • Ayrıntılı loglama, süreçleri izlemeyi ve hataları ayıklamayı kolaylaştırır.

    Eksileri ve Sorun Olabilecek Noktalar:

    1. Performans Sorunları:

      • JSON dosyalarının büyük olması durumunda bellek kullanımı ve işlem süresi sorun yaratabilir.
      • GridSearchCV, büyük veri setleri ve geniş hiperparametre aralıkları ile zaman alıcı olabilir.
    2. Eksik Veri Kontrolü:

      • Eksik değerlerin ele alınması sırasında, tüm satırları düşürmek yerine daha uygun bir işlem yapılması gerekebilir (örneğin, doğrudan ortalama veya medyan ile doldurmak).
    3. Zaman Damgası Kullanımı:

      • timestamp ile ilgili herhangi bir işlem yapılmamış; zaman bazlı özelliklerin eklenmesi modelin daha iyi performans göstermesini sağlayabilir.
    4. SMOTE Kullanımı:

      • SMOTE, bazı durumlarda aşırı öğrenmeye (overfitting) yol açabilir.
    5. Özellik İsimlendirmesi ve Yönetimi:

      • Kodda belirli özellikler hardcoded şekilde yazılmış; özelliklerin dinamik olarak seçilmesi yönetilebilirlik açısından avantaj sağlar.
    6. Hedef Değişken İkili Sınıflandırması:

      • Kodun sadece %2 fiyat değişimini hedef değişken olarak alması modele özgü ve belki de başka hedefler için yetersiz kalabilir.
    7. Dosya Adı ve İsimlendirme Sorunları:

      • Eğitim ve model dosyalarının kaydedilmesi sırasında sembol gibi değişiklikler göz ardı edilirse isimlendirme çakışmaları veya yanlış dosya işlemleri olabilir.
    8. Üretim Hazırlığı:

      • Eğitim süreci tamamlandıktan sonra modelin izlenmesi ve zaman içinde güncellenmesi gerekebilir. Bu süreç için planlama yapılmamış.

    Özetle, bu kod iyi yapılandırılmış olsa da, performans ve uygunluk açısından birkaç iyileştirme yapılabilir. Kodun gerçek dünya uygulamaları için daha iyi yapılandırılması, daha kapsamlı veri işleme ve daha fazla genel iş akışı optimizasyonuyla sağlanabilir.