Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

привет! есть задача- проверить прибыльность ML алгоритма. я скину код работы с…

  1. User

    привет! есть задача- проверить прибыльность ML алгоритма. я скину код работы с датасетом, потом обучения модели, а потом ты дашь мне код для составления сделок на df_test, и анализа предполагаемой торговли. готов?

  2. Assistant

    Привет! Да, я готов помочь. Пожалуйста, присылай код для работы с датасетом и обучения модели, а затем мы сможем перейти к составлению сделок и анализу торговли на df_test.

  3. User

    import pandas as pd import numpy as np df = pd.read_csv('BTCUSDT_M1_170601_250215.csv') df.timestamp = pd.to_datetime(df.timestamp) df.columns = ['date', 'time', 'timestamp', 'open', 'high', 'low', 'close', 'volume'] df.set_index('timestamp', inplace=True) df = df.iloc[-350_000:] df['range'] = df['high'] - df['low']

    Создаем целевую метку

    def create_target(df, threshold_high, threshold_low): target = [] n = len(df) for i in range(n): current_high = df['high'].iloc[i] current_low = df['low'].iloc[i] current_range = df['range'].iloc[i]

        target_high = current_high + 1.5 * current_range
        target_low = current_low - 0.5 * current_range
        # Проверяем будущее
        reached_high = False
        reached_low = False
        for j in range(i + 1, n):
            if df['high'].iloc[j] >= target_high:
                reached_high = True
                break
            if df['low'].iloc[j] <= target_low:
                reached_low = True
                break
        
        # Определяем метку
        if reached_high and not reached_low:
            target.append(1)  # метка 1
        else:
            target.append(0)  # метка 0
    return target
    

    df['target'] = create_target(df, threshold_high=3, threshold_low=2) lags = 15 for lag in range(1,lags+1): df[f'high_lag_{lag}'] = (df['high'] / df['high'].shift(lag))-1 df[f'low_lag_{lag}'] = (df['low'] / df['low'].shift(lag))-1 df[f'high_lag_{lag10}'] = (df['high'] / df['high'].shift(lag10))-1 df[f'low_lag_{lag10}'] = (df['low'] / df['low'].shift(lag10))-1 lag_columns = [col for col in df.columns if 'lag_' in col] category_data = [] Q = 17 for col in lag_columns: # Создаем новую категорию для каждого столбца без непосредственного добавления category_series = pd.qcut(df[col], q=Q, labels=False) / Q category_data.append(category_series.rename(f'{col}_cat')) # Переименовываем для будущей конкатенации

    Объединяем все серии категорий в один DataFrame

    cat_df = pd.concat(category_data, axis=1)

    Объединяем категории с исходным DataFrame

    df = pd.concat([df, cat_df], axis=1) cat_columns = [col for col in df.columns if 'cat' in col] df = df.dropna() x_columns = cat_columns y_columns = ['target']

    Установите параметр для тестовой выборки

    test_size = 0.1 n_test = int(len(df) * test_size)

    Разделяем dataframe на df_train и df_test

    df_train = df.iloc[:-n_test] df_test = df.iloc[-n_test:]

    Извлекаем X и y для обучающей выборки

    X_train = df_train[x_columns] y_train = df_train[y_columns[0]]

    Извлекаем X и y для тестовой выборки

    X_test = df_test[x_columns] y_test = df_test[y_columns[0]]

    Устанавливаем подвыборку (даунсемплинг) только для обучающей выборки

    rus = RandomUnderSampler(random_state=42) X_train, y_train = rus.fit_resample(X_train, y_train)

    это подготовка датасета

  4. Assistant

    Отлично, ты подготовил датасет и разделил его на обучающую и тестовую выборки. Теперь следующая часть нашей задачи — обучение модели и создание сделок на основе прогноза на тестовом наборе. Давай сначала добавим код для обучения модели. Я предложу использовать, например, RandomForestClassifier. После этого я подскажу, как сформировать сделки и проанализировать прибыльность.

    from sklearn.ensemble import RandomForestClassifier
    from sklearn.metrics import accuracy_score, confusion_matrix
    from imblearn.under_sampling import RandomUnderSampler
    
    # Обучение модели
    clf = RandomForestClassifier(random_state=42)
    clf.fit(X_train, y_train)
    
    # Предсказание на тестовой выборке
    y_pred = clf.predict(X_test)
    
    # Оценка модели
    accuracy = accuracy_score(y_test, y_pred)
    confusion = confusion_matrix(y_test, y_pred)
    
    print(f'Accuracy: {accuracy}')
    print(f'Confusion Matrix:\n{confusion}')
    

    Теперь, когда мы обучили модель и оценили её, давай составим сделки на основании предсказаний и проанализируем предполагаемую торговлю. Предположим, что мы покупаем, если модель предсказывает 1 (положительный сигнал), и продаём, если она предсказывает 0 (негативный сигнал).

    Для анализа торговли мы можем рассчитывать общую прибыль и количество сделок:

    # Добавим предсказания в df_test
    df_test['predictions'] = y_pred
    
    # Инициализируем переменные
    initial_balance = 1000  # начальный баланс в $ (например)
    balance = initial_balance
    positions = []  # список открытых позиций
    
    for index, row in df_test.iterrows():
        if row['predictions'] == 1 and balance > 0:  # сигнал на покупку
            positions.append(row['close'])  # сохраняем цену покупки
            balance -= row['close']  # уменьшаем баланс на цену покупки
    
        if row['predictions'] == 0 and len(positions) > 0:  # сигнал на продажу
            buy_price = positions.pop(0)  # цена первой открытой позиции
            balance += row['close']  # увеличиваем баланс на цену продажи
    
    # Расчет прибыли
    profit = balance - initial_balance
    print(f'Начальный баланс: ${initial_balance:.2f}')
    print(f'Конечный баланс: ${balance:.2f}')
    print(f'Общая прибыль: ${profit:.2f}')
    

    Этот код позволяет тебе увидеть, как бы выглядел сценарий торговли на основе предсказаний модели. Основной идеей является модель для создания сигналов на покупку/продажу и подсчет итоговой прибыли.

    Убедись, что код соответствует вашим потребностям и не забудь про риски, связанные с активной торговлей! Если у тебя есть дополнительные пожелания или вопросы, дай знать!

  5. User

    давай теперь разбирать только код анализа торговли. добавим для входа в сделку условие- что открытых сделок нет. то есть одновременно открытых сделок может быть только одна

  6. Assistant

    Хорошо, давай добавим условие, что в любой момент времени может быть открыта только одна сделка. Если у нас уже открыта позиция, мы не открываем новую, даже если сигнал на покупку все еще поступает. Мы можем внести небольшие изменения в код для анализа торговли, чтобы учесть это условие.

    Вот обновленная версия кода:

    # Добавим предсказания в df_test
    df_test['predictions'] = y_pred
    
    # Инициализируем переменные
    initial_balance = 1000  # начальный баланс в $ (например)
    balance = initial_balance
    position = None  # переменная для хранения текущей позиции (цена покупки)
    
    for index, row in df_test.iterrows():
        if row['predictions'] == 1 and position is None:  # сигнал на покупку и нет открытой позиции
            position = row['close']  # сохраняем цену покупки
            balance -= position  # уменьшаем баланс на цену покупки
            print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}')
    
        elif row['predictions'] == 0 and position is not None:  # сигнал на продажу и есть открытая позиция
            balance += row['close']  # увеличиваем баланс на цену продажи
            print(f'Продали по цене: {row["close"]:.2f}. Баланс: {balance:.2f}')
            position = None  # закрываем позицию
    
    # Расчет прибыли
    profit = balance - initial_balance
    print(f'Начальный баланс: ${initial_balance:.2f}')
    print(f'Конечный баланс: ${balance:.2f}')
    print(f'Общая прибыль: ${profit:.2f}')
    

    В этом коде:

    • Мы используем переменную position, чтобы отслеживать, есть ли открытая сделка (то есть позиция).
    • Если предсказание модели равно 1 (сигнал на покупку) и позиции нет (т.е. position is None), мы открываем новую сделку.
    • Если предсказание равно 0 (сигнал на продажу) и у нас уже есть открытая позиция (position is not None), мы продаем по текущей цене и закрываем позицию.
    • При любой покупке мы уменьшаем баланс на стоимость покупки, а при продаже увеличиваем баланс на стоимость продажи.

    Таким образом, у нас всегда может быть открыта только одна сделка за раз. Если у тебя есть дополнительные изменения или вопросы, дай знать!

  7. User

    Добавим предсказания в df_test

    model = LogisticRegression() model.fit(X_train, y_train) y_pred = model.predict(X_test) df_test['predictions'] = y_pred

    Инициализируем переменные

    initial_balance = 10000 balance = initial_balance position = None

    for index, row in df_test.iterrows(): if row['predictions'] == 1 and position is None: # сигнал на покупку и нет открытой позиции position = row['close'] # сохраняем цену покупки balance -= position # уменьшаем баланс на цену покупки # print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}')

    elif row['predictions'] == 0 and position is not None:  # сигнал на продажу и есть открытая позиция
        balance += row['close']  # увеличиваем баланс на цену продажи
        # print(f'Продали по цене: {row["close"]:.2f}. Баланс: {balance:.2f}')
        position = None  # закрываем позицию
    

    Расчет прибыли

    profit = balance - initial_balance print(f'Начальный баланс: initialbalance:.2f′)print(f′Конечныйбаланс:{initial_balance:.2f}') print(f'Конечный баланс: {balance:.2f}') print(f'Общая прибыль: ${profit:.2f}')

    вот с каким кодом будем сейчас работать. но давай сделаем изменения- выходить будем не когда row['predictions'] == 0 and position is not None а когда цена дошла до выхода. помнишь логику меток, которые я расставляю для обучения? def create_target(df, threshold_high, threshold_low): target = [] n = len(df) for i in range(n): current_high = df['high'].iloc[i] current_low = df['low'].iloc[i] current_range = df['range'].iloc[i] target_high = current_high + threshold_high * current_range target_low = current_low - threshold_low * current_range # Проверяем будущее reached_high = False reached_low = False for j in range(i + 1, n): if df['high'].iloc[j] >= target_high: reached_high = True break if df['low'].iloc[j] <= target_low: reached_low = True break if reached_high and not reached_low: target.append(1) # метка 1 else: target.append(0) # метка 0 return target

    df['target'] = create_target(df, threshold_high=1.5, threshold_low=0.3) вот достижение этих целей и будет у нас выходом. попробуем?

  8. Assistant

    Да, давай внесём изменения в код анализа торговли, чтобы выход из сделки происходил не на основании предсказания модели, а когда цена достигает целевых уровней, которые мы расставили при создании меток.

    Мы будем сохранять целевые уровни target_high и target_low для каждой открытой позиции, вычисляя их в момент покупки. Затем будем проверять, достигла ли цена одного из этих уровней, чтобы закрыть позицию.

    Вот обновленный код:

    # Добавим предсказания в df_test
    model = LogisticRegression()
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    df_test['predictions'] = y_pred
    
    # Инициализируем переменные
    initial_balance = 10000
    balance = initial_balance
    position = None
    target_high = None
    target_low = None
    
    # Перебираем строки в df_test
    for index, row in df_test.iterrows():
        if row['predictions'] == 1 and position is None:  # сигнал на покупку и нет открытой позиции
            position = row['close']  # сохраняем цену покупки
            range_value = df['range'].iloc[index]  # получаем текущее значение диапазона
            target_high = row['high'] + 1.5 * range_value  # вычисляем целевую верхнюю границу
            target_low = row['low'] - 0.3 * range_value   # вычисляем целевую нижнюю границу
            balance -= position  # уменьшаем баланс на цену покупки
            # print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}')
    
        # Проверка на достижение целевых уровней
        if position is not None:
            if row['high'] >= target_high:  # достигли верхней целевой границы
                balance += target_high  # фиксируем прибыль по верхней целевой границе
                # print(f'Продали по цене: {target_high:.2f} (цель достигнута). Баланс: {balance:.2f}')
                position = None  # закрываем позицию
            elif row['low'] <= target_low:  # достигли нижней целевой границы
                balance += target_low  # фиксируем убыток по нижней целевой границе
                # print(f'Продали по цене: {target_low:.2f} (цель достигнута). Баланс: {balance:.2f}')
                position = None  # закрываем позицию
    
    # Расчет прибыли
    profit = balance - initial_balance
    print(f'Начальный баланс: ${initial_balance:.2f}')
    print(f'Конечный баланс: ${balance:.2f}')
    print(f'Общая прибыль: ${profit:.2f}')
    

    В этом коде:

    1. Когда мы покупаем, сохраняем целевые уровни target_high и target_low на основе range_value в момент покупки.
    2. На каждой итерации проверяем, достигает ли цена target_high (для фиксирования прибыли) или target_low (для ограничения убытков).
    3. Если достигаем одного из уровней, добавляем цену продаж к балансу и закрываем позицию.

    Такой подход позволяет более эффективно использовать стратегию на основе целевых уровней, определённых тобой изначально. Если нужно внести дополнительные изменения или улучшения, дай знать!

  9. User

    IndexError Traceback (most recent call last) Cell In[64], line 19 17 position = row['close'] # сохраняем цену покупки 18 print(index) ---> 19 range_value = df['range'].iloc[index] # получаем текущее значение диапазона 20 print(range_value) 21 target_high = row['high'] + 1.5 * range_value # вычисляем целевую верхнюю границу

    File C:\ProgramData\anaconda3\Lib\site-packages\pandas\core\indexing.py:1191, in _LocationIndexer.getitem(self, key) 1189 maybe_callable = com.apply_if_callable(key, self.obj) 1190 maybe_callable = self._check_deprecated_callable_usage(key, maybe_callable) -> 1191 return self._getitem_axis(maybe_callable, axis=axis)

    File C:\ProgramData\anaconda3\Lib\site-packages\pandas\core\indexing.py:1752, in _iLocIndexer._getitem_axis(self, key, axis) 1749 raise TypeError("Cannot index by location index with a non-integer key") 1751 # validate the location -> 1752 self._validate_integer(key, axis) 1754 return self.obj._ixs(key, axis=axis)

    File C:\ProgramData\anaconda3\Lib\site-packages\pandas\core\indexing.py:1685, in _iLocIndexer._validate_integer(self, key, axis) 1683 len_axis = len(self.obj._get_axis(axis)) 1684 if key >= len_axis or key < -len_axis: -> 1685 raise IndexError("single positional indexer is out-of-bounds")

    видимо выходит за границы датасета. давай завершим что-ли так чтобы ошибку не выдавало

  10. Assistant

    Да, давай внесем изменения в код, чтобы избежать выхода за границы датасета. Скорее всего, ошибка возникает из-за того, что индекс index в цикле for index, row in df_test.iterrows(): ссылается на текущую итерацию в df_test, тогда как df и df_test могут иметь разные индексы.

    Чтобы избежать этой проблемы, мы можем использовать метод .iloc с row.name, который будет возвращать индекс текущей строки, чтобы правильно получить значение range из оригинального датафрейма df.

    Вот исправленный код с защитой от выхода за границы:

    # Добавим предсказания в df_test
    model = LogisticRegression()
    model.fit(X_train, y_train)
    y_pred = model.predict(X_test)
    df_test['predictions'] = y_pred
    
    # Инициализируем переменные
    initial_balance = 10000
    balance = initial_balance
    position = None
    target_high = None
    target_low = None
    
    # Перебираем строки в df_test
    for index, row in df_test.iterrows():
        if row['predictions'] == 1 and position is None:  # сигнал на покупку и нет открытой позиции
            position = row['close']  # сохраняем цену покупки
            # Получаем текущее значение диапазона на основе индекса строки в df_test
            range_value = df['range'].iloc[row.name]  # используем row.name, чтобы получить правильный индекс
            target_high = row['high'] + 1.5 * range_value  # вычисляем целевую верхнюю границу
            target_low = row['low'] - 0.3 * range_value   # вычисляем целевую нижнюю границу
            balance -= position  # уменьшаем баланс на цену покупки
            # print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}')
    
        # Проверка на достижение целевых уровней
        if position is not None:
            if row['high'] >= target_high:  # достигли верхней целевой границы
                balance += target_high  # фиксируем прибыль по верхней целевой границе
                # print(f'Продали по цене: {target_high:.2f} (цель достигнута). Баланс: {balance:.2f}')
                position = None  # закрываем позицию
            elif row['low'] <= target_low:  # достигли нижней целевой границы
                balance += target_low  # фиксируем убыток по нижней целевой границе
                # print(f'Продали по цене: {target_low:.2f} (цель достигнута). Баланс: {balance:.2f}')
                position = None  # закрываем позицию
    
    # Расчет прибыли
    profit = balance - initial_balance
    print(f'Начальный баланс: ${initial_balance:.2f}')
    print(f'Конечный баланс: ${balance:.2f}')
    print(f'Общая прибыль: ${profit:.2f}')
    

    В этом коде я заменил df['range'].iloc[index] на df['range'].iloc[row.name], что позволяет обратиться к правильному индексу в исходном датафрейме. Теперь код должен работать, не выдавая ошибок выхода за границы, и будет правильно вычислять целевые уровни.

    Если есть дополнительные вопросы или замечания, дай знать!