привет! есть задача- проверить прибыльность ML алгоритма. я скину код работы с…
- User
привет! есть задача- проверить прибыльность ML алгоритма. я скину код работы с датасетом, потом обучения модели, а потом ты дашь мне код для составления сделок на df_test, и анализа предполагаемой торговли. готов?
- Assistant
Привет! Да, я готов помочь. Пожалуйста, присылай код для работы с датасетом и обучения модели, а затем мы сможем перейти к составлению сделок и анализу торговли на df_test.
- User
import pandas as pd import numpy as np df = pd.read_csv('BTCUSDT_M1_170601_250215.csv') df.timestamp = pd.to_datetime(df.timestamp) df.columns = ['date', 'time', 'timestamp', 'open', 'high', 'low', 'close', 'volume'] df.set_index('timestamp', inplace=True) df = df.iloc[-350_000:] df['range'] = df['high'] - df['low']
Создаем целевую метку
def create_target(df, threshold_high, threshold_low): target = [] n = len(df) for i in range(n): current_high = df['high'].iloc[i] current_low = df['low'].iloc[i] current_range = df['range'].iloc[i]
target_high = current_high + 1.5 * current_range target_low = current_low - 0.5 * current_range # Проверяем будущее reached_high = False reached_low = False for j in range(i + 1, n): if df['high'].iloc[j] >= target_high: reached_high = True break if df['low'].iloc[j] <= target_low: reached_low = True break # Определяем метку if reached_high and not reached_low: target.append(1) # метка 1 else: target.append(0) # метка 0 return targetdf['target'] = create_target(df, threshold_high=3, threshold_low=2) lags = 15 for lag in range(1,lags+1): df[f'high_lag_{lag}'] = (df['high'] / df['high'].shift(lag))-1 df[f'low_lag_{lag}'] = (df['low'] / df['low'].shift(lag))-1 df[f'high_lag_{lag10}'] = (df['high'] / df['high'].shift(lag10))-1 df[f'low_lag_{lag10}'] = (df['low'] / df['low'].shift(lag10))-1 lag_columns = [col for col in df.columns if 'lag_' in col] category_data = [] Q = 17 for col in lag_columns: # Создаем новую категорию для каждого столбца без непосредственного добавления category_series = pd.qcut(df[col], q=Q, labels=False) / Q category_data.append(category_series.rename(f'{col}_cat')) # Переименовываем для будущей конкатенации
Объединяем все серии категорий в один DataFrame
cat_df = pd.concat(category_data, axis=1)
Объединяем категории с исходным DataFrame
df = pd.concat([df, cat_df], axis=1) cat_columns = [col for col in df.columns if 'cat' in col] df = df.dropna() x_columns = cat_columns y_columns = ['target']
Установите параметр для тестовой выборки
test_size = 0.1 n_test = int(len(df) * test_size)
Разделяем dataframe на df_train и df_test
df_train = df.iloc[:-n_test] df_test = df.iloc[-n_test:]
Извлекаем X и y для обучающей выборки
X_train = df_train[x_columns] y_train = df_train[y_columns[0]]
Извлекаем X и y для тестовой выборки
X_test = df_test[x_columns] y_test = df_test[y_columns[0]]
Устанавливаем подвыборку (даунсемплинг) только для обучающей выборки
rus = RandomUnderSampler(random_state=42) X_train, y_train = rus.fit_resample(X_train, y_train)
это подготовка датасета
- Assistant
Отлично, ты подготовил датасет и разделил его на обучающую и тестовую выборки. Теперь следующая часть нашей задачи — обучение модели и создание сделок на основе прогноза на тестовом наборе. Давай сначала добавим код для обучения модели. Я предложу использовать, например,
RandomForestClassifier. После этого я подскажу, как сформировать сделки и проанализировать прибыльность.from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score, confusion_matrix from imblearn.under_sampling import RandomUnderSampler # Обучение модели clf = RandomForestClassifier(random_state=42) clf.fit(X_train, y_train) # Предсказание на тестовой выборке y_pred = clf.predict(X_test) # Оценка модели accuracy = accuracy_score(y_test, y_pred) confusion = confusion_matrix(y_test, y_pred) print(f'Accuracy: {accuracy}') print(f'Confusion Matrix:\n{confusion}')Теперь, когда мы обучили модель и оценили её, давай составим сделки на основании предсказаний и проанализируем предполагаемую торговлю. Предположим, что мы покупаем, если модель предсказывает 1 (положительный сигнал), и продаём, если она предсказывает 0 (негативный сигнал).
Для анализа торговли мы можем рассчитывать общую прибыль и количество сделок:
# Добавим предсказания в df_test df_test['predictions'] = y_pred # Инициализируем переменные initial_balance = 1000 # начальный баланс в $ (например) balance = initial_balance positions = [] # список открытых позиций for index, row in df_test.iterrows(): if row['predictions'] == 1 and balance > 0: # сигнал на покупку positions.append(row['close']) # сохраняем цену покупки balance -= row['close'] # уменьшаем баланс на цену покупки if row['predictions'] == 0 and len(positions) > 0: # сигнал на продажу buy_price = positions.pop(0) # цена первой открытой позиции balance += row['close'] # увеличиваем баланс на цену продажи # Расчет прибыли profit = balance - initial_balance print(f'Начальный баланс: ${initial_balance:.2f}') print(f'Конечный баланс: ${balance:.2f}') print(f'Общая прибыль: ${profit:.2f}')Этот код позволяет тебе увидеть, как бы выглядел сценарий торговли на основе предсказаний модели. Основной идеей является модель для создания сигналов на покупку/продажу и подсчет итоговой прибыли.
Убедись, что код соответствует вашим потребностям и не забудь про риски, связанные с активной торговлей! Если у тебя есть дополнительные пожелания или вопросы, дай знать!
- User
давай теперь разбирать только код анализа торговли. добавим для входа в сделку условие- что открытых сделок нет. то есть одновременно открытых сделок может быть только одна
- Assistant
Хорошо, давай добавим условие, что в любой момент времени может быть открыта только одна сделка. Если у нас уже открыта позиция, мы не открываем новую, даже если сигнал на покупку все еще поступает. Мы можем внести небольшие изменения в код для анализа торговли, чтобы учесть это условие.
Вот обновленная версия кода:
# Добавим предсказания в df_test df_test['predictions'] = y_pred # Инициализируем переменные initial_balance = 1000 # начальный баланс в $ (например) balance = initial_balance position = None # переменная для хранения текущей позиции (цена покупки) for index, row in df_test.iterrows(): if row['predictions'] == 1 and position is None: # сигнал на покупку и нет открытой позиции position = row['close'] # сохраняем цену покупки balance -= position # уменьшаем баланс на цену покупки print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}') elif row['predictions'] == 0 and position is not None: # сигнал на продажу и есть открытая позиция balance += row['close'] # увеличиваем баланс на цену продажи print(f'Продали по цене: {row["close"]:.2f}. Баланс: {balance:.2f}') position = None # закрываем позицию # Расчет прибыли profit = balance - initial_balance print(f'Начальный баланс: ${initial_balance:.2f}') print(f'Конечный баланс: ${balance:.2f}') print(f'Общая прибыль: ${profit:.2f}')В этом коде:
- Мы используем переменную
position, чтобы отслеживать, есть ли открытая сделка (то есть позиция). - Если предсказание модели равно 1 (сигнал на покупку) и позиции нет (т.е.
position is None), мы открываем новую сделку. - Если предсказание равно 0 (сигнал на продажу) и у нас уже есть открытая позиция (
position is not None), мы продаем по текущей цене и закрываем позицию. - При любой покупке мы уменьшаем баланс на стоимость покупки, а при продаже увеличиваем баланс на стоимость продажи.
Таким образом, у нас всегда может быть открыта только одна сделка за раз. Если у тебя есть дополнительные изменения или вопросы, дай знать!
- Мы используем переменную
- User
Добавим предсказания в df_test
model = LogisticRegression() model.fit(X_train, y_train) y_pred = model.predict(X_test) df_test['predictions'] = y_pred
Инициализируем переменные
initial_balance = 10000 balance = initial_balance position = None
for index, row in df_test.iterrows(): if row['predictions'] == 1 and position is None: # сигнал на покупку и нет открытой позиции position = row['close'] # сохраняем цену покупки balance -= position # уменьшаем баланс на цену покупки # print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}')
elif row['predictions'] == 0 and position is not None: # сигнал на продажу и есть открытая позиция balance += row['close'] # увеличиваем баланс на цену продажи # print(f'Продали по цене: {row["close"]:.2f}. Баланс: {balance:.2f}') position = None # закрываем позициюРасчет прибыли
profit = balance - initial_balance print(f'Начальный баланс: {balance:.2f}') print(f'Общая прибыль: ${profit:.2f}')
вот с каким кодом будем сейчас работать. но давай сделаем изменения- выходить будем не когда row['predictions'] == 0 and position is not None а когда цена дошла до выхода. помнишь логику меток, которые я расставляю для обучения? def create_target(df, threshold_high, threshold_low): target = [] n = len(df) for i in range(n): current_high = df['high'].iloc[i] current_low = df['low'].iloc[i] current_range = df['range'].iloc[i] target_high = current_high + threshold_high * current_range target_low = current_low - threshold_low * current_range # Проверяем будущее reached_high = False reached_low = False for j in range(i + 1, n): if df['high'].iloc[j] >= target_high: reached_high = True break if df['low'].iloc[j] <= target_low: reached_low = True break if reached_high and not reached_low: target.append(1) # метка 1 else: target.append(0) # метка 0 return target
df['target'] = create_target(df, threshold_high=1.5, threshold_low=0.3) вот достижение этих целей и будет у нас выходом. попробуем?
- Assistant
Да, давай внесём изменения в код анализа торговли, чтобы выход из сделки происходил не на основании предсказания модели, а когда цена достигает целевых уровней, которые мы расставили при создании меток.
Мы будем сохранять целевые уровни
target_highиtarget_lowдля каждой открытой позиции, вычисляя их в момент покупки. Затем будем проверять, достигла ли цена одного из этих уровней, чтобы закрыть позицию.Вот обновленный код:
# Добавим предсказания в df_test model = LogisticRegression() model.fit(X_train, y_train) y_pred = model.predict(X_test) df_test['predictions'] = y_pred # Инициализируем переменные initial_balance = 10000 balance = initial_balance position = None target_high = None target_low = None # Перебираем строки в df_test for index, row in df_test.iterrows(): if row['predictions'] == 1 and position is None: # сигнал на покупку и нет открытой позиции position = row['close'] # сохраняем цену покупки range_value = df['range'].iloc[index] # получаем текущее значение диапазона target_high = row['high'] + 1.5 * range_value # вычисляем целевую верхнюю границу target_low = row['low'] - 0.3 * range_value # вычисляем целевую нижнюю границу balance -= position # уменьшаем баланс на цену покупки # print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}') # Проверка на достижение целевых уровней if position is not None: if row['high'] >= target_high: # достигли верхней целевой границы balance += target_high # фиксируем прибыль по верхней целевой границе # print(f'Продали по цене: {target_high:.2f} (цель достигнута). Баланс: {balance:.2f}') position = None # закрываем позицию elif row['low'] <= target_low: # достигли нижней целевой границы balance += target_low # фиксируем убыток по нижней целевой границе # print(f'Продали по цене: {target_low:.2f} (цель достигнута). Баланс: {balance:.2f}') position = None # закрываем позицию # Расчет прибыли profit = balance - initial_balance print(f'Начальный баланс: ${initial_balance:.2f}') print(f'Конечный баланс: ${balance:.2f}') print(f'Общая прибыль: ${profit:.2f}')В этом коде:
- Когда мы покупаем, сохраняем целевые уровни
target_highиtarget_lowна основеrange_valueв момент покупки. - На каждой итерации проверяем, достигает ли цена
target_high(для фиксирования прибыли) илиtarget_low(для ограничения убытков). - Если достигаем одного из уровней, добавляем цену продаж к балансу и закрываем позицию.
Такой подход позволяет более эффективно использовать стратегию на основе целевых уровней, определённых тобой изначально. Если нужно внести дополнительные изменения или улучшения, дай знать!
- Когда мы покупаем, сохраняем целевые уровни
- User
IndexError Traceback (most recent call last) Cell In[64], line 19 17 position = row['close'] # сохраняем цену покупки 18 print(index) ---> 19 range_value = df['range'].iloc[index] # получаем текущее значение диапазона 20 print(range_value) 21 target_high = row['high'] + 1.5 * range_value # вычисляем целевую верхнюю границу
File C:\ProgramData\anaconda3\Lib\site-packages\pandas\core\indexing.py:1191, in _LocationIndexer.getitem(self, key) 1189 maybe_callable = com.apply_if_callable(key, self.obj) 1190 maybe_callable = self._check_deprecated_callable_usage(key, maybe_callable) -> 1191 return self._getitem_axis(maybe_callable, axis=axis)
File C:\ProgramData\anaconda3\Lib\site-packages\pandas\core\indexing.py:1752, in _iLocIndexer._getitem_axis(self, key, axis) 1749 raise TypeError("Cannot index by location index with a non-integer key") 1751 # validate the location -> 1752 self._validate_integer(key, axis) 1754 return self.obj._ixs(key, axis=axis)
File C:\ProgramData\anaconda3\Lib\site-packages\pandas\core\indexing.py:1685, in _iLocIndexer._validate_integer(self, key, axis) 1683 len_axis = len(self.obj._get_axis(axis)) 1684 if key >= len_axis or key < -len_axis: -> 1685 raise IndexError("single positional indexer is out-of-bounds")
видимо выходит за границы датасета. давай завершим что-ли так чтобы ошибку не выдавало
- Assistant
Да, давай внесем изменения в код, чтобы избежать выхода за границы датасета. Скорее всего, ошибка возникает из-за того, что индекс
indexв циклеfor index, row in df_test.iterrows():ссылается на текущую итерацию вdf_test, тогда какdfиdf_testмогут иметь разные индексы.Чтобы избежать этой проблемы, мы можем использовать метод
.ilocсrow.name, который будет возвращать индекс текущей строки, чтобы правильно получить значениеrangeиз оригинального датафреймаdf.Вот исправленный код с защитой от выхода за границы:
# Добавим предсказания в df_test model = LogisticRegression() model.fit(X_train, y_train) y_pred = model.predict(X_test) df_test['predictions'] = y_pred # Инициализируем переменные initial_balance = 10000 balance = initial_balance position = None target_high = None target_low = None # Перебираем строки в df_test for index, row in df_test.iterrows(): if row['predictions'] == 1 and position is None: # сигнал на покупку и нет открытой позиции position = row['close'] # сохраняем цену покупки # Получаем текущее значение диапазона на основе индекса строки в df_test range_value = df['range'].iloc[row.name] # используем row.name, чтобы получить правильный индекс target_high = row['high'] + 1.5 * range_value # вычисляем целевую верхнюю границу target_low = row['low'] - 0.3 * range_value # вычисляем целевую нижнюю границу balance -= position # уменьшаем баланс на цену покупки # print(f'Купили по цене: {position:.2f}. Баланс: {balance:.2f}') # Проверка на достижение целевых уровней if position is not None: if row['high'] >= target_high: # достигли верхней целевой границы balance += target_high # фиксируем прибыль по верхней целевой границе # print(f'Продали по цене: {target_high:.2f} (цель достигнута). Баланс: {balance:.2f}') position = None # закрываем позицию elif row['low'] <= target_low: # достигли нижней целевой границы balance += target_low # фиксируем убыток по нижней целевой границе # print(f'Продали по цене: {target_low:.2f} (цель достигнута). Баланс: {balance:.2f}') position = None # закрываем позицию # Расчет прибыли profit = balance - initial_balance print(f'Начальный баланс: ${initial_balance:.2f}') print(f'Конечный баланс: ${balance:.2f}') print(f'Общая прибыль: ${profit:.2f}')В этом коде я заменил
df['range'].iloc[index]наdf['range'].iloc[row.name], что позволяет обратиться к правильному индексу в исходном датафрейме. Теперь код должен работать, не выдавая ошибок выхода за границы, и будет правильно вычислять целевые уровни.Если есть дополнительные вопросы или замечания, дай знать!