Есть python код def posttransformdata(df, readfun=readallvariance, modelversion=3,…
- User
Есть python код def post_transform_data(df, read_fun=read_all_variance, model_version=3, data=None, nb_channel=read_nb_channel_detchanel_for_bids):
df = df.sort_values(by=['Регион хранения', 'НБ', 'Канал реализации', 'Детализированный канал реализации', 'Группа хранения', 'Тип НП', 'НП поставки', 'Группа НП', 'Номер группы', 'Штраф за снижение, руб/тн', 'Штраф за превышение, руб/тн', 'Группа', 'Дата начала периода', 'Кол-во периодов', 'Группировка периодов', 'np_group_index', 'store_group_index', 'Группировка периода', 'Дата', 'merge_column', 't_group_index']) df['cnstr_index'] = range(1, len(df) + 1) oversale_group_index = 1 res_eq = pd.DataFrame() all_variance = read_fun(data=data).rename(columns={'НП': 'НП поставки', 'Тип транспортировки': 'Тип транспорта'}) nb_channel_det_channel = nb_channel(data=data).rename(columns={'НП': 'НП поставки', 'Тип транспортировки': 'Тип транспорта'}) column_other = ['Номер группы', 'cnstr_index', 'Группа', 'Кол-во периодов', 'Группировка периодов', 'merge_column', 't_group_index', 'np_group_index', 'prod_group_index', 'cnstr_index', 'Штраф за превышение, руб/тн', 'Штраф за снижение, руб/тн', 'Группа производства', 'Признак группировки', 'Наименование группы', 'Условия покупки', 'НП класс', 'Дата начала периода', 'store_group_index', 'Группа хранения', 'Группировка периода'] df = df.sort_values(by='Номер группы') for by_number_group in df.groupby('Номер группы', as_index=False, sort=True): constraints_i = by_number_group[1] variance_all = pd.DataFrame() column_use_list_all = [] constraints_i = constraints_i.sort_values(by='cnstr_index') for by_index in constraints_i.groupby('cnstr_index', as_index=False, sort=True): constraints_i_ind = by_index[1].replace('', float('nan')).replace('all', float('nan')).dropna(axis=1) column_use_list = list( set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other)) ) column_use_list_all.extend(column_use_list) variance = constraints_i_ind.merge( all_variance, on=list(set(constraints_i_ind.columns).difference(set(column_other))) ) variance_all = pd.concat([variance_all,variance], ignore_index=True) # Фильтруем цепочки по каналам и дет каналам (которые реально могут существовать) variance_all = variance_all.merge( nb_channel_det_channel[['Канал реализации', 'Детализированный канал реализации', 'НБ']], how='inner', on=['Канал реализации', 'Детализированный канал реализации', 'НБ'] ) # variance_all = pd.concat([variance_all,variance_dropped[variance_all.columns]]) variance_all = variance_all.drop_duplicates() need_columns = list(set(MAIN_COLUMNS).difference(set(column_use_list_all))) + ['Дата'] variance_all = variance_all.sort_values(by=need_columns) for group_i in variance_all.groupby(need_columns, sort=True): group_i_df = group_i[1] group_i_df = group_i_df.drop_duplicates() if len(group_i_df) > 1: variance_all.loc[group_i_df.index, 'oversale_group_index'] = oversale_group_index oversale_group_index += 1 res_eq = pd.concat([res_eq,variance_all],ignore_index=False) if res_eq.get('oversale_group_index') is None: res_eq['oversale_group_index'] = None res_eq = res_eq[res_eq['oversale_group_index'].notna()] res_eq['oversale_group_index'] = res_eq['oversale_group_index'].astype(int) param_with_value1 = 'Штраф за снижение, руб/тн' param_with_value2 = 'Штраф за превышение, руб/тн' column_name = 'with_penalty' if param_with_value1 not in res_eq.columns: res_eq[param_with_value1] = float('nan') if param_with_value2 not in res_eq.columns: res_eq[param_with_value2] = float('nan') set_with_value = res_eq[(res_eq[param_with_value1].notna()) | (res_eq[param_with_value2].notna())] res_eq.loc[set_with_value.index, column_name] = res_eq.loc[set_with_value.index, 'oversale_group_index'] res_eq.loc[res_eq[~res_eq[column_name].notna()].index, column_name] = 0 res_eq[column_name] = res_eq[column_name].astype(int) res_eq = res_eq.drop_duplicates() if res_eq.empty: columns_need = ['Регион хранения', 'НП поставки', 'Номер группы', 'Группа', 'Дата начала периода', 'Кол-во периодов', 'Группировка периодов', 'Дата', 'merge_column', 't_group_index', 'np_group_index', 'store_group_index', 'cnstr_index', 'НБ', 'Канал реализации', 'Детализированный канал реализации', 'Тип НП'] for col_i in columns_need: res_eq[col_i] = None count_constr = res_eq.groupby('oversale_group_index').count() res_eq.to_csv('res_eq_2.csv') # 'Дата' или другое поле не важно, так как считается там количество элементов return res_eq[res_eq['oversale_group_index'].isin(count_constr[count_constr['Дата'] > 1].index)]Почему на одних и тех же данных отличается таблица res_eq при разных запусках? Как это исправить?
Assistant
Вы столкнулись с классической проблемой недетерминизма в обработке данных с использованием pandas и Python. Основная причина в том, что при каждом запуске функции порядок элементов, полученных из множеств (set), может быть разным, что влияет на результаты группировки и присвоение индексов.
Причины недетерминизма
-
Использование неупорядоченных множеств (set): В Python множества не сохраняют порядок элементов. При преобразовании
setвlistпорядок элементов не гарантирован и может меняться от запуска к запуску. -
Критические места в коде:
# Проблема 1: Случайный порядок колонок для merge column_use_list = list( set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other)) ) variance = constraints_i_ind.merge( all_variance, on=list(set(constraints_i_ind.columns).difference(set(column_other))) ) # Проблема 2: Случайный порядок колонок для сортировки и группировки need_columns = list(set(MAIN_COLUMNS).difference(set(column_use_list_all))) + ['Дата'] -
Последствия: Из-за непостоянного порядка колонок, особенно в операциях
sort_valuesиgroupby, группы данных обрабатываются в разном порядке. Посколькуoversale_group_indexувеличивается последовательно, одни и те же группы данных получают разные значения индекса в разных запусках.
Решение
Для обеспечения детерминизма нужно стабилизировать порядок элементов, полученных из множеств, с помощью явной сортировки. Вот необходимые изменения:
-
Исправление колонок для merge:
# БЫЛО: column_use_list = list( set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other)) ) # СТАЛО: column_use_list = sorted(list( set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other)) ))# БЫЛО: variance = constraints_i_ind.merge( all_variance, on=list(set(constraints_i_ind.columns).difference(set(column_other))) ) # СТАЛО: merge_columns = sorted(list(set(constraints_i_ind.columns).difference(set(column_other)))) variance = constraints_i_ind.merge( all_variance, on=merge_columns ) -
Исправление колонок для сортировки и группировки:
# БЫЛО: need_columns = list(set(MAIN_COLUMNS).difference(set(column_use_list_all))) + ['Дата'] # СТАЛО: need_columns = sorted(list(set(MAIN_COLUMNS).difference(set(column_use_list_all)))) + ['Дата'] -
Дополнительные улучшения:
- Для полной стабильности можно также добавить стабильную сортировку
column_use_list_allперед использованием:# Перед строкой: need_columns = sorted(list(set(MAIN_COLUMNS).difference(set(column_use_list_all)))) + ['Дата'] # Добавить: column_use_list_all = sorted(set(column_use_list_all))
- Для полной стабильности можно также добавить стабильную сортировку
Полностью исправленные фрагменты
Вот полностью исправленные фрагменты для основных источников недетерминизма:
# 1. Формирование column_use_list column_use_list = sorted(list( set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other)) )) column_use_list_all.extend(column_use_list) # 2. Операция merge merge_columns = sorted(list(set(constraints_i_ind.columns).difference(set(column_other)))) variance = constraints_i_ind.merge( all_variance, on=merge_columns ) # 3. Определение колонок для сортировки и группировки column_use_list_all_unique = sorted(set(column_use_list_all)) # Стабилизируем уникальные значения need_columns = sorted(list(set(MAIN_COLUMNS).difference(set(column_use_list_all_unique)))) + ['Дата']После этих изменений ваша функция должна давать стабильные результаты при каждом запуске с одними и теми же входными данными.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.