Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-3-7-sonnet-20250219-thinking-32k· AnthropicHugging Face LMArena Human Preference 140K

Есть python код def posttransformdata(df, readfun=readallvariance, modelversion=3,…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Amazon Novaamazon-nova-experimental-chat-05-14’s answer.
  1. User

    Есть python код def post_transform_data(df, read_fun=read_all_variance, model_version=3, data=None, nb_channel=read_nb_channel_detchanel_for_bids):

    df = df.sort_values(by=['Регион хранения', 'НБ', 'Канал реализации',
       'Детализированный канал реализации', 'Группа хранения', 'Тип НП',
       'НП поставки', 'Группа НП', 'Номер группы', 'Штраф за снижение, руб/тн',
       'Штраф за превышение, руб/тн', 'Группа', 'Дата начала периода',
       'Кол-во периодов', 'Группировка периодов', 'np_group_index',
       'store_group_index', 'Группировка периода', 'Дата', 'merge_column',
       't_group_index'])
    
    df['cnstr_index'] = range(1, len(df) + 1)
    
    oversale_group_index = 1
    res_eq = pd.DataFrame()
    all_variance = read_fun(data=data).rename(columns={'НП': 'НП поставки', 'Тип транспортировки': 'Тип транспорта'})
    nb_channel_det_channel = nb_channel(data=data).rename(columns={'НП': 'НП поставки', 'Тип транспортировки': 'Тип транспорта'})
    
    column_other = ['Номер группы', 'cnstr_index', 'Группа', 'Кол-во периодов', 'Группировка периодов',
                    'merge_column', 't_group_index', 'np_group_index',
                    'prod_group_index', 'cnstr_index', 'Штраф за превышение, руб/тн', 'Штраф за снижение, руб/тн',
                    'Группа производства', 'Признак группировки', 'Наименование группы', 'Условия покупки', 'НП класс',
                    'Дата начала периода', 'store_group_index', 'Группа хранения', 'Группировка периода']
    
    df = df.sort_values(by='Номер группы')
    
    for by_number_group in df.groupby('Номер группы', as_index=False, sort=True):
        constraints_i = by_number_group[1]
        variance_all = pd.DataFrame()
        column_use_list_all = []
    
        constraints_i = constraints_i.sort_values(by='cnstr_index')
    
        for by_index in constraints_i.groupby('cnstr_index', as_index=False, sort=True):
            constraints_i_ind = by_index[1].replace('', float('nan')).replace('all', float('nan')).dropna(axis=1)
            column_use_list = list(
                set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other))
            )
            column_use_list_all.extend(column_use_list)
    
            variance = constraints_i_ind.merge(
                all_variance,
                on=list(set(constraints_i_ind.columns).difference(set(column_other)))
            )
            variance_all = pd.concat([variance_all,variance], ignore_index=True)
    
        # Фильтруем цепочки по каналам и дет каналам (которые реально могут существовать)
        variance_all = variance_all.merge(
            nb_channel_det_channel[['Канал реализации', 'Детализированный канал реализации', 'НБ']],
            how='inner',
            on=['Канал реализации', 'Детализированный канал реализации', 'НБ']
        )
    
        # variance_all = pd.concat([variance_all,variance_dropped[variance_all.columns]])
        variance_all = variance_all.drop_duplicates()
    
        need_columns = list(set(MAIN_COLUMNS).difference(set(column_use_list_all))) + ['Дата']
        variance_all = variance_all.sort_values(by=need_columns)
    
        for group_i in variance_all.groupby(need_columns, sort=True):
            group_i_df = group_i[1]
            group_i_df = group_i_df.drop_duplicates()
            if len(group_i_df) > 1:
                variance_all.loc[group_i_df.index, 'oversale_group_index'] = oversale_group_index
                oversale_group_index += 1
    
        res_eq = pd.concat([res_eq,variance_all],ignore_index=False)
    
    if res_eq.get('oversale_group_index') is None:
        res_eq['oversale_group_index'] = None
    res_eq = res_eq[res_eq['oversale_group_index'].notna()]
    res_eq['oversale_group_index'] = res_eq['oversale_group_index'].astype(int)
    
    param_with_value1 = 'Штраф за снижение, руб/тн'
    param_with_value2 = 'Штраф за превышение, руб/тн'
    column_name = 'with_penalty'
    if param_with_value1 not in res_eq.columns:
        res_eq[param_with_value1] = float('nan')
    if param_with_value2 not in res_eq.columns:
        res_eq[param_with_value2] = float('nan')
    set_with_value = res_eq[(res_eq[param_with_value1].notna()) | (res_eq[param_with_value2].notna())]
    res_eq.loc[set_with_value.index, column_name] = res_eq.loc[set_with_value.index, 'oversale_group_index']
    res_eq.loc[res_eq[~res_eq[column_name].notna()].index, column_name] = 0
    res_eq[column_name] = res_eq[column_name].astype(int)
    res_eq = res_eq.drop_duplicates()
    
    if res_eq.empty:
        columns_need = ['Регион хранения', 'НП поставки', 'Номер группы', 'Группа',
                        'Дата начала периода', 'Кол-во периодов', 'Группировка периодов',
                        'Дата', 'merge_column', 't_group_index', 'np_group_index',
                        'store_group_index', 'cnstr_index', 'НБ', 'Канал реализации',
                        'Детализированный канал реализации', 'Тип НП']
        for col_i in columns_need:
            res_eq[col_i] = None
    
    count_constr = res_eq.groupby('oversale_group_index').count()
    res_eq.to_csv('res_eq_2.csv')
    # 'Дата' или другое поле не важно, так как считается там количество элементов
    return res_eq[res_eq['oversale_group_index'].isin(count_constr[count_constr['Дата'] > 1].index)]
    

    Почему на одних и тех же данных отличается таблица res_eq при разных запусках? Как это исправить?

  2. Claude Assistant

    Вы столкнулись с классической проблемой недетерминизма в обработке данных с использованием pandas и Python. Основная причина в том, что при каждом запуске функции порядок элементов, полученных из множеств (set), может быть разным, что влияет на результаты группировки и присвоение индексов.

    Причины недетерминизма

    1. Использование неупорядоченных множеств (set): В Python множества не сохраняют порядок элементов. При преобразовании set в list порядок элементов не гарантирован и может меняться от запуска к запуску.

    2. Критические места в коде:

      # Проблема 1: Случайный порядок колонок для merge
      column_use_list = list(
          set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other))
      )
      
      variance = constraints_i_ind.merge(
          all_variance,
          on=list(set(constraints_i_ind.columns).difference(set(column_other)))
      )
      
      # Проблема 2: Случайный порядок колонок для сортировки и группировки
      need_columns = list(set(MAIN_COLUMNS).difference(set(column_use_list_all))) + ['Дата']
      
    3. Последствия: Из-за непостоянного порядка колонок, особенно в операциях sort_values и groupby, группы данных обрабатываются в разном порядке. Поскольку oversale_group_index увеличивается последовательно, одни и те же группы данных получают разные значения индекса в разных запусках.

    Решение

    Для обеспечения детерминизма нужно стабилизировать порядок элементов, полученных из множеств, с помощью явной сортировки. Вот необходимые изменения:

    1. Исправление колонок для merge:

      # БЫЛО:
      column_use_list = list(
          set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other))
      )
      
      # СТАЛО:
      column_use_list = sorted(list(
          set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other))
      ))
      
      # БЫЛО:
      variance = constraints_i_ind.merge(
          all_variance,
          on=list(set(constraints_i_ind.columns).difference(set(column_other)))
      )
      
      # СТАЛО:
      merge_columns = sorted(list(set(constraints_i_ind.columns).difference(set(column_other))))
      variance = constraints_i_ind.merge(
          all_variance,
          on=merge_columns
      )
      
    2. Исправление колонок для сортировки и группировки:

      # БЫЛО:
      need_columns = list(set(MAIN_COLUMNS).difference(set(column_use_list_all))) + ['Дата']
      
      # СТАЛО:
      need_columns = sorted(list(set(MAIN_COLUMNS).difference(set(column_use_list_all)))) + ['Дата']
      
    3. Дополнительные улучшения:

      • Для полной стабильности можно также добавить стабильную сортировку column_use_list_all перед использованием:
        # Перед строкой:
        need_columns = sorted(list(set(MAIN_COLUMNS).difference(set(column_use_list_all)))) + ['Дата']
        
        # Добавить:
        column_use_list_all = sorted(set(column_use_list_all))
        

    Полностью исправленные фрагменты

    Вот полностью исправленные фрагменты для основных источников недетерминизма:

    # 1. Формирование column_use_list
    column_use_list = sorted(list(
        set(by_index[1].replace('', float('nan')).dropna(axis=1).columns).difference(set(column_other))
    ))
    column_use_list_all.extend(column_use_list)
    
    # 2. Операция merge
    merge_columns = sorted(list(set(constraints_i_ind.columns).difference(set(column_other))))
    variance = constraints_i_ind.merge(
        all_variance,
        on=merge_columns
    )
    
    # 3. Определение колонок для сортировки и группировки
    column_use_list_all_unique = sorted(set(column_use_list_all))  # Стабилизируем уникальные значения
    need_columns = sorted(list(set(MAIN_COLUMNS).difference(set(column_use_list_all_unique)))) + ['Дата']
    

    После этих изменений ваша функция должна давать стабильные результаты при каждом запуске с одними и теми же входными данными.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.