Skip to content
The Chat Archive
gemini-2.5-pro· Google LMArena Human Preference 140K

допустим у меня есть 15 столбцев со значениями в датафрейме пандас. Есть ряды, где все…

  1. User

    допустим у меня есть 15 столбцев со значениями в датафрейме пандас. Есть ряды, где все значеиня заполнены, а есть где только в 1 столбце. Каждый из столбцев - это месяц_год. Мне нужно создать датафрем, который будет создавать пролонгацию на каждый месяц. Вот логика пролонгации: В компание используется два коэффициента пролонгации:

    Для проектов пролонгированных в первый месяц – отношении суммы отгрузки[1] проектов пролонгированных в первый месяц после завершения к сумме отгрузки последнего месяца реализации всех завершившихся в прошлом месяце проектов. Для проектов, пролонгированных во второй месяц – отношение суммы отгрузки проектов, пролонгированных во второй месяц к сумме отгрузки последнего месяца проектов, не пролонгированных в первый.

    Помоги составить логику для вычисления. Вот полный индекс датафрейма: fd_df index: Index(['id', 'Причина дубля', 'Ноябрь 2022', 'Декабрь 2022', 'Январь 2023', 'Февраль 2023', 'Март 2023', 'Апрель 2023', 'Май 2023', 'Июнь 2023', 'Июль 2023', 'Август 2023', 'Сентябрь 2023', 'Октябрь 2023', 'Ноябрь 2023', 'Декабрь 2023', 'Январь 2024', 'Февраль 2024', 'Account'], dtype='object') pl_df index(нужен чтобы смотреть последний месяц в проекте): Index(['id', 'month', 'AM'], dtype='object')

  2. Assistant

    Отлично, задача ясна. Это интересный кейс для анализа оттока и продления клиентов (или проектов). Давайте пошагово разберем логику и напишем код на Pandas.

    Шаг 1: Понимание и декомпозиция логики

    Давайте представим, что мы хотим рассчитать коэффициенты для Мая 2023.

    Коэффициент 1 (Пролонгация на 1-й месяц) для Мая 2023:

    1. Когорта: Нам нужны все проекты, которые по плану должны были завершиться в предыдущем месяце, то есть в Апреле 2023.
    2. Знаменатель (Denominator): Мы берем эти проекты и суммируем их отгрузки за их последний плановый месяц (Апрель 2023).
    3. Числитель (Numerator): Из этой же когорты мы отбираем только те проекты, у которых были отгрузки в Мае 2023 (первый месяц после планового завершения). Суммируем эти отгрузки за Май 2023.
    4. Расчет: Коэффициент_1 (Май 2023) = Числитель / Знаменатель.

    Коэффициент 2 (Пролонгация на 2-й месяц) для Мая 2023:

    1. Когорта: Нам нужны все проекты, которые по плану должны были завершиться два месяца назад, то есть в Марте 2023.
    2. Суб-когорта (те, кто не продлился на 1-й месяц): Из проектов, завершившихся в Марте 2023, мы находим тех, у кого НЕ БЫЛО отгрузок в Апреле 2023.
    3. Знаменатель (Denominator): Мы берем эту суб-когорту и суммируем их отгрузки за их последний плановый месяц (Март 2023).
    4. Числитель (Numerator): Из этой же суб-когорты мы отбираем только тех, у кого были отгрузки в Мае 2023 (второй месяц после планового завершения). Суммируем эти отгрузки за Май 2023.
    5. Расчет: Коэффициент_2 (Май 2023) = Числитель / Знаменатель.

    Шаг 2: Подготовка данных

    Главная проблема — строковые названия столбцов-дат. Для арифметики с датами (предыдущий месяц, +1 месяц) их нужно перевести в формат, который Pandas понимает как даты. Идеально для этого подходит pd.Period.

    Шаг 3: Реализация на Python и Pandas

    Давайте напишем код, который реализует эту логику. Я создам небольшие примеры fd_df и pl_df, чтобы код был исполняемым и понятным.

    import pandas as pd
    import numpy as np
    
    # --- 1. Создание тестовых данных (замените на загрузку ваших CSV) ---
    
    # fd_df: DataFrame с фактическими отгрузками по месяцам
    data_fd = {
        'id': ['A', 'B', 'C', 'D', 'E', 'F'],
        'Ноябрь 2023': [100, 50, np.nan, np.nan, np.nan, np.nan],
        'Декабрь 2023': [110, 60, 200, 80, np.nan, np.nan],
        'Январь 2024': [120, np.nan, 210, np.nan, 300, 500],
        'Февраль 2024': [15, np.nan, 25, 10, 310, 510],
        'Март 2024':   [np.nan, np.nan, 5, np.nan, 320, np.nan]
    }
    fd_df = pd.DataFrame(data_fd)
    
    # pl_df: DataFrame с плановым месяцем завершения проекта
    data_pl = {
        'id': ['A', 'B', 'C', 'D', 'E', 'F'],
        'month': [
            'Декабрь 2023', # Продлился на 1 и 2 месяц
            'Декабрь 2023', # Не продлился
            'Январь 2024',  # Продлился на 1 и 2 месяц
            'Декабрь 2023', # Продлился на 1 месяц, но не на 2
            'Январь 2024',  # Продлился на 1 и 2 месяц
            'Январь 2024'   # Не продлился
        ]
    }
    pl_df = pd.DataFrame(data_pl)
    
    print("--- Исходные данные ---")
    print("fd_df:\n", fd_df)
    print("\npl_df:\n", pl_df)
    
    # --- 2. Подготовка данных: Преобразование строк в даты (Period) ---
    
    # Словарь для конвертации русских месяцев
    month_map = {
        'январь': 1, 'февраль': 2, 'март': 3, 'апрель': 4, 'май': 5, 'июнь': 6,
        'июль': 7, 'август': 8, 'сентябрь': 9, 'октябрь': 10, 'ноябрь': 11, 'декабрь': 12
    }
    
    def to_period(date_str):
        """Конвертирует строку 'Месяц Год' в объект pd.Period."""
        if pd.isna(date_str):
            return None
        month_str, year_str = date_str.lower().split()
        return pd.Period(f"{year_str}-{month_map[month_str]}", freq='M')
    
    # Применяем конвертацию к pl_df
    pl_df['period'] = pl_df['month'].apply(to_period)
    
    # Конвертируем названия столбцов в fd_df
    date_columns = [col for col in fd_df.columns if '20' in col]
    period_columns = {col: to_period(col) for col in date_columns}
    fd_df.rename(columns=period_columns, inplace=True)
    
    # Устанавливаем 'id' как индекс для удобного доступа по .loc
    fd_df.set_index('id', inplace=True)
    pl_df.set_index('id', inplace=True)
    
    print("\n--- Данные после подготовки ---")
    print("fd_df с Period-колонками:\n", fd_df)
    print("\npl_df с Period-колонкой:\n", pl_df)
    
    
    # --- 3. Расчет коэффициентов ---
    
    # Получаем отсортированный список всех месяцев для итерации
    all_periods = sorted([col for col in fd_df.columns if isinstance(col, pd.Period)])
    
    results = []
    
    # Итерируемся по месяцам, чтобы рассчитать коэффициенты для каждого
    for current_month in all_periods:
        # Определяем предыдущие месяцы
        prev_month_1 = current_month - 1
        prev_month_2 = current_month - 2
        
        # --- Расчет Коэффициента 1 ---
        
        # 1. Когорта: проекты, завершившиеся в прошлом месяце (prev_month_1)
        cohort_1_ids = pl_df[pl_df['period'] == prev_month_1].index
        
        coeff_1 = np.nan
        if not cohort_1_ids.empty and prev_month_1 in fd_df.columns:
            # 2. Знаменатель: сумма отгрузок этой когорты в их последний месяц
            denom_1 = fd_df.loc[cohort_1_ids, prev_month_1].sum()
            
            # 3. Числитель: сумма отгрузок тех, кто продлился на current_month
            # (первый месяц после завершения)
            if current_month in fd_df.columns:
                num_1 = fd_df.loc[cohort_1_ids, current_month].sum()
                
                # 4. Расчет
                if denom_1 > 0:
                    coeff_1 = num_1 / denom_1
    
        # --- Расчет Коэффициента 2 ---
        
        # 1. Когорта: проекты, завершившиеся 2 месяца назад (prev_month_2)
        cohort_2_ids = pl_df[pl_df['period'] == prev_month_2].index
        
        coeff_2 = np.nan
        if not cohort_2_ids.empty and prev_month_2 in fd_df.columns and prev_month_1 in fd_df.columns:
            # 2. Суб-когорта: те, кто НЕ продлился на 1-й месяц (prev_month_1)
            # Находим отгрузки в prev_month_1 для cohort_2_ids
            shipments_in_prolong_1 = fd_df.loc[cohort_2_ids, prev_month_1].fillna(0)
            # Отбираем ID тех, у кого отгрузок не было (== 0)
            not_prolonged_1_month_ids = shipments_in_prolong_1[shipments_in_prolong_1 == 0].index
            
            if not not_prolonged_1_month_ids.empty:
                # 3. Знаменатель: сумма отгрузок этой суб-когорты в их последний месяц (prev_month_2)
                denom_2 = fd_df.loc[not_prolonged_1_month_ids, prev_month_2].sum()
                
                # 4. Числитель: сумма отгрузок тех из суб-когорты, кто продлился на current_month
                if current_month in fd_df.columns:
                    num_2 = fd_df.loc[not_prolonged_1_month_ids, current_month].sum()
    
                    # 5. Расчет
                    if denom_2 > 0:
                        coeff_2 = num_2 / denom_2
    
        results.append({
            'Месяц_Расчета': current_month,
            'Коэффициент_Пролонгации_1': coeff_1,
            'Коэффициент_Пролонгации_2': coeff_2
        })
    
    # --- 4. Финальный результат ---
    result_df = pd.DataFrame(results).dropna(how='all', subset=['Коэффициент_Пролонгации_1', 'Коэффициент_Пролонгации_2'])
    
    print("\n--- Финальный результат ---")
    print(result_df)
    
    

    Объяснение кода и результатов

    1. Подготовка данных:

      • Мы создаем словарь month_map для перевода названий месяцев в числа.
      • Функция to_period делает всю "магию": она берет строку "Декабрь 2023", разбивает ее, находит номер месяца в словаре и создает объект pd.Period('2023-12'). Этот объект поддерживает арифметические операции (+1, -1).
      • Мы переименовываем столбцы в fd_df и создаем новую колонку period в pl_df.
      • Установка id в качестве индекса сильно упрощает фильтрацию с помощью .loc.
    2. Основной цикл:

      • Мы итерируемся по каждому месяцу, для которого у нас есть данные об отгрузках (all_periods).
      • Внутри цикла для текущего месяца current_month мы вычисляем два коэффициента.
    3. Расчет Коэффициента 1 (на примере Февраля 2024):

      • current_month = 2024-02. prev_month_1 = 2024-01.
      • Когорта: Проекты, завершившиеся в 2024-01. Из pl_df это проекты C, E, F.
      • Знаменатель: Сумма отгрузок C, E, F за 2024-01. fd_df.loc[['C', 'E', 'F'], '2024-01'].sum() -> 210 + 300 + 500 = 1010.
      • Числитель: Сумма отгрузок C, E, F за 2024-02. fd_df.loc[['C', 'E', 'F'], '2024-02'].sum() -> 25 + 310 + 510 = 845.
      • Результат: 845 / 1010 ≈ 0.8366.
    4. Расчет Коэффициента 2 (на примере Февраля 2024):

      • current_month = 2024-02. prev_month_2 = 2023-12. prev_month_1 = 2024-01.
      • Когорта: Проекты, завершившиеся в 2023-12. Из pl_df это проекты A, B, D.
      • Суб-когорта (не продлились на 1 месяц): Смотрим отгрузки A, B, D за 2024-01.
        • A: 120 (продлился)
        • B: NaN (не продлился)
        • D: NaN (не продлился)
        • Итого, not_prolonged_1_month_ids = ['B', 'D'].
      • Знаменатель: Сумма отгрузок B, D за их последний месяц 2023-12. fd_df.loc[['B', 'D'], '2023-12'].sum() -> 60 + 80 = 140.
      • Числитель: Сумма отгрузок B, D за 2024-02. fd_df.loc[['B', 'D'], '2024-02'].sum() -> NaN + 10 = 10.
      • Результат: 10 / 140 ≈ 0.0714.
    5. Финальный DataFrame: result_df собирает все вычисления в аккуратную таблицу, удаляя строки, где не удалось посчитать ни один из коэффициентов (например, для самых ранних месяцев в данных).

    Этот код полностью реализует вашу логику, он надежен и легко адаптируется под ваши реальные данные. Просто замените создание тестовых DataFrame на pd.read_csv() или pd.read_excel().

  3. User

    Все числа там записаны как строки. например: "56 200,00",стоп,,

  4. Assistant

    Понял. Это очень частая проблема при работе с данными из Excel или 1С. Числа в виде строк "56 200,00" (с пробелом как разделителем тысяч и запятой как десятичным знаком) нужно предварительно очистить и преобразовать в числовой формат.

    Мы добавим один шаг в нашу подготовку данных — функцию очистки, которую применим ко всем столбцам с отгрузками.

    Вот обновленный и полный код, который сначала очищает данные, а затем выполняет все расчеты.

    Шаг 1: Функция для очистки чисел

    Сначала напишем функцию, которая будет:

    1. Убирать пробелы (включая неразрывные пробелы \xa0, которые часто копируются из Excel).
    2. Заменять запятую на точку.
    3. Преобразовывать строку в число (float).
    4. Возвращать NaN (Not a Number), если значение пустое или не может быть преобразовано.
    import numpy as np
    
    def clean_and_convert_to_float(value):
        """
        Очищает строку от пробелов, меняет запятую на точку и конвертирует в float.
        Пример: "56 200,00" -> 56200.0
        """
        # Если значение уже числовое или NaN, возвращаем его как есть
        if not isinstance(value, str):
            return value
    
        try:
            # Убираем неразрывный пробел, обычный пробел, меняем запятую, конвертируем
            cleaned_value = value.replace('\xa0', '').replace(' ', '').replace(',', '.')
            return float(cleaned_value)
        except (ValueError, TypeError):
            # Если строка пустая или содержит нечисловые символы, возвращаем NaN
            return np.nan
    

    Шаг 2: Интеграция в основной скрипт

    Теперь встроим эту функцию в наш основной код. Она будет применяться к столбцам с датами в fd_df сразу после загрузки данных.

    Вот полный, готовый к использованию скрипт:

    import pandas as pd
    import numpy as np
    
    # --- 1. Создание тестовых данных (с числами в виде строк) ---
    
    # fd_df: DataFrame с фактическими отгрузками в виде строк
    data_fd = {
        'id': ['A', 'B', 'C', 'D', 'E', 'F'],
        'Ноябрь 2023': ["100 000,00", "50 000,00", np.nan, np.nan, np.nan, np.nan],
        'Декабрь 2023': ["110 000,00", "60 000,00", "200 000,00", "80 000,00", np.nan, np.nan],
        'Январь 2024': ["120 000,00", np.nan, "210 000,00", np.nan, "300 000,00", "500 000,00"],
        'Февраль 2024': ["15 000,00", np.nan, "25 000,00", "10 000,00", "310 000,00", "510 000,00"],
        'Март 2024':   [np.nan, np.nan, "5 000,00", np.nan, "320 000,00", np.nan]
    }
    fd_df = pd.DataFrame(data_fd)
    
    # pl_df: DataFrame с плановым месяцем завершения проекта
    data_pl = {
        'id': ['A', 'B', 'C', 'D', 'E', 'F'],
        'month': [
            'Декабрь 2023', # Продлился на 1 и 2 месяц
            'Декабрь 2023', # Не продлился
            'Январь 2024',  # Продлился на 1 и 2 месяц
            'Декабрь 2023', # Продлился на 1 месяц, но не на 2
            'Январь 2024',  # Продлился на 1 и 2 месяц
            'Январь 2024'   # Не продлился
        ]
    }
    pl_df = pd.DataFrame(data_pl)
    
    print("--- Исходные данные (строки) ---")
    print("fd_df:\n", fd_df)
    
    # --- 2. Подготовка данных ---
    
    # Функция для очистки и конвертации
    def clean_and_convert_to_float(value):
        if not isinstance(value, str):
            return value
        try:
            cleaned_value = value.replace('\xa0', '').replace(' ', '').replace(',', '.')
            return float(cleaned_value)
        except (ValueError, TypeError):
            return np.nan
    
    # Определяем столбцы с датами/отгрузками
    date_columns = [col for col in fd_df.columns if '20' in col]
    
    # *** НОВЫЙ ШАГ: Применяем функцию очистки ко всем столбцам с отгрузками ***
    for col in date_columns:
        fd_df[col] = fd_df[col].apply(clean_and_convert_to_float)
    
    print("\n--- Данные после очистки (числа) ---")
    print("fd_df:\n", fd_df)
    print("\ndtypes:", fd_df.dtypes) # Проверяем, что типы данных стали float
    
    # Словарь для конвертации русских месяцев
    month_map = {
        'январь': 1, 'февраль': 2, 'март': 3, 'апрель': 4, 'май': 5, 'июнь': 6,
        'июль': 7, 'август': 8, 'сентябрь': 9, 'октябрь': 10, 'ноябрь': 11, 'декабрь': 12
    }
    
    def to_period(date_str):
        if pd.isna(date_str): return None
        month_str, year_str = date_str.lower().split()
        return pd.Period(f"{year_str}-{month_map[month_str]}", freq='M')
    
    # Применяем конвертацию к pl_df
    pl_df['period'] = pl_df['month'].apply(to_period)
    
    # Конвертируем названия столбцов в fd_df
    period_columns = {col: to_period(col) for col in date_columns}
    fd_df.rename(columns=period_columns, inplace=True)
    
    # Устанавливаем 'id' как индекс
    fd_df.set_index('id', inplace=True)
    pl_df.set_index('id', inplace=True)
    
    # --- 3. Расчет коэффициентов (этот блок остается без изменений) ---
    
    all_periods = sorted([col for col in fd_df.columns if isinstance(col, pd.Period)])
    results = []
    
    for current_month in all_periods:
        prev_month_1 = current_month - 1
        prev_month_2 = current_month - 2
        
        # Расчет Коэффициента 1
        cohort_1_ids = pl_df[pl_df['period'] == prev_month_1].index
        coeff_1 = np.nan
        if not cohort_1_ids.empty and prev_month_1 in fd_df.columns:
            denom_1 = fd_df.loc[cohort_1_ids, prev_month_1].sum()
            if current_month in fd_df.columns:
                num_1 = fd_df.loc[cohort_1_ids, current_month].sum()
                if denom_1 > 0:
                    coeff_1 = num_1 / denom_1
    
        # Расчет Коэффициента 2
        cohort_2_ids = pl_df[pl_df['period'] == prev_month_2].index
        coeff_2 = np.nan
        if not cohort_2_ids.empty and prev_month_2 in fd_df.columns and prev_month_1 in fd_df.columns:
            shipments_in_prolong_1 = fd_df.loc[cohort_2_ids, prev_month_1].fillna(0)
            not_prolonged_1_month_ids = shipments_in_prolong_1[shipments_in_prolong_1 == 0].index
            
            if not not_prolonged_1_month_ids.empty:
                denom_2 = fd_df.loc[not_prolonged_1_month_ids, prev_month_2].sum()
                if current_month in fd_df.columns:
                    num_2 = fd_df.loc[not_prolonged_1_month_ids, current_month].sum()
                    if denom_2 > 0:
                        coeff_2 = num_2 / denom_2
    
        results.append({
            'Месяц_Расчета': current_month,
            'Коэффициент_Пролонгации_1': coeff_1,
            'Коэффициент_Пролонгации_2': coeff_2
        })
    
    # --- 4. Финальный результат ---
    result_df = pd.DataFrame(results).dropna(how='all', subset=['Коэффициент_Пролонгации_1', 'Коэффициент_Пролонгации_2'])
    
    print("\n--- Финальный результат ---")
    print(result_df.round(4)) # Округляем для наглядности
    

    Ключевые изменения:

    1. Тестовые данные: data_fd теперь содержит строки, имитирующие ваши реальные данные.
    2. Функция clean_and_convert_to_float: Добавлена в начало секции подготовки данных.
    3. Цикл очистки: Сразу после определения date_columns добавлен цикл, который проходит по каждому из этих столбцов и применяет к нему (.apply()) нашу функцию очистки.
    4. Проверка dtypes: Я добавил print(fd_df.dtypes), чтобы вы могли убедиться, что после очистки типы данных в столбцах изменились с object (строка) на float64 (число).

    Теперь код готов к работе с вашими "грязными" данными. Вся остальная логика расчетов остается прежней, так как она оперирует уже с очищенными числовыми данными.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.