допустим у меня есть 15 столбцев со значениями в датафрейме пандас. Есть ряды, где все…
- User
допустим у меня есть 15 столбцев со значениями в датафрейме пандас. Есть ряды, где все значеиня заполнены, а есть где только в 1 столбце. Каждый из столбцев - это месяц_год. Мне нужно создать датафрем, который будет создавать пролонгацию на каждый месяц. Вот логика пролонгации: В компание используется два коэффициента пролонгации:
Для проектов пролонгированных в первый месяц – отношении суммы отгрузки[1] проектов пролонгированных в первый месяц после завершения к сумме отгрузки последнего месяца реализации всех завершившихся в прошлом месяце проектов. Для проектов, пролонгированных во второй месяц – отношение суммы отгрузки проектов, пролонгированных во второй месяц к сумме отгрузки последнего месяца проектов, не пролонгированных в первый.
Помоги составить логику для вычисления. Вот полный индекс датафрейма: fd_df index: Index(['id', 'Причина дубля', 'Ноябрь 2022', 'Декабрь 2022', 'Январь 2023', 'Февраль 2023', 'Март 2023', 'Апрель 2023', 'Май 2023', 'Июнь 2023', 'Июль 2023', 'Август 2023', 'Сентябрь 2023', 'Октябрь 2023', 'Ноябрь 2023', 'Декабрь 2023', 'Январь 2024', 'Февраль 2024', 'Account'], dtype='object') pl_df index(нужен чтобы смотреть последний месяц в проекте): Index(['id', 'month', 'AM'], dtype='object')
- Assistant
Отлично, задача ясна. Это интересный кейс для анализа оттока и продления клиентов (или проектов). Давайте пошагово разберем логику и напишем код на Pandas.
Шаг 1: Понимание и декомпозиция логики
Давайте представим, что мы хотим рассчитать коэффициенты для Мая 2023.
Коэффициент 1 (Пролонгация на 1-й месяц) для Мая 2023:
- Когорта: Нам нужны все проекты, которые по плану должны были завершиться в предыдущем месяце, то есть в Апреле 2023.
- Знаменатель (Denominator): Мы берем эти проекты и суммируем их отгрузки за их последний плановый месяц (Апрель 2023).
- Числитель (Numerator): Из этой же когорты мы отбираем только те проекты, у которых были отгрузки в Мае 2023 (первый месяц после планового завершения). Суммируем эти отгрузки за Май 2023.
- Расчет:
Коэффициент_1 (Май 2023) = Числитель / Знаменатель.
Коэффициент 2 (Пролонгация на 2-й месяц) для Мая 2023:
- Когорта: Нам нужны все проекты, которые по плану должны были завершиться два месяца назад, то есть в Марте 2023.
- Суб-когорта (те, кто не продлился на 1-й месяц): Из проектов, завершившихся в Марте 2023, мы находим тех, у кого НЕ БЫЛО отгрузок в Апреле 2023.
- Знаменатель (Denominator): Мы берем эту суб-когорту и суммируем их отгрузки за их последний плановый месяц (Март 2023).
- Числитель (Numerator): Из этой же суб-когорты мы отбираем только тех, у кого были отгрузки в Мае 2023 (второй месяц после планового завершения). Суммируем эти отгрузки за Май 2023.
- Расчет:
Коэффициент_2 (Май 2023) = Числитель / Знаменатель.
Шаг 2: Подготовка данных
Главная проблема — строковые названия столбцов-дат. Для арифметики с датами (предыдущий месяц, +1 месяц) их нужно перевести в формат, который Pandas понимает как даты. Идеально для этого подходит
pd.Period.Шаг 3: Реализация на Python и Pandas
Давайте напишем код, который реализует эту логику. Я создам небольшие примеры
fd_dfиpl_df, чтобы код был исполняемым и понятным.import pandas as pd import numpy as np # --- 1. Создание тестовых данных (замените на загрузку ваших CSV) --- # fd_df: DataFrame с фактическими отгрузками по месяцам data_fd = { 'id': ['A', 'B', 'C', 'D', 'E', 'F'], 'Ноябрь 2023': [100, 50, np.nan, np.nan, np.nan, np.nan], 'Декабрь 2023': [110, 60, 200, 80, np.nan, np.nan], 'Январь 2024': [120, np.nan, 210, np.nan, 300, 500], 'Февраль 2024': [15, np.nan, 25, 10, 310, 510], 'Март 2024': [np.nan, np.nan, 5, np.nan, 320, np.nan] } fd_df = pd.DataFrame(data_fd) # pl_df: DataFrame с плановым месяцем завершения проекта data_pl = { 'id': ['A', 'B', 'C', 'D', 'E', 'F'], 'month': [ 'Декабрь 2023', # Продлился на 1 и 2 месяц 'Декабрь 2023', # Не продлился 'Январь 2024', # Продлился на 1 и 2 месяц 'Декабрь 2023', # Продлился на 1 месяц, но не на 2 'Январь 2024', # Продлился на 1 и 2 месяц 'Январь 2024' # Не продлился ] } pl_df = pd.DataFrame(data_pl) print("--- Исходные данные ---") print("fd_df:\n", fd_df) print("\npl_df:\n", pl_df) # --- 2. Подготовка данных: Преобразование строк в даты (Period) --- # Словарь для конвертации русских месяцев month_map = { 'январь': 1, 'февраль': 2, 'март': 3, 'апрель': 4, 'май': 5, 'июнь': 6, 'июль': 7, 'август': 8, 'сентябрь': 9, 'октябрь': 10, 'ноябрь': 11, 'декабрь': 12 } def to_period(date_str): """Конвертирует строку 'Месяц Год' в объект pd.Period.""" if pd.isna(date_str): return None month_str, year_str = date_str.lower().split() return pd.Period(f"{year_str}-{month_map[month_str]}", freq='M') # Применяем конвертацию к pl_df pl_df['period'] = pl_df['month'].apply(to_period) # Конвертируем названия столбцов в fd_df date_columns = [col for col in fd_df.columns if '20' in col] period_columns = {col: to_period(col) for col in date_columns} fd_df.rename(columns=period_columns, inplace=True) # Устанавливаем 'id' как индекс для удобного доступа по .loc fd_df.set_index('id', inplace=True) pl_df.set_index('id', inplace=True) print("\n--- Данные после подготовки ---") print("fd_df с Period-колонками:\n", fd_df) print("\npl_df с Period-колонкой:\n", pl_df) # --- 3. Расчет коэффициентов --- # Получаем отсортированный список всех месяцев для итерации all_periods = sorted([col for col in fd_df.columns if isinstance(col, pd.Period)]) results = [] # Итерируемся по месяцам, чтобы рассчитать коэффициенты для каждого for current_month in all_periods: # Определяем предыдущие месяцы prev_month_1 = current_month - 1 prev_month_2 = current_month - 2 # --- Расчет Коэффициента 1 --- # 1. Когорта: проекты, завершившиеся в прошлом месяце (prev_month_1) cohort_1_ids = pl_df[pl_df['period'] == prev_month_1].index coeff_1 = np.nan if not cohort_1_ids.empty and prev_month_1 in fd_df.columns: # 2. Знаменатель: сумма отгрузок этой когорты в их последний месяц denom_1 = fd_df.loc[cohort_1_ids, prev_month_1].sum() # 3. Числитель: сумма отгрузок тех, кто продлился на current_month # (первый месяц после завершения) if current_month in fd_df.columns: num_1 = fd_df.loc[cohort_1_ids, current_month].sum() # 4. Расчет if denom_1 > 0: coeff_1 = num_1 / denom_1 # --- Расчет Коэффициента 2 --- # 1. Когорта: проекты, завершившиеся 2 месяца назад (prev_month_2) cohort_2_ids = pl_df[pl_df['period'] == prev_month_2].index coeff_2 = np.nan if not cohort_2_ids.empty and prev_month_2 in fd_df.columns and prev_month_1 in fd_df.columns: # 2. Суб-когорта: те, кто НЕ продлился на 1-й месяц (prev_month_1) # Находим отгрузки в prev_month_1 для cohort_2_ids shipments_in_prolong_1 = fd_df.loc[cohort_2_ids, prev_month_1].fillna(0) # Отбираем ID тех, у кого отгрузок не было (== 0) not_prolonged_1_month_ids = shipments_in_prolong_1[shipments_in_prolong_1 == 0].index if not not_prolonged_1_month_ids.empty: # 3. Знаменатель: сумма отгрузок этой суб-когорты в их последний месяц (prev_month_2) denom_2 = fd_df.loc[not_prolonged_1_month_ids, prev_month_2].sum() # 4. Числитель: сумма отгрузок тех из суб-когорты, кто продлился на current_month if current_month in fd_df.columns: num_2 = fd_df.loc[not_prolonged_1_month_ids, current_month].sum() # 5. Расчет if denom_2 > 0: coeff_2 = num_2 / denom_2 results.append({ 'Месяц_Расчета': current_month, 'Коэффициент_Пролонгации_1': coeff_1, 'Коэффициент_Пролонгации_2': coeff_2 }) # --- 4. Финальный результат --- result_df = pd.DataFrame(results).dropna(how='all', subset=['Коэффициент_Пролонгации_1', 'Коэффициент_Пролонгации_2']) print("\n--- Финальный результат ---") print(result_df)Объяснение кода и результатов
-
Подготовка данных:
- Мы создаем словарь
month_mapдля перевода названий месяцев в числа. - Функция
to_periodделает всю "магию": она берет строку "Декабрь 2023", разбивает ее, находит номер месяца в словаре и создает объектpd.Period('2023-12'). Этот объект поддерживает арифметические операции (+1,-1). - Мы переименовываем столбцы в
fd_dfи создаем новую колонкуperiodвpl_df. - Установка
idв качестве индекса сильно упрощает фильтрацию с помощью.loc.
- Мы создаем словарь
-
Основной цикл:
- Мы итерируемся по каждому месяцу, для которого у нас есть данные об отгрузках (
all_periods). - Внутри цикла для текущего месяца
current_monthмы вычисляем два коэффициента.
- Мы итерируемся по каждому месяцу, для которого у нас есть данные об отгрузках (
-
Расчет Коэффициента 1 (на примере Февраля 2024):
current_month=2024-02.prev_month_1=2024-01.- Когорта: Проекты, завершившиеся в
2024-01. Изpl_dfэто проектыC,E,F. - Знаменатель: Сумма отгрузок
C,E,Fза2024-01.fd_df.loc[['C', 'E', 'F'], '2024-01'].sum()->210 + 300 + 500 = 1010. - Числитель: Сумма отгрузок
C,E,Fза2024-02.fd_df.loc[['C', 'E', 'F'], '2024-02'].sum()->25 + 310 + 510 = 845. - Результат:
845 / 1010 ≈ 0.8366.
-
Расчет Коэффициента 2 (на примере Февраля 2024):
current_month=2024-02.prev_month_2=2023-12.prev_month_1=2024-01.- Когорта: Проекты, завершившиеся в
2023-12. Изpl_dfэто проектыA,B,D. - Суб-когорта (не продлились на 1 месяц): Смотрим отгрузки
A,B,Dза2024-01.A: 120 (продлился)B:NaN(не продлился)D:NaN(не продлился)- Итого,
not_prolonged_1_month_ids=['B', 'D'].
- Знаменатель: Сумма отгрузок
B,Dза их последний месяц2023-12.fd_df.loc[['B', 'D'], '2023-12'].sum()->60 + 80 = 140. - Числитель: Сумма отгрузок
B,Dза2024-02.fd_df.loc[['B', 'D'], '2024-02'].sum()->NaN + 10 = 10. - Результат:
10 / 140 ≈ 0.0714.
-
Финальный DataFrame:
result_dfсобирает все вычисления в аккуратную таблицу, удаляя строки, где не удалось посчитать ни один из коэффициентов (например, для самых ранних месяцев в данных).
Этот код полностью реализует вашу логику, он надежен и легко адаптируется под ваши реальные данные. Просто замените создание тестовых DataFrame на
pd.read_csv()илиpd.read_excel(). - User
Все числа там записаны как строки. например: "56 200,00",стоп,,
- Assistant
Понял. Это очень частая проблема при работе с данными из Excel или 1С. Числа в виде строк
"56 200,00"(с пробелом как разделителем тысяч и запятой как десятичным знаком) нужно предварительно очистить и преобразовать в числовой формат.Мы добавим один шаг в нашу подготовку данных — функцию очистки, которую применим ко всем столбцам с отгрузками.
Вот обновленный и полный код, который сначала очищает данные, а затем выполняет все расчеты.
Шаг 1: Функция для очистки чисел
Сначала напишем функцию, которая будет:
- Убирать пробелы (включая неразрывные пробелы
\xa0, которые часто копируются из Excel). - Заменять запятую на точку.
- Преобразовывать строку в число (
float). - Возвращать
NaN(Not a Number), если значение пустое или не может быть преобразовано.
import numpy as np def clean_and_convert_to_float(value): """ Очищает строку от пробелов, меняет запятую на точку и конвертирует в float. Пример: "56 200,00" -> 56200.0 """ # Если значение уже числовое или NaN, возвращаем его как есть if not isinstance(value, str): return value try: # Убираем неразрывный пробел, обычный пробел, меняем запятую, конвертируем cleaned_value = value.replace('\xa0', '').replace(' ', '').replace(',', '.') return float(cleaned_value) except (ValueError, TypeError): # Если строка пустая или содержит нечисловые символы, возвращаем NaN return np.nanШаг 2: Интеграция в основной скрипт
Теперь встроим эту функцию в наш основной код. Она будет применяться к столбцам с датами в
fd_dfсразу после загрузки данных.Вот полный, готовый к использованию скрипт:
import pandas as pd import numpy as np # --- 1. Создание тестовых данных (с числами в виде строк) --- # fd_df: DataFrame с фактическими отгрузками в виде строк data_fd = { 'id': ['A', 'B', 'C', 'D', 'E', 'F'], 'Ноябрь 2023': ["100 000,00", "50 000,00", np.nan, np.nan, np.nan, np.nan], 'Декабрь 2023': ["110 000,00", "60 000,00", "200 000,00", "80 000,00", np.nan, np.nan], 'Январь 2024': ["120 000,00", np.nan, "210 000,00", np.nan, "300 000,00", "500 000,00"], 'Февраль 2024': ["15 000,00", np.nan, "25 000,00", "10 000,00", "310 000,00", "510 000,00"], 'Март 2024': [np.nan, np.nan, "5 000,00", np.nan, "320 000,00", np.nan] } fd_df = pd.DataFrame(data_fd) # pl_df: DataFrame с плановым месяцем завершения проекта data_pl = { 'id': ['A', 'B', 'C', 'D', 'E', 'F'], 'month': [ 'Декабрь 2023', # Продлился на 1 и 2 месяц 'Декабрь 2023', # Не продлился 'Январь 2024', # Продлился на 1 и 2 месяц 'Декабрь 2023', # Продлился на 1 месяц, но не на 2 'Январь 2024', # Продлился на 1 и 2 месяц 'Январь 2024' # Не продлился ] } pl_df = pd.DataFrame(data_pl) print("--- Исходные данные (строки) ---") print("fd_df:\n", fd_df) # --- 2. Подготовка данных --- # Функция для очистки и конвертации def clean_and_convert_to_float(value): if not isinstance(value, str): return value try: cleaned_value = value.replace('\xa0', '').replace(' ', '').replace(',', '.') return float(cleaned_value) except (ValueError, TypeError): return np.nan # Определяем столбцы с датами/отгрузками date_columns = [col for col in fd_df.columns if '20' in col] # *** НОВЫЙ ШАГ: Применяем функцию очистки ко всем столбцам с отгрузками *** for col in date_columns: fd_df[col] = fd_df[col].apply(clean_and_convert_to_float) print("\n--- Данные после очистки (числа) ---") print("fd_df:\n", fd_df) print("\ndtypes:", fd_df.dtypes) # Проверяем, что типы данных стали float # Словарь для конвертации русских месяцев month_map = { 'январь': 1, 'февраль': 2, 'март': 3, 'апрель': 4, 'май': 5, 'июнь': 6, 'июль': 7, 'август': 8, 'сентябрь': 9, 'октябрь': 10, 'ноябрь': 11, 'декабрь': 12 } def to_period(date_str): if pd.isna(date_str): return None month_str, year_str = date_str.lower().split() return pd.Period(f"{year_str}-{month_map[month_str]}", freq='M') # Применяем конвертацию к pl_df pl_df['period'] = pl_df['month'].apply(to_period) # Конвертируем названия столбцов в fd_df period_columns = {col: to_period(col) for col in date_columns} fd_df.rename(columns=period_columns, inplace=True) # Устанавливаем 'id' как индекс fd_df.set_index('id', inplace=True) pl_df.set_index('id', inplace=True) # --- 3. Расчет коэффициентов (этот блок остается без изменений) --- all_periods = sorted([col for col in fd_df.columns if isinstance(col, pd.Period)]) results = [] for current_month in all_periods: prev_month_1 = current_month - 1 prev_month_2 = current_month - 2 # Расчет Коэффициента 1 cohort_1_ids = pl_df[pl_df['period'] == prev_month_1].index coeff_1 = np.nan if not cohort_1_ids.empty and prev_month_1 in fd_df.columns: denom_1 = fd_df.loc[cohort_1_ids, prev_month_1].sum() if current_month in fd_df.columns: num_1 = fd_df.loc[cohort_1_ids, current_month].sum() if denom_1 > 0: coeff_1 = num_1 / denom_1 # Расчет Коэффициента 2 cohort_2_ids = pl_df[pl_df['period'] == prev_month_2].index coeff_2 = np.nan if not cohort_2_ids.empty and prev_month_2 in fd_df.columns and prev_month_1 in fd_df.columns: shipments_in_prolong_1 = fd_df.loc[cohort_2_ids, prev_month_1].fillna(0) not_prolonged_1_month_ids = shipments_in_prolong_1[shipments_in_prolong_1 == 0].index if not not_prolonged_1_month_ids.empty: denom_2 = fd_df.loc[not_prolonged_1_month_ids, prev_month_2].sum() if current_month in fd_df.columns: num_2 = fd_df.loc[not_prolonged_1_month_ids, current_month].sum() if denom_2 > 0: coeff_2 = num_2 / denom_2 results.append({ 'Месяц_Расчета': current_month, 'Коэффициент_Пролонгации_1': coeff_1, 'Коэффициент_Пролонгации_2': coeff_2 }) # --- 4. Финальный результат --- result_df = pd.DataFrame(results).dropna(how='all', subset=['Коэффициент_Пролонгации_1', 'Коэффициент_Пролонгации_2']) print("\n--- Финальный результат ---") print(result_df.round(4)) # Округляем для наглядностиКлючевые изменения:
- Тестовые данные:
data_fdтеперь содержит строки, имитирующие ваши реальные данные. - Функция
clean_and_convert_to_float: Добавлена в начало секции подготовки данных. - Цикл очистки: Сразу после определения
date_columnsдобавлен цикл, который проходит по каждому из этих столбцов и применяет к нему (.apply()) нашу функцию очистки. - Проверка
dtypes: Я добавилprint(fd_df.dtypes), чтобы вы могли убедиться, что после очистки типы данных в столбцах изменились сobject(строка) наfloat64(число).
Теперь код готов к работе с вашими "грязными" данными. Вся остальная логика расчетов остается прежней, так как она оперирует уже с очищенными числовыми данными.
- Убирать пробелы (включая неразрывные пробелы
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.