Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

/прогнозирование оттока клиентов на основе исторических данных/ /Цель задачи: проверить…

  1. User

    /прогнозирование оттока клиентов на основе исторических данных/

    /Цель задачи: проверить навыки участников в области анализа данных, разработки и оценки моделей машинного обучения, а также в обработке и визуализации данных/ /Описание задачи: участникам предлагается построить модель машинного обучения для прогнозирования оттока клиентов на основе предоставленного набора исторических данных. Задача включает в себя этапы предобработки данных, выбора и тренировки модели, а также оценки ее точности. Дополнительно необходимо визуализировать результаты и объяснить значимость ключевых факторов, влияющих на отток./

    /* Структура проекта Проект состоит из следующих файлов:

    1. data_preprocessing.py – скрипт для предобработки данных.
    2. feature_engineering.py – скрипт для создания и отбора признаков.
    3. model_training.py – скрипт для обучения модели машинного обучения.
    4. model_evaluation.py – скрипт для оценки и тестирования модели.
    5. model_inference.py – скрипт для интеграции модели и предсказания оттока клиентов на новых данных.
    6. data – папка, содержащая обучающие и тестовые данные (например, в формате CSV).

    */ [скачать (python)]

    /*Предистория задачи:

    "Когда джун теряется в данных, а ты находишь решение: Тимлид и магия машинного обучения"

    Введение: Ты тимлид. А значит, ты не только тот, кто ведет команду, но и тот, кто спасает проект, когда всё идет наперекосяк. Джун с энтузиазмом ринулся предсказывать отток клиентов, но на его графиках даже точки разбегаются в разные стороны. Модель работает только по пятницам и исключительно на одной выборке. Впрочем, клиент уже недоволен, и тут на сцену выходишь ты — с планом, гиперпараметрами и хорошей шуткой для морального духа.

    Блок 1: "Что джун сделал не так? Ну, с чего начать..." ● "Предобработка данных? Мы просто удалим пару строк" Джун решил, что пропуски и аномалии — это не проблема, если на них просто не смотреть. Его подход к предобработке данных: "если не работает, удалим!" Ты же знаешь, что это путь в никуда. Ты восстанавливаешь данные с заботой и любовью, устраняешь аномалии, и, конечно, джун смотрит на тебя как на мага. ● "Модель? Я выбрал случайный лес, потому что он звучит круто" Джун выбрал модель наугад, потому что название "случайный лес" ему показалось достаточно научным. О гиперпараметрах он даже не думал, а точность модели, видимо, прилагалась как бонус. Но ты понимаешь, что моделирование — это не лотерея. Ты аккуратно настраиваешь параметры, и внезапно лес становится не таким уж случайным. ● "Корреляции? Да, где-то были цифры..." Джун построил один график корреляций, отметил пару признаков и посчитал, что этого достаточно. Ты же смотришь на его работу и понимаешь: пора копать глубже. Ты создаешь целую серию графиков и табличек, которые наконец показывают, что тут вообще происходит.

    Блок 2: "Время навести порядок: как ты спасаешь проект" Что ты делаешь:

    1. Предобработка данных по-взрослому Ты берешь на себя задачу вычистить пропуски и аномалии, как опытный шеф на кухне, убирающий все лишнее. Ты не просто удаляешь строки, ты корректируешь данные и заполняешь пропуски, пока джун смотрит на это, как на магию данных.
    2. Моделирование, а не гадание на кофейной гуще Ты не полагаешься на удачу и не выбираешь модели по принципу "звучит круто". Ты подбираешь лучшие алгоритмы для задачи: логистическую регрессию, случайный лес или градиентный бустинг. А потом ты и вовсе настраиваешь гиперпараметры так, что модель начинает предсказывать отток клиентов с хирургической точностью.
    3. Оптимизация и настройка гиперпараметров Джун даже не догадывался, что можно выжать из модели при правильной настройке. Ты используешь Grid Search и Random Search, чтобы найти лучшие параметры. Теперь модель работает не только по пятницам, но и каждый день — и всегда с лучшими результатами.
    4. Оценка и визуализация: потому что графики — это не просто красивые картинки Ты строишь графики, которые объясняют всё: от корреляций между признаками до ROC-кривых, и все это выглядит так, что даже директор банка понимает, что твоя модель работает. Визуализация точная, информативная и помогает команде понять, как их данные ведут себя в реальном мире.

    Блок 3: Когда ты закончил, все в команде понимают, что модель действительно работает ● Данные теперь "по-человечески" обработаны Джун, конечно, старался, но теперь данные действительно очищены, а пропуски и выбросы обрабатываются как положено. Ты не просто исправил данные — ты показал, что предобработка — это не "удалить всё ненужное", а точная и аккуратная работа. ● Модель, которая действительно предсказывает, а не угадывает После всех правок, твоя модель не просто существует — она работает. Она делает точные предсказания с такими метриками, как Accuracy, Precision и F1-score, которые впечатляют даже самых скептичных разработчиков.

    Блок 4: Как ты сдаешь проект: как настоящий тимлид — с юмором и гордостью ● Тестирование и воспроизводимость на высшем уровне Ты сделал так, чтобы каждый мог воспроизвести твои результаты. Все seed зафиксированы, код структурирован, а тесты проходят на ура. Даже если директор решит проверить модель сам, она будет работать как часы. ● Документация: не просто "как это работает", а "почему это так" Ты пишешь такую документацию, что каждый сможет понять, что и зачем ты делал. Ты объясняешь каждую переменную, каждое решение, и это выглядит так, будто проект действительно прошел через руки профессионала (что, конечно, так и есть).

    Заключение: Ты не просто исправил работу джуна — ты превратил проект в настоящий шедевр Data Science. Модель работает, клиенты довольны, а джун учится, как на самом деле должны выглядеть предсказания. Ведь ты — тимлид, и магия данных для тебя — это не загадка, а работа.

    / / Описание задачи и инструкции Задача: Построить и обучить модель машинного обучения для прогнозирования оттока клиентов в банке. Цель: Проверить навыки Data Science и Data Engineering в предобработке данных, создании и обучении модели, а также в её интеграции и развертывании. Задачи участника:

    1. Предобработка данных: ○ Осуществите очистку данных, включая удаление пропусков и преобразование категориальных признаков. ○ Разделите данные на обучающую и тестовую выборки.
    2. Feature Engineering: ○ Создайте новые признаки на основе имеющихся данных. ○ Произведите масштабирование признаков для улучшения качества модели.
    3. Обучение модели: ○ Обучите модель машинного обучения (например, RandomForest) на подготовленных данных. ○ Проведите гиперпараметрическую настройку модели.
    4. Оценка модели: ○ Оцените модель с использованием метрик точности и отчёта по классификации. ○ Проверьте модель на тестовых данных и проанализируйте результаты.
    5. Интеграция модели: ○ Реализуйте предсказание оттока для новых данных с использованием обученной модели. ○ Интегрируйте модель в систему, обеспечив возможность её использования на новых данных. Критерии оценки: ● Предобработка данных: Качество очистки и подготовки данных для обучения модели. ● Feature Engineering: Эффективность создания и отбора признаков. ● Обучение модели: Качество и точность обученной модели, а также её производительность. ● Оценка модели: Полнота и корректность оценки модели на тестовых данных. ● Интеграция модели: Способность модели эффективно работать с новыми данными и возможность её дальнейшего использования. Файлы для загрузки
    6. Архив с исходным кодом: Ссылка на архив (создайте архив из файлов, приведенных выше).
    7. Инструкции по выполнению задания: Ссылка на инструкцию (содержит описание задачи, критерии оценки и рекомендации по выполнению). / /
    8. Общее описание задачи Название задачи: прогнозирование оттока клиентов на основе исторических данных. Цель задачи: проверить навыки участников в области анализа данных, разработки и оценки моделей машинного обучения, а также в обработке и визуализации данных. Описание задачи: участникам предлагается построить модель машинного обучения для прогнозирования оттока клиентов на основе предоставленного набора исторических данных. Задача включает в себя этапы предобработки данных, выбора и тренировки модели, а также оценки ее точности. Дополнительно необходимо визуализировать результаты и объяснить значимость ключевых факторов, влияющих на отток.
    9. Требования к исходным данным Исходные данные: ● Набор данных представляет собой таблицу с исторической информацией о клиентах банка. ● Пример структуры данных: ○ CustomerID: Уникальный идентификатор клиента. ○ Age: Возраст клиента. ○ Gender: Пол клиента. ○ Tenure: Срок обслуживания клиента в банке (в годах). ○ Balance: Баланс на счету клиента. ○ NumOfProducts: Количество продуктов банка, используемых клиентом. ○ HasCrCard: Наличие кредитной карты (1 – да, 0 – нет). ○ IsActiveMember: Является ли клиент активным пользователем услуг банка (1 – да, 0 – нет). ○ EstimatedSalary: Оценка заработной платы клиента. ○ Exited: Целевой столбец, который указывает на то, покинул ли клиент банк (1 – да, 0 – нет). Дополнительные данные: ● в наборе данных могут присутствовать дополнительные признаки (features), такие как географическое положение клиента, информация о прошлых транзакциях, кредитный рейтинг и т.д. ● Данные должны содержать пропуски, аномалии или некорректные значения, которые участники должны корректно обработать.
    10. Задачи участника
    11. Предобработка данных: ○ Очистить данные от пропусков и аномальных значений. ○ Провести анализ данных для выявления корреляций между признаками. ○ Преобразовать категориальные переменные в числовые, если это необходимо. ○ Разделить данные на тренировочную и тестовую выборки.
    12. Построение модели: ○ Выбрать подходящую модель машинного обучения для задачи прогнозирования оттока (например, логистическая регрессия, случайный лес, градиентный бустинг и т.д.). ○ Обучить модель на тренировочной выборке. ○ Провести гиперпараметрическую настройку модели для повышения её точности. ○ Оценить производительность модели на тестовой выборке.
    13. Оценка и интерпретация модели: ○ Оценить модель с использованием различных метрик, таких как Accuracy, Precision, Recall, F1-score и ROC-AUC. ○ Визуализировать важность признаков (feature importance), влияющих на решение модели. ○ Подготовить краткий отчет с объяснением ключевых факторов, которые наиболее сильно влияют на отток клиентов.
    14. Визуализация данных: ○ Построить графики, иллюстрирующие распределение данных, корреляции между признаками, а также производительность модели. ○ Визуализировать кривую ROC и другие важные метрики для наглядной оценки модели.
    15. Технические требования Язык программирования и инструменты: ● Язык программирования: Python. ● Библиотеки для анализа данных: Pandas, NumPy. ● Библиотеки для машинного обучения: Scikit-learn, XGBoost, LightGBM (или другие на выбор участника). ● Библиотеки для визуализации: Matplotlib, Seaborn, Plotly (или другие на выбор участника). ● Среда разработки: Jupyter Notebook или любая другая IDE на выбор участника. Требования к коду: ● Код должен быть хорошо структурированным, с комментариями и разделением на логические блоки. ● Следует использовать лучшие практики в области анализа данных и машинного обучения. ● Обязательно обеспечить воспроизводимость результатов (фиксация seed для случайных процессов, детальная инструкция по запуску кода).
    16. Инструкция по выполнению
    17. Подготовка данных: ○ Участник должен загрузить предоставленный набор данных и провести его анализ. ○ Очистить и предобработать данные, подготовив их для обучения модели.
    18. Моделирование: ○ Выбрать и обучить модель на тренировочных данных. ○ Настроить гиперпараметры и оценить модель на тестовой выборке. ○ Провести интерпретацию модели и выделить важные признаки.
    19. Визуализация и отчет: ○ Построить графики, иллюстрирующие ключевые моменты анализа и результаты моделирования. ○ Подготовить краткий отчет, который включает описание процесса, результаты и выводы.
    20. Проверка и сдача работы: ○ Проверить, что все этапы выполнены корректно и результаты удовлетворяют требованиям задачи. ○ Подготовить проект к сдаче, оформив все необходимые документы и инструкции по запуску кода.
    21. Критерии оценки Предобработка и анализ данных ● Очистка данных и работа с пропусками: Оценивается, насколько эффективно участник справился с предобработкой данных. Это включает в себя очистку данных от шумов, работу с пропущенными значениями (заполнение, удаление или замена), а также обработку аномалий. Участник должен продемонстрировать обоснованный подход к этим задачам, учитывая влияние принятых решений на дальнейшую модель. ● Анализ данных и создание признаков: Оценивается качество проведенного анализа данных, включая выявление важных корреляций и зависимостей между признаками. Участник должен продемонстрировать умение правильно интерпретировать данные, а также создать новые информативные признаки (feature engineering), которые могут улучшить качество модели. ● Преобразование категориальных признаков: Проверяется корректность обработки категориальных данных (например, с использованием one-hot encoding, label encoding и других методов). Важно, чтобы выбранный метод был обоснован и соответствовал типу задачи. ● Масштабирование и нормализация данных: Оценивается использование техник масштабирования и нормализации данных для улучшения работы модели. Участник должен понимать, когда и почему необходимо применять данные методы. Построение и обучение модели ● Выбор модели и обоснование: Оценивается выбор модели машинного обучения для решения задачи. Участник должен обосновать свой выбор, учитывая природу данных, требования к точности и производительности модели. Важно, чтобы выбранная модель соответствовала поставленной задаче и использовала доступные данные максимально эффективно. ● Гиперпараметрическая настройка: Проверяется, насколько тщательно участник подходил к настройке гиперпараметров модели. Оценивается использование подходов, таких как Grid Search, Random Search или использование методов автоматической оптимизации гиперпараметров. Важно, чтобы участник мог улучшить модель, используя правильную настройку параметров. ● Оценка и валидация модели: Оценивается корректность и полнота оценки модели с использованием метрик, таких как accuracy, precision, recall, F1-score, ROC-AUC и других. Важно, чтобы участник использовал подходящие метрики для задачи и правильно интерпретировал результаты. Также оценивается использование кросс-валидации для более точной оценки модели. ● Интерпретация модели и объяснимость: Оценивается, насколько участник понимает и может объяснить работу своей модели. Это включает в себя анализ важности признаков (feature importance), построение SHAP или LIME графиков и интерпретацию влияния признаков на предсказания модели. Важно, чтобы участник мог объяснить, почему модель принимает те или иные решения. Инженерия данных (Data Engineering) ● Эффективность работы с большими данными: Оценивается способность участника работать с большими наборами данных, включая оптимизацию операций по загрузке, обработке и сохранению данных. Это может включать использование эффективных алгоритмов, распределенных вычислений или оптимизированных структур данных. ● Стабильность и масштабируемость: Оценивается, насколько разработанное решение устойчиво к масштабированию. Участник должен продемонстрировать, что его подход будет работать эффективно при увеличении объема данных, и предложить решения для масштабирования (например, использование распределенных систем хранения данных или параллельных вычислений). ● Потоковая обработка данных: Если задача предусматривает потоковую обработку данных, оценивается способность участника настроить и реализовать пайплайн для обработки данных в реальном времени. Важно, чтобы участник продемонстрировал понимание архитектуры и принципов работы потоковых систем (например, Apache Kafka, Apache Flink, Spark Streaming). ● Интеграция и автоматизация: Оценивается, насколько хорошо участник интегрировал решение с внешними источниками данных и настроил автоматизацию процессов (например, периодическую загрузку данных, автоматическую предобработку и обновление модели). Важно, чтобы решение было автономным и не требовало постоянного вмешательства. Визуализация данных и результатов ● Визуализация данных: Оценивается качество визуализации данных, использованных на этапе анализа и предобработки. Участник должен уметь наглядно представить распределение признаков, выявленные зависимости и аномалии. Важно, чтобы визуализации были информативными и помогали в понимании данных. ● Визуализация результатов модели: Проверяется качество визуализации результатов работы модели, включая ROC-кривую, PR-кривую, графики важности признаков и другие визуализации, которые помогают интерпретировать результаты работы модели. ● Интерактивные дашборды (опционально): Если задача предусматривает создание интерактивных дашбордов для мониторинга работы модели или отображения результатов, оценивается их качество, удобство использования и полезность для конечных пользователей. Тестирование и воспроизводимость ● Тестирование модели: Оценивается, насколько тщательно участник протестировал свою модель. Важно, чтобы тестирование охватывало различные сценарии, включая пограничные случаи и работу с новыми данными, которые не участвовали в обучении. ● Репродуктивность экспериментов: Оценивается, насколько решение участника воспроизводимо. Важно, чтобы любой другой специалист мог воспроизвести результаты, используя предоставленный код и данные. Участник должен обеспечить фиксацию случайных состояний (seeds) и документирование всех шагов эксперимента. ● Документация и инструкции: Проверяется наличие и качество документации, которая должна включать описание этапов выполнения задания, объяснение выбора методов, использование библиотек и фреймворков, а также инструкции по запуску кода и воспроизведению результатов.
    22. Рекомендации по созданию тестов ● Тестирование модели: Разделение данных на тренировочную и тестовую выборки должно быть проведено корректно, чтобы избежать утечек данных. ● Кросс-валидация: Использовать кросс-валидацию для более точной оценки модели. ● Анализ ошибок: Провести анализ ошибок модели, чтобы понять, где она работает плохо и почему. Примечания к оценке:
    23. Очистка данных и работа с пропусками: Данные должны быть качественно обработаны, чтобы исключить негативное влияние на результаты модели.
    24. Выбор и обоснование модели: Модель должна быть выбрана с учётом специфики задачи и особенностей данных. Обоснование выбора играет важную роль.
    25. Эффективность работы с большими данными: Решение должно быть оптимизировано для работы с большими объёмами данных, без потерь в производительности.
    26. Интеграция с системами и API: Модель должна легко интегрироваться с внешними системами, обеспечивая плавный и стабильный обмен данными.
    27. Визуализация данных и результатов: Визуализация должна быть информативной и помогать в интерпретации результатов, а документация — понятной и полной. Рекомендации по улучшению: ● Улучшите процесс предобработки данных, уделив внимание детальной очистке и анализу. ● Рассмотрите возможность внедрения более сложных моделей или улучшения гиперпараметрической настройки для повышения точности. ● Уделите больше внимания масштабируемости и эффективности работы с большими данными
  2. Assistant

    Проект: Прогнозирование оттока клиентов на основе исторических данных

    Структура проекта:

    project/
    │
    ├── data/
    │   ├── train.csv
    │   └── test.csv
    │
    ├── data_preprocessing.py
    ├── feature_engineering.py
    ├── model_training.py
    ├── model_evaluation.py
    ├── model_inference.py
    │
    └── requirements.txt
    

    Ниже приведены примеры реализации каждого из скриптов. Убедитесь, что все файлы находятся в одной директории проекта и установлены необходимые библиотеки из requirements.txt.


    1. data_preprocessing.py – Скрипт для предобработки данных

    # data_preprocessing.py
    
    import pandas as pd
    from sklearn.model_selection import train_test_split
    
    def load_data(train_path, test_path):
        train = pd.read_csv(train_path)
        test = pd.read_csv(test_path)
        return train, test
    
    def handle_missing_values(df):
        # Пример: заполнение средним для числовых и модой для категориальных
        for column in df.columns:
            if df[column].dtype == 'object':
                df[column].fillna(df[column].mode()[0], inplace=True)
            else:
                df[column].fillna(df[column].median(), inplace=True)
        return df
    
    def encode_categorical(df):
        # Преобразование категориальных переменных в числовые (Label Encoding или One-Hot)
        df = pd.get_dummies(df, drop_first=True)
        return df
    
    def preprocess(train_path, test_path):
        train, test = load_data(train_path, test_path)
        
        # Обработка пропусков
        train = handle_missing_values(train)
        test = handle_missing_values(test)
        
        # Преобразование категориальных переменных
        train = encode_categorical(train)
        test = encode_categorical(test)
        
        # Разделение на признаки и целевую переменную
        X = train.drop(['Exited', 'CustomerID'], axis=1)
        y = train['Exited']
        
        # Разделение на обучающую и валидационную выборки
        X_train, X_val, y_train, y_val = train_test_split(
            X, y, test_size=0.2, random_state=42, stratify=y
        )
        
        return X_train, X_val, y_train, y_val, test
    
    if __name__ == "__main__":
        X_train, X_val, y_train, y_val, test = preprocess('data/train.csv', 'data/test.csv')
        X_train.to_csv('data/X_train.csv', index=False)
        X_val.to_csv('data/X_val.csv', index=False)
        y_train.to_csv('data/y_train.csv', index=False)
        y_val.to_csv('data/y_val.csv', index=False)
        test.to_csv('data/preprocessed_test.csv', index=False)
        print("Предобработка данных завершена.")
    

    2. feature_engineering.py – Скрипт для создания и отбора признаков

    # feature_engineering.py
    
    import pandas as pd
    from sklearn.preprocessing import StandardScaler
    from sklearn.feature_selection import SelectKBest, f_classif
    
    def load_preprocessed_data():
        X_train = pd.read_csv('data/X_train.csv')
        X_val = pd.read_csv('data/X_val.csv')
        y_train = pd.read_csv('data/y_train.csv').squeeze()
        y_val = pd.read_csv('data/y_val.csv').squeeze()
        return X_train, X_val, y_train, y_val
    
    def create_features(X):
        # Пример создания новых признаков
        X['BalanceSalaryRatio'] = X['Balance'] / (X['EstimatedSalary'] + 1)
        X['AgeTenure'] = X['Age'] * X['Tenure']
        return X
    
    def scale_features(X_train, X_val):
        scaler = StandardScaler()
        X_train_scaled = scaler.fit_transform(X_train)
        X_val_scaled = scaler.transform(X_val)
        return X_train_scaled, X_val_scaled, scaler
    
    def select_features(X_train, y_train, X_val, k=10):
        selector = SelectKBest(score_func=f_classif, k=k)
        X_train_selected = selector.fit_transform(X_train, y_train)
        X_val_selected = selector.transform(X_val)
        selected_features = selector.get_support(indices=True)
        return X_train_selected, X_val_selected, selected_features
    
    def feature_engineering():
        X_train, X_val, y_train, y_val = load_preprocessed_data()
        
        # Создание новых признаков
        X_train = create_features(X_train)
        X_val = create_features(X_val)
        
        # Масштабирование признаков
        X_train_scaled, X_val_scaled, scaler = scale_features(X_train, X_val)
        
        # Отбор признаков
        X_train_selected, X_val_selected, selected_features = select_features(X_train_scaled, y_train, X_val_scaled)
        
        # Сохранение отобранных признаков
        pd.DataFrame(X_train_selected).to_csv('data/X_train_selected.csv', index=False)
        pd.DataFrame(X_val_selected).to_csv('data/X_val_selected.csv', index=False)
        pd.DataFrame(selected_features).to_csv('data/selected_features.csv', index=False)
        print("Feature Engineering завершен.")
    
    if __name__ == "__main__":
        feature_engineering()
    

    3. model_training.py – Скрипт для обучения модели машинного обучения

    # model_training.py
    
    import pandas as pd
    from sklearn.ensemble import RandomForestClassifier
    from sklearn.model_selection import GridSearchCV
    import joblib
    
    def load_features():
        X_train = pd.read_csv('data/X_train_selected.csv')
        y_train = pd.read_csv('data/y_train.csv').squeeze()
        return X_train, y_train
    
    def train_model(X_train, y_train):
        rf = RandomForestClassifier(random_state=42)
        
        # Гиперпараметры для Grid Search
        param_grid = {
            'n_estimators': [100, 200],
            'max_depth': [None, 10, 20],
            'min_samples_split': [2, 5],
            'min_samples_leaf': [1, 2]
        }
        
        grid_search = GridSearchCV(
            estimator=rf,
            param_grid=param_grid,
            cv=5,
            scoring='f1',
            n_jobs=-1,
            verbose=2
        )
        
        grid_search.fit(X_train, y_train)
        best_model = grid_search.best_estimator_
        print(f"Лучшие параметры: {grid_search.best_params_}")
        return best_model
    
    def save_model(model):
        joblib.dump(model, 'model/random_forest_model.pkl')
        print("Модель сохранена в 'model/random_forest_model.pkl'.")
    
    if __name__ == "__main__":
        X_train, y_train = load_features()
        model = train_model(X_train, y_train)
        save_model(model)
    

    4. model_evaluation.py – Скрипт для оценки и тестирования модели

    # model_evaluation.py
    
    import pandas as pd
    import joblib
    from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, classification_report, roc_curve
    import matplotlib.pyplot as plt
    import seaborn as sns
    
    def load_evaluation_data():
        X_val = pd.read_csv('data/X_val_selected.csv')
        y_val = pd.read_csv('data/y_val.csv').squeeze()
        return X_val, y_val
    
    def load_model():
        model = joblib.load('model/random_forest_model.pkl')
        return model
    
    def evaluate_model(model, X_val, y_val):
        y_pred = model.predict(X_val)
        y_proba = model.predict_proba(X_val)[:,1]
        
        acc = accuracy_score(y_val, y_pred)
        prec = precision_score(y_val, y_pred)
        rec = recall_score(y_val, y_pred)
        f1 = f1_score(y_val, y_pred)
        roc_auc = roc_auc_score(y_val, y_proba)
        
        print("Оценка модели на валидационной выборке:")
        print(f"Accuracy: {acc:.4f}")
        print(f"Precision: {prec:.4f}")
        print(f"Recall: {rec:.4f}")
        print(f"F1-score: {f1:.4f}")
        print(f"ROC-AUC: {roc_auc:.4f}")
        print("\nОтчет по классификации:")
        print(classification_report(y_val, y_pred))
        
        return y_val, y_proba
    
    def plot_roc_curve(y_val, y_proba):
        fpr, tpr, thresholds = roc_curve(y_val, y_proba)
        plt.figure(figsize=(8,6))
        plt.plot(fpr, tpr, label=f'ROC Curve (AUC = {roc_auc_score(y_val, y_proba):.4f})')
        plt.plot([0,1], [0,1], 'k--')
        plt.xlabel('False Positive Rate')
        plt.ylabel('True Positive Rate')
        plt.title('ROC Curve')
        plt.legend(loc='lower right')
        plt.savefig('results/roc_curve.png')
        plt.close()
        print("ROC-кривая сохранена в 'results/roc_curve.png'.")
    
    def feature_importance(model, feature_indices):
        importances = model.feature_importances_
        feature_names = pd.read_csv('data/X_train_selected.csv').columns[feature_indices]
        fi_df = pd.DataFrame({'Feature': feature_names, 'Importance': importances})
        fi_df = fi_df.sort_values(by='Importance', ascending=False)
        
        plt.figure(figsize=(10,8))
        sns.barplot(x='Importance', y='Feature', data=fi_df.head(10))
        plt.title('Важность признаков')
        plt.tight_layout()
        plt.savefig('results/feature_importance.png')
        plt.close()
        print("Важность признаков сохранена в 'results/feature_importance.png'.")
    
    def main():
        X_val, y_val = load_evaluation_data()
        model = load_model()
        y_val, y_proba = evaluate_model(model, X_val, y_val)
        plot_roc_curve(y_val, y_proba)
        # Загрузка выбранных признаков для отображения имен
        selected_features = pd.read_csv('data/selected_features.csv').squeeze().values
        feature_importance(model, selected_features)
    
    if __name__ == "__main__":
        main()
    

    5. model_inference.py – Скрипт для интеграции модели и предсказания оттока клиентов на новых данных

    # model_inference.py
    
    import pandas as pd
    import joblib
    from sklearn.preprocessing import StandardScaler
    
    def load_new_data(new_data_path):
        df = pd.read_csv(new_data_path)
        return df
    
    def preprocess_new_data(df):
        # Предполагается, что предобработка аналогична data_preprocessing.py
        # Заполнение пропусков
        for column in df.columns:
            if df[column].dtype == 'object':
                df[column].fillna(df[column].mode()[0], inplace=True)
            else:
                df[column].fillna(df[column].median(), inplace=True)
        
        # Преобразование категориальных переменных
        df = pd.get_dummies(df, drop_first=True)
        
        # Создание новых признаков
        df['BalanceSalaryRatio'] = df['Balance'] / (df['EstimatedSalary'] + 1)
        df['AgeTenure'] = df['Age'] * df['Tenure']
        
        # Масштабирование
        scaler = joblib.load('model/scaler.pkl')
        numeric_features = scaler.feature_names_in_
        df_scaled = scaler.transform(df[numeric_features])
        df_scaled = pd.DataFrame(df_scaled, columns=numeric_features)
        
        # Отбор признаков
        selected_features = pd.read_csv('data/selected_features.csv').squeeze().values
        df_selected = df_scaled.iloc[:, selected_features]
        
        return df_selected
    
    def load_model():
        model = joblib.load('model/random_forest_model.pkl')
        return model
    
    def predict_churn(model, df_selected):
        predictions = model.predict(df_selected)
        df_selected['ChurnPrediction'] = predictions
        return df_selected[['ChurnPrediction']]
    
    def main():
        new_data_path = 'data/new_customers.csv'  # Путь к новым данным
        df_new = load_new_data(new_data_path)
        df_preprocessed = preprocess_new_data(df_new)
        model = load_model()
        churn_predictions = predict_churn(model, df_preprocessed)
        churn_predictions.to_csv('data/churn_predictions.csv', index=False)
        print("Предсказания оттока сохранены в 'data/churn_predictions.csv'.")
    
    if __name__ == "__main__":
        main()
    

    Примечание: В данном скрипте предполагается, что вы сохранили объект StandardScaler после предобработки обучающих данных. Убедитесь, что вы добавили сохранение scaler.pkl в скрипте feature_engineering.py:

    # Добавить в feature_engineering.py после масштабирования
    joblib.dump(scaler, 'model/scaler.pkl')
    

    6. requirements.txt – Список необходимых библиотек

    pandas
    numpy
    scikit-learn
    matplotlib
    seaborn
    joblib
    xgboost
    lightgbm
    

    Дополнительные рекомендации

    1. Создание каталогов для сохранения результатов: Убедитесь, что в корне проекта существуют папки model/ и results/. Если нет, создайте их перед запуском скриптов.

    2. Запуск скриптов в правильной последовательности:

      • data_preprocessing.py – для предобработки данных.
      • feature_engineering.py – для создания и отбора признаков.
      • model_training.py – для обучения модели.
      • model_evaluation.py – для оценки модели.
      • model_inference.py – для предсказания на новых данных.
    3. Фиксация случайных состояний: Все скрипты, связанные с разделением данных и обучением модели, используют параметр random_state=42 для воспроизводимости результатов.

    4. Документация: Добавьте файл README.md с описанием проекта, инструкциями по установке зависимостей и запуску скриптов.


    Пример использования

    1. Установка зависимостей:

      pip install -r requirements.txt
      
    2. Предобработка данных:

      python data_preprocessing.py
      
    3. Feature Engineering:

      python feature_engineering.py
      
    4. Обучение модели:

      python model_training.py
      
    5. Оценка модели:

      python model_evaluation.py
      
    6. Инференс на новых данных: Поместите новые данные в файл data/new_customers.csv и выполните:

      python model_inference.py
      

    Заключение

    Данный проект предоставляет базовую структуру для решения задачи прогнозирования оттока клиентов с использованием машинного обучения. Вы можете расширять и улучшать каждый из этапов, добавляя более сложные методы предобработки, создании признаков, выбор моделей и их настройку, а также углубленную визуализацию и интерпретацию результатов.

    Удачи в реализации проекта!