Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· OpenAIAi2 WildChat-4.8M (AI2)

Напиши универсальный код загрузки csv и excel файлов в dwh с возможностью добавить…

  1. User

    Напиши универсальный код загрузки csv и excel файлов в dwh с возможностью добавить другие файлы в будущем с использованием airflow

  2. Assistant

    Для загрузки csv и excel файлов в DWH с использованием Apache Airflow, вы можете создать следующий универсальный код:

    from airflow import DAG
    from airflow.operators.python_operator import PythonOperator
    from datetime import datetime
    import pandas as pd
    
    # Функция для загрузки CSV файлов
    def load_csv(file_path, table_name):
        data = pd.read_csv(file_path)
        # Добавьте код для загрузки данных в DWH используя table_name
        
    # Функция для загрузки Excel файлов
    def load_excel(file_path, table_name):
        data = pd.read_excel(file_path)
        # Добавьте код для загрузки данных в DWH используя table_name
        
    # Создание DAG
    default_args = {
        'owner': 'airflow',
        'start_date': datetime(2021, 1, 1),
        'retries': 1,
        'retry_delay': timedelta(minutes=5)
    }
    
    dag = DAG('dwh_load', default_args=default_args, schedule_interval='@daily')
    
    # Оператор для загрузки CSV файлов
    load_csv_operator = PythonOperator(
        task_id='load_csv',
        python_callable=load_csv,
        op_kwargs={'file_path': '/path/to/csv/file.csv', 'table_name': 'csv_table'},
        dag=dag
    )
    
    # Оператор для загрузки Excel файлов
    load_excel_operator = PythonOperator(
        task_id='load_excel',
        python_callable=load_excel,
        op_kwargs={'file_path': '/path/to/excel/file.xlsx', 'table_name': 'excel_table'},
        dag=dag
    )
    
    load_csv_operator > load_excel_operator
    

    Вы можете добавить операторы для других типов файлов, например, JSON, XML и т. д., по аналогии с операторами для CSV и Excel файлов. Каждый оператор будет вызывать соответствующую функцию загрузки данных в DWH, передавая путь к файлу и имя таблицы, в которую нужно загрузить данные. Вы также можете добавить дополнительные параметры для функций, если это необходимо.

  3. User

    Теперь дополни этот код логикой по загрузке разных по структуре csv и excel файлов в разные слои. Сначала в слой данных stg, потом в ods с небольшими преобразованиями

  4. Assistant

    Для загрузки разных по структуре CSV и Excel файлов в разные слои (stg и ods) с небольшими преобразованиями, вы можете модифицировать код следующим образом:

    from airflow import DAG
    from airflow.operators.python_operator import PythonOperator
    from datetime import datetime
    import pandas as pd
    
    # Функция для загрузки CSV файлов в слой данных stg
    def load_csv_stg(file_path, table_name):
        data = pd.read_csv(file_path)
        # Добавьте код для загрузки данных во временную таблицу stg_table
        
    # Функция для загрузки Excel файлов в слой данных stg
    def load_excel_stg(file_path, table_name):
        data = pd.read_excel(file_path)
        # Добавьте код для загрузки данных во временную таблицу stg_table
        
    # Функция для преобразования данных и загрузки их в слой ods
    def transform_and_load(file_path, table_name):
        # Добавьте код для преобразования данных из временной таблицы stg_table
        transformed_data = data  # Пример: просто копируем данные
        
        # Добавьте код для загрузки преобразованных данных в таблицу ods_table
        
    # Создание DAG
    default_args = {
        'owner': 'airflow',
        'start_date': datetime(2021, 1, 1),
        'retries': 1,
        'retry_delay': timedelta(minutes=5)
    }
    
    dag = DAG('dwh_load', default_args=default_args, schedule_interval='@daily')
    
    # Оператор для загрузки CSV файлов в слой данных stg
    load_csv_stg_operator = PythonOperator(
        task_id='load_csv_stg',
        python_callable=load_csv_stg,
        op_kwargs={'file_path': '/path/to/csv/file.csv', 'table_name': 'stg_table'},
        dag=dag
    )
    
    # Оператор для загрузки Excel файлов в слой данных stg
    load_excel_stg_operator = PythonOperator(
        task_id='load_excel_stg',
        python_callable=load_excel_stg,
        op_kwargs={'file_path': '/path/to/excel/file.xlsx', 'table_name': 'stg_table'},
        dag=dag
    )
    
    # Оператор для преобразования данных и загрузки их в слой ods
    transform_and_load_operator = PythonOperator(
        task_id='transform_and_load',
        python_callable=transform_and_load,
        op_kwargs={'file_path': '/path/to/csv_or_excel/file', 'table_name': 'ods_table'},
        dag=dag
    )
    
    load_csv_stg_operator > load_excel_stg_operator > transform_and_load_operator
    

    Вы можете добавить операторы для других типов файлов, по аналогии с операторами для CSV и Excel. Каждый оператор load_XXX_stg_operator будет загружать данные из соответствующего типа файла (CSV или Excel) во временную таблицу stg_table. Затем оператор transform_and_load_operator выполняет преобразование данных из таблицы stg_table и загружает их в таблицу ods_table. Вы можете модифицировать функцию transform_and_load для преобразования данных и загрузки их в таблицу ods_table.

  5. User

    Теперь перепиши этот код с использованием принципов SOLID, чтобы в будущем можно было проще изменять алгоритм трансформации для разных типов файлов

  6. Assistant

    Для переписывания кода с использованием принципов SOLID и упрощенной возможностью изменения алгоритма трансформации для разных типов файлов, можно применить следующую структуру:

    from airflow import DAG
    from airflow.operators.python_operator import PythonOperator
    from datetime import datetime
    import pandas as pd
    
    # Интерфейс загрузчика данных
    class DataLoader:
        def load(self, file_path):
            raise NotImplementedError()
            
    # Интерфейс трансформатора данных
    class DataTransformer:
        def transform(self, data):
            raise NotImplementedError()
    
    # Конкретная реализация загрузчика данных для CSV файлов
    class CSVDataLoader(DataLoader):
        def load(self, file_path):
            return pd.read_csv(file_path)
    
    # Конкретная реализация загрузчика данных для Excel файлов
    class ExcelDataLoader(DataLoader):
        def load(self, file_path):
            return pd.read_excel(file_path)
    
    # Конкретная реализация трансформатора данных для CSV файлов
    class CSVDataTransformer(DataTransformer):
        def transform(self, data):
            # Добавьте ваш алгоритм трансформации данных для CSV файлов
            transformed_data = ...
            return transformed_data
    
    # Конкретная реализация трансформатора данных для Excel файлов
    class ExcelDataTransformer(DataTransformer):
        def transform(self, data):
            # Добавьте ваш алгоритм трансформации данных для Excel файлов
            transformed_data = ...
            return transformed_data
    
    # Функция для загрузки данных в слой данных stg
    def load_data_stg(file_path, table_name, data_loader):
        data = data_loader.load(file_path)
        # Добавьте код для загрузки данных во временную таблицу stg_table
        
    # Функция для преобразования данных и загрузки их в слой ods
    def transform_and_load(file_path, table_name, data_loader, data_transformer):
        data = data_loader.load(file_path)
        transformed_data = data_transformer.transform(data)
        # Добавьте код для загрузки преобразованных данных в таблицу ods_table
    
    # Создание DAG
    default_args = {
        'owner': 'airflow',
        'start_date': datetime(2021, 1, 1),
        'retries': 1,
        'retry_delay': timedelta(minutes=5)
    }
    
    dag = DAG('dwh_load', default_args=default_args, schedule_interval='@daily')
    
    # Оператор для загрузки CSV файлов в слой данных stg
    load_csv_stg_operator = PythonOperator(
        task_id='load_csv_stg',
        python_callable=load_data_stg,
        op_kwargs={'file_path': '/path/to/csv/file.csv', 'table_name': 'stg_table', 'data_loader': CSVDataLoader()},
        dag=dag
    )
    
    # Оператор для загрузки Excel файлов в слой данных stg
    load_excel_stg_operator = PythonOperator(
        task_id='load_excel_stg',
        python_callable=load_data_stg,
        op_kwargs={'file_path': '/path/to/excel/file.xlsx', 'table_name': 'stg_table', 'data_loader': ExcelDataLoader()},
        dag=dag
    )
    
    # Оператор для преобразования данных и загрузки их в слой ods
    transform_and_load_operator = PythonOperator(
        task_id='transform_and_load',
        python_callable=transform_and_load,
        op_kwargs={'file_path': '/path/to/csv_or_excel/file', 'table_name': 'ods_table', 'data_loader': CSVDataLoader(), 'data_transformer': CSVDataTransformer()},
        dag=dag
    )
    
    load_csv_stg_operator > load_excel_stg_operator > transform_and_load_operator
    

    В этом переписанном коде мы использовали принципы SOLID, а именно принципы единственной ответственности (Single Responsibility Principle) и открытости/закрытости (Open/Closed Principle). Созданы интерфейсы DataLoader и DataTransformer, которые определяют контракты для загрузки и трансформации данных соответственно. Классы загрузчиков и трансформаторов данных реализуют эти интерфейсы и предоставляют конкретные реализации методов load и transform. Теперь вы можете легко добавлять новые классы загрузчиков и трансформаторов, а также изменять алгоритмы их работы для разных типов файлов. Параметры data_loader и data_transformer передаются в соответствующие функции load_data_stg и transform_and_load, чтобы определять конкретные реализации в DAG.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.