Напиши универсальный код загрузки csv и excel файлов в dwh с возможностью добавить…
- User
Напиши универсальный код загрузки csv и excel файлов в dwh с возможностью добавить другие файлы в будущем с использованием airflow
- Assistant
Для загрузки csv и excel файлов в DWH с использованием Apache Airflow, вы можете создать следующий универсальный код:
from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime import pandas as pd # Функция для загрузки CSV файлов def load_csv(file_path, table_name): data = pd.read_csv(file_path) # Добавьте код для загрузки данных в DWH используя table_name # Функция для загрузки Excel файлов def load_excel(file_path, table_name): data = pd.read_excel(file_path) # Добавьте код для загрузки данных в DWH используя table_name # Создание DAG default_args = { 'owner': 'airflow', 'start_date': datetime(2021, 1, 1), 'retries': 1, 'retry_delay': timedelta(minutes=5) } dag = DAG('dwh_load', default_args=default_args, schedule_interval='@daily') # Оператор для загрузки CSV файлов load_csv_operator = PythonOperator( task_id='load_csv', python_callable=load_csv, op_kwargs={'file_path': '/path/to/csv/file.csv', 'table_name': 'csv_table'}, dag=dag ) # Оператор для загрузки Excel файлов load_excel_operator = PythonOperator( task_id='load_excel', python_callable=load_excel, op_kwargs={'file_path': '/path/to/excel/file.xlsx', 'table_name': 'excel_table'}, dag=dag ) load_csv_operator > load_excel_operatorВы можете добавить операторы для других типов файлов, например, JSON, XML и т. д., по аналогии с операторами для CSV и Excel файлов. Каждый оператор будет вызывать соответствующую функцию загрузки данных в DWH, передавая путь к файлу и имя таблицы, в которую нужно загрузить данные. Вы также можете добавить дополнительные параметры для функций, если это необходимо.
- User
Теперь дополни этот код логикой по загрузке разных по структуре csv и excel файлов в разные слои. Сначала в слой данных stg, потом в ods с небольшими преобразованиями
- Assistant
Для загрузки разных по структуре CSV и Excel файлов в разные слои (stg и ods) с небольшими преобразованиями, вы можете модифицировать код следующим образом:
from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime import pandas as pd # Функция для загрузки CSV файлов в слой данных stg def load_csv_stg(file_path, table_name): data = pd.read_csv(file_path) # Добавьте код для загрузки данных во временную таблицу stg_table # Функция для загрузки Excel файлов в слой данных stg def load_excel_stg(file_path, table_name): data = pd.read_excel(file_path) # Добавьте код для загрузки данных во временную таблицу stg_table # Функция для преобразования данных и загрузки их в слой ods def transform_and_load(file_path, table_name): # Добавьте код для преобразования данных из временной таблицы stg_table transformed_data = data # Пример: просто копируем данные # Добавьте код для загрузки преобразованных данных в таблицу ods_table # Создание DAG default_args = { 'owner': 'airflow', 'start_date': datetime(2021, 1, 1), 'retries': 1, 'retry_delay': timedelta(minutes=5) } dag = DAG('dwh_load', default_args=default_args, schedule_interval='@daily') # Оператор для загрузки CSV файлов в слой данных stg load_csv_stg_operator = PythonOperator( task_id='load_csv_stg', python_callable=load_csv_stg, op_kwargs={'file_path': '/path/to/csv/file.csv', 'table_name': 'stg_table'}, dag=dag ) # Оператор для загрузки Excel файлов в слой данных stg load_excel_stg_operator = PythonOperator( task_id='load_excel_stg', python_callable=load_excel_stg, op_kwargs={'file_path': '/path/to/excel/file.xlsx', 'table_name': 'stg_table'}, dag=dag ) # Оператор для преобразования данных и загрузки их в слой ods transform_and_load_operator = PythonOperator( task_id='transform_and_load', python_callable=transform_and_load, op_kwargs={'file_path': '/path/to/csv_or_excel/file', 'table_name': 'ods_table'}, dag=dag ) load_csv_stg_operator > load_excel_stg_operator > transform_and_load_operatorВы можете добавить операторы для других типов файлов, по аналогии с операторами для CSV и Excel. Каждый оператор
load_XXX_stg_operatorбудет загружать данные из соответствующего типа файла (CSV или Excel) во временную таблицуstg_table. Затем операторtransform_and_load_operatorвыполняет преобразование данных из таблицыstg_tableи загружает их в таблицуods_table. Вы можете модифицировать функциюtransform_and_loadдля преобразования данных и загрузки их в таблицуods_table. - User
Теперь перепиши этот код с использованием принципов SOLID, чтобы в будущем можно было проще изменять алгоритм трансформации для разных типов файлов
- Assistant
Для переписывания кода с использованием принципов SOLID и упрощенной возможностью изменения алгоритма трансформации для разных типов файлов, можно применить следующую структуру:
from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime import pandas as pd # Интерфейс загрузчика данных class DataLoader: def load(self, file_path): raise NotImplementedError() # Интерфейс трансформатора данных class DataTransformer: def transform(self, data): raise NotImplementedError() # Конкретная реализация загрузчика данных для CSV файлов class CSVDataLoader(DataLoader): def load(self, file_path): return pd.read_csv(file_path) # Конкретная реализация загрузчика данных для Excel файлов class ExcelDataLoader(DataLoader): def load(self, file_path): return pd.read_excel(file_path) # Конкретная реализация трансформатора данных для CSV файлов class CSVDataTransformer(DataTransformer): def transform(self, data): # Добавьте ваш алгоритм трансформации данных для CSV файлов transformed_data = ... return transformed_data # Конкретная реализация трансформатора данных для Excel файлов class ExcelDataTransformer(DataTransformer): def transform(self, data): # Добавьте ваш алгоритм трансформации данных для Excel файлов transformed_data = ... return transformed_data # Функция для загрузки данных в слой данных stg def load_data_stg(file_path, table_name, data_loader): data = data_loader.load(file_path) # Добавьте код для загрузки данных во временную таблицу stg_table # Функция для преобразования данных и загрузки их в слой ods def transform_and_load(file_path, table_name, data_loader, data_transformer): data = data_loader.load(file_path) transformed_data = data_transformer.transform(data) # Добавьте код для загрузки преобразованных данных в таблицу ods_table # Создание DAG default_args = { 'owner': 'airflow', 'start_date': datetime(2021, 1, 1), 'retries': 1, 'retry_delay': timedelta(minutes=5) } dag = DAG('dwh_load', default_args=default_args, schedule_interval='@daily') # Оператор для загрузки CSV файлов в слой данных stg load_csv_stg_operator = PythonOperator( task_id='load_csv_stg', python_callable=load_data_stg, op_kwargs={'file_path': '/path/to/csv/file.csv', 'table_name': 'stg_table', 'data_loader': CSVDataLoader()}, dag=dag ) # Оператор для загрузки Excel файлов в слой данных stg load_excel_stg_operator = PythonOperator( task_id='load_excel_stg', python_callable=load_data_stg, op_kwargs={'file_path': '/path/to/excel/file.xlsx', 'table_name': 'stg_table', 'data_loader': ExcelDataLoader()}, dag=dag ) # Оператор для преобразования данных и загрузки их в слой ods transform_and_load_operator = PythonOperator( task_id='transform_and_load', python_callable=transform_and_load, op_kwargs={'file_path': '/path/to/csv_or_excel/file', 'table_name': 'ods_table', 'data_loader': CSVDataLoader(), 'data_transformer': CSVDataTransformer()}, dag=dag ) load_csv_stg_operator > load_excel_stg_operator > transform_and_load_operatorВ этом переписанном коде мы использовали принципы SOLID, а именно принципы единственной ответственности (Single Responsibility Principle) и открытости/закрытости (Open/Closed Principle). Созданы интерфейсы
DataLoaderиDataTransformer, которые определяют контракты для загрузки и трансформации данных соответственно. Классы загрузчиков и трансформаторов данных реализуют эти интерфейсы и предоставляют конкретные реализации методовloadиtransform. Теперь вы можете легко добавлять новые классы загрузчиков и трансформаторов, а также изменять алгоритмы их работы для разных типов файлов. Параметрыdata_loaderиdata_transformerпередаются в соответствующие функцииload_data_stgиtransform_and_load, чтобы определять конкретные реализации в DAG.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.