Напиши мне демонстрационный пример использования Airflow. Не используй готовые примеры,…
- User
Напиши мне демонстрационный пример использования Airflow. Не используй готовые примеры, доступные при установке
- Assistant
Airflow используется для оркестрации ETL процессов, скриптов аналитики, и других пакетных задач. Давайте создадим простой пример, который иллюстрирует, как использовать Airflow для автоматизации задачи извлечения данных из одного источника, трансформации этих данных, и их загрузки в назначение (т.е. простой ETL процесс).
Представим, что у нас есть задача ежедневного извлечения данных о погоде из публичного API, трансформации этих данных для анализа, и загрузки результатов в локальный файл.
Для начала, убедитесь, что у вас установлен Airflow. Это можно сделать через pip:
pip install apache-airflowПосле установки инициализируйте базу данных Airflow:
airflow db initСоздайте папку для своего пайплайна в
~/airflow/dags, если таковая отсутствует:mkdir -p ~/airflow/dagsТеперь создадим файл
weather_etl_dag.pyв этой папке.# Импортируем необходимые модули и операторы from datetime import datetime, timedelta from airflow import DAG from airflow.operators.python_operator import PythonOperator import requests # Функция для извлечения данных def extract(): url = "https://api.openweathermap.org/data/2.5/weather?q=London,uk&appid=your_api_key" response = requests.get(url) with open('/tmp/weather_data.json', 'w') as f: f.write(response.text) # Функция для трансформации данных def transform(): with open('/tmp/weather_data.json', 'r') as f: data = f.read() # Добавьте здесь свою логику трансформации, например: transformed_data = data.upper() # Простой пример with open('/tmp/transformed_weather_data.txt', 'w') as f: f.write(transformed_data) # Функция для загрузки данных def load(): # Пример загрузки просто печатает содержимое файла with open('/tmp/transformed_weather_data.txt', 'r') as f: print(f.read()) # Определяем параметры DAG default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2023, 1, 1), 'email_on_failure': False, 'email_on_retry': False, 'retries': 1, 'retry_delay': timedelta(minutes=5), } # Создаем экземпляр DAG dag = DAG( 'weather_etl', default_args=default_args, description='A simple tutorial DAG for ETL process', schedule_interval=timedelta(days=1), ) # Определяем задачи t1 = PythonOperator( task_id='extract', python_callable=extract, dag=dag, ) t2 = PythonOperator( task_id='transform', python_callable=transform, dag=dag, ) t3 = PythonOperator( task_id='load', python_callable=load, dag=dag, ) # Задаем порядок выполнения задач t1 >> t2 >> t3Не забудьте заменить
your_api_keyна действительный ключ API для OpenWeatherMap.Чтобы запустить этот пайплайн:
- Сначала убедитесь, что веб-сервер Airflow запущен:
airflow webserver -p 8080- В другом терминале запустите планировщик Airflow:
airflow scheduler-
Откройте веб-интерфейс Airflow, перейдя в браузере по адресу
http://localhost:8080. -
Найдите ваш DAG (
weather_etl) в списке и активируйте его.
Теперь ваш DAG должен быть запущен по расписанию, установленному в
schedule_interval, или его можно запустить вручную через веб-интерфейс.Это основной пример, который можно расширить и модифицировать в соответствии с требованиями вашего проекта, добавив дополнительные шаги трансформации, условия выполнения и так далее.
- User
а есть какой-нибудь вариант, который не предполагает использования ключей API?
- Assistant
Конечно! Давайте создадим пример DAG в Airflow, который не предполагает использование внешних API ключей. В этом сценарии мы будем работать с генерацией и обработкой фиктивных данных без обращения к внешним сервисам.
Допустим, нам необходимо выполнить следующие шаги:
- Генерировать список случайных чисел (это будет наш "этап извлечения").
- Вычислять среднее значение этих чисел (этап трансформации).
- Записывать результат в текстовый файл (этап загрузки).
Создаем файл для DAG, например,
simple_etl_dag.pyв папке~/airflow/dags.import random from datetime import datetime, timedelta from airflow import DAG from airflow.operators.python_operator import PythonOperator # Функция генерации случайных чисел def extract_numbers(**kwargs): numbers = [random.randint(0, 100) for _ in range(10)] kwargs['ti'].xcom_push(key='numbers', value=numbers) # Функция вычисления среднего значения def transform_average(**kwargs): ti = kwargs['ti'] numbers = ti.xcom_pull(key='numbers', task_ids='extract') average = sum(numbers) / len(numbers) ti.xcom_push(key='average', value=average) # Функция записи результата в файл def load_result(**kwargs): ti = kwargs['ti'] average = ti.xcom_pull(key='average', task_ids='transform') with open('/tmp/average_result.txt', 'w') as f: f.write(f'Среднее значение: {average}') default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': datetime(2023, 1, 1), 'email_on_failure': False, 'email_on_retry': False, 'retries': 1, 'retry_delay': timedelta(minutes=1), } dag = DAG( 'simple_etl', default_args=default_args, description='Простой ETL процесс с использованием случайных данных', schedule_interval=timedelta(days=1), ) t1 = PythonOperator( task_id='extract', python_callable=extract_numbers, provide_context=True, dag=dag, ) t2 = PythonOperator( task_id='transform', python_callable=transform_average, provide_context=True, dag=dag, ) t3 = PythonOperator( task_id='load', python_callable=load_result, provide_context=True, dag=dag, ) t1 >> t2 >> t3Этот код создает DAG, который сначала генерирует список из 10 случайных чисел, затем вычисляет их среднее значение и в конце записывает это значение в текстовый файл. Использование
xcomпозволяет передавать данные между задачами.Убедитесь, что веб-сервер Airflow и планировщик запущены, и активируйте ваш DAG через веб-интерфейс, как описано выше. После активации и выполнения задач проверьте содержимое файла
/tmp/average_result.txt, чтобы убедиться, что пайплайн отработал корректно.
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.