Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0125-preview· openaiHugging Face Suzhen/CodeChat

Напиши мне демонстрационный пример использования Airflow. Не используй готовые примеры,…

  1. User

    Напиши мне демонстрационный пример использования Airflow. Не используй готовые примеры, доступные при установке

  2. Assistant

    Airflow используется для оркестрации ETL процессов, скриптов аналитики, и других пакетных задач. Давайте создадим простой пример, который иллюстрирует, как использовать Airflow для автоматизации задачи извлечения данных из одного источника, трансформации этих данных, и их загрузки в назначение (т.е. простой ETL процесс).

    Представим, что у нас есть задача ежедневного извлечения данных о погоде из публичного API, трансформации этих данных для анализа, и загрузки результатов в локальный файл.

    Для начала, убедитесь, что у вас установлен Airflow. Это можно сделать через pip:

    pip install apache-airflow
    

    После установки инициализируйте базу данных Airflow:

    airflow db init
    

    Создайте папку для своего пайплайна в ~/airflow/dags, если таковая отсутствует:

    mkdir -p ~/airflow/dags
    

    Теперь создадим файл weather_etl_dag.py в этой папке.

    # Импортируем необходимые модули и операторы
    from datetime import datetime, timedelta
    from airflow import DAG
    from airflow.operators.python_operator import PythonOperator
    import requests
    
    # Функция для извлечения данных
    def extract():
        url = "https://api.openweathermap.org/data/2.5/weather?q=London,uk&appid=your_api_key"
        response = requests.get(url)
        with open('/tmp/weather_data.json', 'w') as f:
            f.write(response.text)
    
    # Функция для трансформации данных
    def transform():
        with open('/tmp/weather_data.json', 'r') as f:
            data = f.read()
        # Добавьте здесь свою логику трансформации, например:
        transformed_data = data.upper()  # Простой пример
        with open('/tmp/transformed_weather_data.txt', 'w') as f:
            f.write(transformed_data)
    
    # Функция для загрузки данных
    def load():
        # Пример загрузки просто печатает содержимое файла
        with open('/tmp/transformed_weather_data.txt', 'r') as f:
            print(f.read())
    
    # Определяем параметры DAG
    default_args = {
        'owner': 'airflow',
        'depends_on_past': False,
        'start_date': datetime(2023, 1, 1),
        'email_on_failure': False,
        'email_on_retry': False,
        'retries': 1,
        'retry_delay': timedelta(minutes=5),
    }
    
    # Создаем экземпляр DAG
    dag = DAG(
        'weather_etl',
        default_args=default_args,
        description='A simple tutorial DAG for ETL process',
        schedule_interval=timedelta(days=1),
    )
    
    # Определяем задачи
    t1 = PythonOperator(
        task_id='extract',
        python_callable=extract,
        dag=dag,
    )
    
    t2 = PythonOperator(
        task_id='transform',
        python_callable=transform,
        dag=dag,
    )
    
    t3 = PythonOperator(
        task_id='load',
        python_callable=load,
        dag=dag,
    )
    
    # Задаем порядок выполнения задач
    t1 >> t2 >> t3
    

    Не забудьте заменить your_api_key на действительный ключ API для OpenWeatherMap.

    Чтобы запустить этот пайплайн:

    1. Сначала убедитесь, что веб-сервер Airflow запущен:
    airflow webserver -p 8080
    
    1. В другом терминале запустите планировщик Airflow:
    airflow scheduler
    
    1. Откройте веб-интерфейс Airflow, перейдя в браузере по адресу http://localhost:8080.

    2. Найдите ваш DAG (weather_etl) в списке и активируйте его.

    Теперь ваш DAG должен быть запущен по расписанию, установленному в schedule_interval, или его можно запустить вручную через веб-интерфейс.

    Это основной пример, который можно расширить и модифицировать в соответствии с требованиями вашего проекта, добавив дополнительные шаги трансформации, условия выполнения и так далее.

  3. User

    а есть какой-нибудь вариант, который не предполагает использования ключей API?

  4. Assistant

    Конечно! Давайте создадим пример DAG в Airflow, который не предполагает использование внешних API ключей. В этом сценарии мы будем работать с генерацией и обработкой фиктивных данных без обращения к внешним сервисам.

    Допустим, нам необходимо выполнить следующие шаги:

    1. Генерировать список случайных чисел (это будет наш "этап извлечения").
    2. Вычислять среднее значение этих чисел (этап трансформации).
    3. Записывать результат в текстовый файл (этап загрузки).

    Создаем файл для DAG, например, simple_etl_dag.py в папке ~/airflow/dags.

    import random
    from datetime import datetime, timedelta
    from airflow import DAG
    from airflow.operators.python_operator import PythonOperator
    
    # Функция генерации случайных чисел
    def extract_numbers(**kwargs):
        numbers = [random.randint(0, 100) for _ in range(10)]
        kwargs['ti'].xcom_push(key='numbers', value=numbers)
    
    # Функция вычисления среднего значения
    def transform_average(**kwargs):
        ti = kwargs['ti']
        numbers = ti.xcom_pull(key='numbers', task_ids='extract')
        average = sum(numbers) / len(numbers)
        ti.xcom_push(key='average', value=average)
    
    # Функция записи результата в файл
    def load_result(**kwargs):
        ti = kwargs['ti']
        average = ti.xcom_pull(key='average', task_ids='transform')
        with open('/tmp/average_result.txt', 'w') as f:
            f.write(f'Среднее значение: {average}')
    
    default_args = {
        'owner': 'airflow',
        'depends_on_past': False,
        'start_date': datetime(2023, 1, 1),
        'email_on_failure': False,
        'email_on_retry': False,
        'retries': 1,
        'retry_delay': timedelta(minutes=1),
    }
    
    dag = DAG(
        'simple_etl',
        default_args=default_args,
        description='Простой ETL процесс с использованием случайных данных',
        schedule_interval=timedelta(days=1),
    )
    
    t1 = PythonOperator(
        task_id='extract',
        python_callable=extract_numbers,
        provide_context=True,
        dag=dag,
    )
    
    t2 = PythonOperator(
        task_id='transform',
        python_callable=transform_average,
        provide_context=True,
        dag=dag,
    )
    
    t3 = PythonOperator(
        task_id='load',
        python_callable=load_result,
        provide_context=True,
        dag=dag,
    )
    
    t1 >> t2 >> t3
    

    Этот код создает DAG, который сначала генерирует список из 10 случайных чисел, затем вычисляет их среднее значение и в конце записывает это значение в текстовый файл. Использование xcom позволяет передавать данные между задачами.

    Убедитесь, что веб-сервер Airflow и планировщик запущены, и активируйте ваш DAG через веб-интерфейс, как описано выше. После активации и выполнения задач проверьте содержимое файла /tmp/average_result.txt, чтобы убедиться, что пайплайн отработал корректно.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.