Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

如何保证某一队列名必须在所有的Celery worker中存在

  1. User

    如何保证某一队列名必须在所有的Celery worker中存在

  2. Assistant

    要保证某一队列名必须在所有的Celery worker中存在,可以采取以下方法:

    1. 在Celery配置文件中,设置task_queues参数为一个包含需要的队列名的列表。例如:
    import os
    
    BROKER_URL = os.getenv('CELERY_BROKER_URL', 'redis://localhost:6379/0')
    
    task_queues = (
        Queue('default', routing_key='task.#'),
        Queue('other', routing_key='other.#'),
        Queue('special', routing_key='special.#'),
    )
    
    app = Celery('myapp', broker=BROKER_URL, task_queues=task_queues)
    

    其中,task_queues参数设置为一个包含三个队列名的元组,即'default'、'other'和'special'。

    1. 然后,对于每个要使用这些队列名的任务,可以设置任务的queue属性为所需的队列名。例如:
    from celery import Celery
    
    app = Celery('myapp')
    
    @app.task(queue='special')
    def my_task():
        # do something
    

    以上示例中,my_task任务的队列名设置为'special'。

    这样,无论在哪个Celery worker中运行my_task任务,都可以保证该任务一定会运行在'special'队列中。如果'special'队列不存在,则Celery worker启动时会抛出异常,告知队列不存在的信息。

  3. User

    如何保证某一方法仅在一个worker内执行?

  4. Assistant

    要保证某一方法仅在一个worker内执行,可以使用Celery提供的@worker_process_init和@worker_process_shutdown装饰器,这两个装饰器会在worker进程开始或结束时执行一次。

    具体实现的方法如下:

    1. 首先,在Celery配置文件中定义一个全局变量,例如:
    task_running = False
    
    1. 然后,在需要保证单独执行的方法中,使用@worker_process_init和@worker_process_shutdown装饰器。
    from celery.signals import worker_process_init, worker_process_shutdown
    
    @worker_process_init.connect
    def start_task(sender=None, **kwargs):
        global task_running
        task_running = True
        # do something to start the task
    
    @worker_process_shutdown.connect
    def stop_task(sender=None, **kwargs):
        global task_running
        task_running = False
        # do something to stop the task
    
    def my_method():
        if task_running:
            # do something
    

    以上示例中,start_task函数会在worker进程开始时执行一次,将全局变量task_running设置为True,表示任务正在运行。stop_task函数会在worker进程结束时执行一次,将全局变量task_running设置为False,表示任务已经停止。

    my_method是需要确保仅在一个worker内执行的方法,它会判断全局变量task_running的值,如果为True则执行任务,否则不执行。

    这样,就可以确保某一方法仅在一个worker内执行了。当worker进程启动时,start_task函数会被调用,任务开始执行;当worker进程结束时,stop_task函数会被调用,任务停止执行。