Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· openaiHugging Face Suzhen/CodeChat

通过celery访问redis时,每次访问都会生成一个新的连接是怎么回事

  1. User

    通过celery访问redis时,每次访问都会生成一个新的连接是怎么回事

  2. Assistant

    Celery默认会使用Redis连接池,每次访问Redis时都会从连接池中获取一个空闲的连接,使用完毕后会将连接归还给连接池。如果你每次都是使用完毕后立即关闭Redis连接,那么每次访问时都会重新建立一个新的连接,造成性能浪费。建议在使用Celery访问Redis时使用连接池进行连接复用。

  3. User

    如何使用连接池

  4. Assistant

    使用连接池需要安装redis-py包,在使用Celery时,可以配置redis连接池。

    具体配置步骤如下:

    1. 安装redis-py:

      pip install redis
      
    2. 配置连接池参数:

      app.conf.broker_pool_limit = 10  # 连接池中最多可以存储10个连接
      app.conf.broker_pool_timeout = 30  # 从连接池获取连接的超时时间,单位为秒
      app.conf.broker_pool_use_lifo = True  # 使用LIFO策略从连接池获取连接
      
    3. 使用连接池:

      from celery import Celery
      from redis import ConnectionPool
      
      app = Celery('tasks')
      redis_pool = ConnectionPool(host='localhost', port=6379, db=0)
      app.conf.broker_url = 'redis://localhost:6379/0'
      app.conf.broker_pool = redis_pool
      

    这样就可以使用连接池进行Redis连接复用了。