Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· openaiHugging Face Suzhen/CodeChat

python在子进程中使用multiprocessing.Manager().dict() 时会报错FileNotFoundError: [Errno 2] No such…

  1. User

    python在子进程中使用multiprocessing.Manager().dict() 时会报错FileNotFoundError: [Errno 2] No such file or directory 怎么解决

  2. Assistant

    这个错误通常是因为在Windows系统上使用multiprocessing.Manager()时,它会尝试从一个不存在的共享内存中读取数据。

    为了解决这个问题,可以尝试以下几种方法:

    1. 把multiprocessing.Manager()的对象初始化在主进程中,然后将它作为参数传递给子进程。
    import multiprocessing
    
    def worker(manager_dict):
        # 进行使用manager_dict中的数据
        pass
    
    if __name__ == '__main__':
        with multiprocessing.Manager() as manager:
            manager_dict = manager.dict()
            p = multiprocessing.Process(target=worker, args=(manager_dict,))
            p.start()
            p.join()
    
    1. 尝试使用multiprocessing.get_context()来代替multiprocessing模块来创建进程。get_context()可以提供不同的子进程启动方法,包括spawn和fork等。
    import multiprocessing
    
    def worker(manager_dict):
        # 进行使用manager_dict中的数据
        pass
    
    if __name__ == '__main__':
        ctx = multiprocessing.get_context('spawn')
        manager = ctx.Manager()
        manager_dict = manager.dict()
        p = ctx.Process(target=worker, args=(manager_dict,))
        p.start()
        p.join()
    

    这两种方法都可以避免在子进程中使用multiprocessing.Manager().dict()时出现FileNotFoundError错误。

  3. User

    AttributeError: 'ForkAwareLocal' object has no attribute 'connection' 怎么解决

  4. Assistant

    这个错误通常是因为使用了旧版本的Django或者其他第三方库和Python版本不兼容导致的。可能的解决方法包括:

    1. 升级Django或其他第三方库到最新版本。在终端中运行以下命令可以更新所有已安装的库:
    pip freeze --local | grep -v '^\-e' | cut -d = -f 1  | xargs pip install -U
    
    1. 如果是使用Python 3.8以上版本的话,可以尝试使用--multiprocessing选项来在启动Django开发服务器时禁用多进程模式。例如:
    python manage.py runserver --noreload --multiprocessing
    
    1. 可以尝试修改uwsgi的配置文件来禁用多进程模式。例如:
    [uwsgi]
    master = true
    processes = 1
    

    这个错误的解决方法基于具体情况具体分析,需要根据提示信息和具体的部署环境来进行调整。

  5. User

    (Traceback (most recent call last): File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/managers.py", line 811, in _callmethod conn = self._tls.connection AttributeError: 'ForkAwareLocal' object has no attribute 'connection'

    During handling of the above exception, another exception occurred:

    Traceback (most recent call last): File "/data0/jiangtao16/git_test/weibo_interest_material_server/input/main_new.py", line 46, in process_work work_logger.info(f'batsh_size:{pro_configs["batch_size"]} wait_time:{pro_configs["max_wait_time"]}') File "", line 2, in getitem File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/managers.py", line 815, in _callmethod self._connect() File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/managers.py", line 802, in _connect conn = self._Client(self._token.address, authkey=self._authkey) File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/connection.py", line 492, in Client c = SocketClient(address) File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/connection.py", line 620, in SocketClient s.connect(address) FileNotFoundError: [Errno 2] No such file or directory

  6. Assistant

    这个错误通常是因为在使用multiprocessing.Manager()时出现了一个连接异常,可能的原因是:

    1. 在Windows系统上(或使用了某些兼容环境的Linux/MacOS),使用multiprocessing连接共享资源时,multiprocessing默认使用spawn而不是fork,而spawn方式管理进程与父进程的连接有所不同,需要额外进行连接参数的传递,导致连接异常。可以尝试切换到使用fork方式来管理进程,或者使用PathManager等其他方式来替代multiprocessing.Manager()进行连接共享资源的操作。

    2. 时序问题。通过一些模块或类的调用,使得多进程引起的同一个资源冲突出现的概率增加了。这种情况的解决方法,需要具体问题具体分析,例如可以尝试为冲突资源增加互斥锁等。

    具体解决方法需要根据实际情况来判断。