python在子进程中使用multiprocessing.Manager().dict() 时会报错FileNotFoundError: [Errno 2] No such…
- User
python在子进程中使用multiprocessing.Manager().dict() 时会报错FileNotFoundError: [Errno 2] No such file or directory 怎么解决
- Assistant
这个错误通常是因为在Windows系统上使用
multiprocessing.Manager()时,它会尝试从一个不存在的共享内存中读取数据。为了解决这个问题,可以尝试以下几种方法:
- 把
multiprocessing.Manager()的对象初始化在主进程中,然后将它作为参数传递给子进程。
import multiprocessing def worker(manager_dict): # 进行使用manager_dict中的数据 pass if __name__ == '__main__': with multiprocessing.Manager() as manager: manager_dict = manager.dict() p = multiprocessing.Process(target=worker, args=(manager_dict,)) p.start() p.join()- 尝试使用
multiprocessing.get_context()来代替multiprocessing模块来创建进程。get_context()可以提供不同的子进程启动方法,包括spawn和fork等。
import multiprocessing def worker(manager_dict): # 进行使用manager_dict中的数据 pass if __name__ == '__main__': ctx = multiprocessing.get_context('spawn') manager = ctx.Manager() manager_dict = manager.dict() p = ctx.Process(target=worker, args=(manager_dict,)) p.start() p.join()这两种方法都可以避免在子进程中使用
multiprocessing.Manager().dict()时出现FileNotFoundError错误。 - 把
- User
AttributeError: 'ForkAwareLocal' object has no attribute 'connection' 怎么解决
- Assistant
这个错误通常是因为使用了旧版本的Django或者其他第三方库和Python版本不兼容导致的。可能的解决方法包括:
- 升级Django或其他第三方库到最新版本。在终端中运行以下命令可以更新所有已安装的库:
pip freeze --local | grep -v '^\-e' | cut -d = -f 1 | xargs pip install -U- 如果是使用Python 3.8以上版本的话,可以尝试使用
--multiprocessing选项来在启动Django开发服务器时禁用多进程模式。例如:
python manage.py runserver --noreload --multiprocessing- 可以尝试修改uwsgi的配置文件来禁用多进程模式。例如:
[uwsgi] master = true processes = 1这个错误的解决方法基于具体情况具体分析,需要根据提示信息和具体的部署环境来进行调整。
- User
(Traceback (most recent call last): File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/managers.py", line 811, in _callmethod conn = self._tls.connection AttributeError: 'ForkAwareLocal' object has no attribute 'connection'
During handling of the above exception, another exception occurred:
Traceback (most recent call last): File "/data0/jiangtao16/git_test/weibo_interest_material_server/input/main_new.py", line 46, in process_work work_logger.info(f'batsh_size:{pro_configs["batch_size"]} wait_time:{pro_configs["max_wait_time"]}') File "", line 2, in getitem File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/managers.py", line 815, in _callmethod self._connect() File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/managers.py", line 802, in _connect conn = self._Client(self._token.address, authkey=self._authkey) File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/connection.py", line 492, in Client c = SocketClient(address) File "/data0/conda3/envs/zhipeng16py37/lib/python3.7/multiprocessing/connection.py", line 620, in SocketClient s.connect(address) FileNotFoundError: [Errno 2] No such file or directory
- Assistant
这个错误通常是因为在使用
multiprocessing.Manager()时出现了一个连接异常,可能的原因是:-
在Windows系统上(或使用了某些兼容环境的Linux/MacOS),使用multiprocessing连接共享资源时,multiprocessing默认使用
spawn而不是fork,而spawn方式管理进程与父进程的连接有所不同,需要额外进行连接参数的传递,导致连接异常。可以尝试切换到使用fork方式来管理进程,或者使用PathManager等其他方式来替代multiprocessing.Manager()进行连接共享资源的操作。 -
时序问题。通过一些模块或类的调用,使得多进程引起的同一个资源冲突出现的概率增加了。这种情况的解决方法,需要具体问题具体分析,例如可以尝试为冲突资源增加互斥锁等。
具体解决方法需要根据实际情况来判断。
-