多进程的脚本我单独运行可以运行,现在将它放到一个新的地方作为一个模块调用,在调用时卡住,手动ctrl+c退出时,提示信息为: ^CTraceback (most recent…
- User
多进程的脚本我单独运行可以运行,现在将它放到一个新的地方作为一个模块调用,在调用时卡住,手动ctrl+c退出时,提示信息为: ^CTraceback (most recent call last): File "/mnt/aigc/pingjiang/tts/DataProcess/test_datapipeline_dev.py", line 60, in total_hours, out_list_path = datapipe.process(split_folder, ref_audio_path, save_path, output_file_path, True, 8) File "/mnt/aigc/pingjiang/tts/DataProcess/tts_pre_pipe_v3/DataPipe.py", line 208, in process sorted_results = sample_filter_mp(audio_paths, ref_audio_path, num_proc=12) File "/mnt/aigc/pingjiang/tts/DataProcess/tts_pre_pipe_v3/utils/logger.py", line 117, in wrapper result = func(*args, **kwargs) File "/mnt/aigc/pingjiang/tts/DataProcess/tts_pre_pipe_v3/modules/sample_filter_mp.py", line 135, in sample_filter_mp results = pool.map(process_audio_batch, [(files, ref_audio_path) for files in audio_file_batches]) File "/home/pai/envs/pjtts/lib/python3.10/multiprocessing/pool.py", line 367, in map return self._map_async(func, iterable, mapstar, chunksize).get() File "/home/pai/envs/pjtts/lib/python3.10/multiprocessing/pool.py", line 768, in get self.wait(timeout) File "/home/pai/envs/pjtts/lib/python3.10/multiprocessing/pool.py", line 765, in wait self._event.wait(timeout) File "/home/pai/envs/pjtts/lib/python3.10/threading.py", line 607, in wait signaled = self._cond.wait(timeout) File "/home/pai/envs/pjtts/lib/python3.10/threading.py", line 320, in wait waiter.acquire() KeyboardInterrupt 这是为什么,该如何做,请用中文回答
- Assistant
你遇到的问题很可能与多进程的启动方式有关,尤其是在将脚本转换为模块后。以下是可能的原因以及解决方法:
原因分析
-
缺少
if __name__ == "__main__":保护:- 在使用
multiprocessing时,尤其是在将代码作为模块导入时,必须确保启动多进程的部分在if __name__ == "__main__":块中。这可以防止子进程在导入模块时重复执行主进程的代码,从而避免死锁或无限递归。
- 在使用
-
模块导入时的副作用:
- 如果多进程相关的代码(如池的创建和任务的分配)直接位于模块的顶层,当模块被导入时,这些代码会立即执行,导致进程阻塞。
解决方法
-
使用
if __name__ == "__main__":保护入口点: 确保在你的主脚本中,调用多进程的部分被包含在if __name__ == "__main__":块中。例如:# test_datapipeline_dev.py import datapipe def main(): total_hours, out_list_path = datapipe.process(split_folder, ref_audio_path, save_path, output_file_path, True, 8) # 其他逻辑 if __name__ == "__main__": main() -
确保模块内部的多进程代码也遵循保护机制: 在
sample_filter_mp.py或其他涉及多进程的模块中,确保不要在导入时直接启动进程。比如:# sample_filter_mp.py def sample_filter_mp(audio_paths, ref_audio_path, num_proc=12): with multiprocessing.Pool(processes=num_proc) as pool: results = pool.map(process_audio_batch, [(files, ref_audio_path) for files in audio_file_batches]) return results不要在模块级别直接启动 Pool 或其他多进程相关的操作。
-
检查子进程的代码: 确保
process_audio_batch等函数在子进程中执行时不会引发额外的多进程调用,导致递归调用和阻塞。 -
调试建议:
- 日志记录:在多进程的各个关键点添加日志记录,帮助你确定程序卡住的位置。
- 简化测试:尝试简化多进程调用,只运行一个简单的多进程任务,确保基本功能正常,再逐步集成复杂的逻辑。
示例修改
假设你的
datapipe.process函数内部调用了多进程,可以确保整个调用链在主入口处被保护:# test_datapipeline_dev.py import datapipe def main(): split_folder = "your_split_folder" ref_audio_path = "your_ref_audio_path" save_path = "your_save_path" output_file_path = "your_output_file_path" total_hours, out_list_path = datapipe.process(split_folder, ref_audio_path, save_path, output_file_path, True, 8) print(total_hours, out_list_path) if __name__ == "__main__": main()并确保
datapipe.process内部的多进程调用没有在模块导入时执行:# DataPipe.py def process(split_folder, ref_audio_path, save_path, output_file_path, flag, num_proc): # 你的处理逻辑 sorted_results = sample_filter_mp(audio_paths, ref_audio_path, num_proc=12) return sorted_results这样可以避免在模块导入时意外启动多进程,从而导致程序卡住。
总结
主要问题在于多进程代码在模块导入时被执行,导致进程间的阻塞。通过使用
if __name__ == "__main__":保护入口点,并确保多进程相关代码仅在需要时执行,可以解决这个问题。希望这些建议能帮助你解决问题!
-