Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

多进程的脚本我单独运行可以运行,现在将它放到一个新的地方作为一个模块调用,在调用时卡住,手动ctrl+c退出时,提示信息为: ^CTraceback (most recent…

  1. User

    多进程的脚本我单独运行可以运行,现在将它放到一个新的地方作为一个模块调用,在调用时卡住,手动ctrl+c退出时,提示信息为: ^CTraceback (most recent call last): File "/mnt/aigc/pingjiang/tts/DataProcess/test_datapipeline_dev.py", line 60, in total_hours, out_list_path = datapipe.process(split_folder, ref_audio_path, save_path, output_file_path, True, 8) File "/mnt/aigc/pingjiang/tts/DataProcess/tts_pre_pipe_v3/DataPipe.py", line 208, in process sorted_results = sample_filter_mp(audio_paths, ref_audio_path, num_proc=12) File "/mnt/aigc/pingjiang/tts/DataProcess/tts_pre_pipe_v3/utils/logger.py", line 117, in wrapper result = func(*args, **kwargs) File "/mnt/aigc/pingjiang/tts/DataProcess/tts_pre_pipe_v3/modules/sample_filter_mp.py", line 135, in sample_filter_mp results = pool.map(process_audio_batch, [(files, ref_audio_path) for files in audio_file_batches]) File "/home/pai/envs/pjtts/lib/python3.10/multiprocessing/pool.py", line 367, in map return self._map_async(func, iterable, mapstar, chunksize).get() File "/home/pai/envs/pjtts/lib/python3.10/multiprocessing/pool.py", line 768, in get self.wait(timeout) File "/home/pai/envs/pjtts/lib/python3.10/multiprocessing/pool.py", line 765, in wait self._event.wait(timeout) File "/home/pai/envs/pjtts/lib/python3.10/threading.py", line 607, in wait signaled = self._cond.wait(timeout) File "/home/pai/envs/pjtts/lib/python3.10/threading.py", line 320, in wait waiter.acquire() KeyboardInterrupt 这是为什么,该如何做,请用中文回答

  2. Assistant

    你遇到的问题很可能与多进程的启动方式有关,尤其是在将脚本转换为模块后。以下是可能的原因以及解决方法:

    原因分析

    1. 缺少 if __name__ == "__main__": 保护:

      • 在使用 multiprocessing 时,尤其是在将代码作为模块导入时,必须确保启动多进程的部分在 if __name__ == "__main__": 块中。这可以防止子进程在导入模块时重复执行主进程的代码,从而避免死锁或无限递归。
    2. 模块导入时的副作用:

      • 如果多进程相关的代码(如池的创建和任务的分配)直接位于模块的顶层,当模块被导入时,这些代码会立即执行,导致进程阻塞。

    解决方法

    1. 使用 if __name__ == "__main__": 保护入口点: 确保在你的主脚本中,调用多进程的部分被包含在 if __name__ == "__main__": 块中。例如:

      # test_datapipeline_dev.py
      
      import datapipe
      
      def main():
          total_hours, out_list_path = datapipe.process(split_folder, ref_audio_path, save_path, output_file_path, True, 8)
          # 其他逻辑
      
      if __name__ == "__main__":
          main()
      
    2. 确保模块内部的多进程代码也遵循保护机制: 在 sample_filter_mp.py 或其他涉及多进程的模块中,确保不要在导入时直接启动进程。比如:

      # sample_filter_mp.py
      
      def sample_filter_mp(audio_paths, ref_audio_path, num_proc=12):
          with multiprocessing.Pool(processes=num_proc) as pool:
              results = pool.map(process_audio_batch, [(files, ref_audio_path) for files in audio_file_batches])
          return results
      

      不要在模块级别直接启动 Pool 或其他多进程相关的操作。

    3. 检查子进程的代码: 确保 process_audio_batch 等函数在子进程中执行时不会引发额外的多进程调用,导致递归调用和阻塞。

    4. 调试建议:

      • 日志记录:在多进程的各个关键点添加日志记录,帮助你确定程序卡住的位置。
      • 简化测试:尝试简化多进程调用,只运行一个简单的多进程任务,确保基本功能正常,再逐步集成复杂的逻辑。

    示例修改

    假设你的 datapipe.process 函数内部调用了多进程,可以确保整个调用链在主入口处被保护:

    # test_datapipeline_dev.py
    
    import datapipe
    
    def main():
        split_folder = "your_split_folder"
        ref_audio_path = "your_ref_audio_path"
        save_path = "your_save_path"
        output_file_path = "your_output_file_path"
        total_hours, out_list_path = datapipe.process(split_folder, ref_audio_path, save_path, output_file_path, True, 8)
        print(total_hours, out_list_path)
    
    if __name__ == "__main__":
        main()
    

    并确保 datapipe.process 内部的多进程调用没有在模块导入时执行:

    # DataPipe.py
    
    def process(split_folder, ref_audio_path, save_path, output_file_path, flag, num_proc):
        # 你的处理逻辑
        sorted_results = sample_filter_mp(audio_paths, ref_audio_path, num_proc=12)
        return sorted_results
    

    这样可以避免在模块导入时意外启动多进程,从而导致程序卡住。

    总结

    主要问题在于多进程代码在模块导入时被执行,导致进程间的阻塞。通过使用 if __name__ == "__main__": 保护入口点,并确保多进程相关代码仅在需要时执行,可以解决这个问题。

    希望这些建议能帮助你解决问题!