另外我也希望device(GPU)的記憶體要被釋放
- User
另外我也希望device(GPU)的記憶體要被釋放
Assistant
在 PyTorch 中,要確保 GPU 記憶體被完全釋放,需要採取更徹底的措施。以下是幾種有效的方法來確保 GPU 記憶體被釋放,特別是在切換模型或完成計算後:
方法一:基本 GPU 記憶體釋放
import torch import gc # 假設 model1 已經在 GPU 上 model1 = model1.to("cuda") # 1. 將模型移回 CPU model1 = model1.to("cpu") # 2. 刪除模型引用 del model1 # 3. 強制垃圾回收 gc.collect() # 4. 清空 CUDA 緩存 torch.cuda.empty_cache() # 5. 可選:檢查 GPU 記憶體使用情況 print(f"Allocated: {torch.cuda.memory_allocated() / 1024**3:.2f} GB") print(f"Cached: {torch.cuda.memory_reserved() / 1024**3:.2f} GB")
方法二:使用上下文管理器(推薦)
import torch import gc from contextlib import contextmanager @contextmanager def gpu_memory_guard(device="cuda"): """確保 GPU 記憶體被釋放的上下文管理器""" try: yield finally: # 1. 清空 CUDA 緩存 torch.cuda.empty_cache() # 2. 強制垃圾回收 gc.collect() # 3. 可選:檢查 GPU 記憶體 if torch.cuda.is_available(): print(f"GPU Memory after cleanup - Allocated: {torch.cuda.memory_allocated() / 1024**3:.2f} GB") # 使用範例 with gpu_memory_guard(): model = model.to("cuda") # 執行 GPU 計算... outputs = model(inputs) # 離開上下文時會自動釋放 GPU 記憶體
方法三:徹底釋放 GPU 記憶體(適用於多模型切換)
import torch import gc def release_gpu_memory(model): """徹底釋放模型佔用的 GPU 記憶體""" if model is None: return # 1. 將模型移回 CPU model = model.to("cpu") # 2. 刪除模型引用 del model # 3. 清空 CUDA 緩存 torch.cuda.empty_cache() # 4. 強制垃圾回收 gc.collect() # 5. 可選:檢查 GPU 記憶體 if torch.cuda.is_available(): print(f"GPU Memory after cleanup - Allocated: {torch.cuda.memory_allocated() / 1024**3:.2f} GB") # 使用範例 model1 = model1.to("cuda") # 執行計算... release_gpu_memory(model1) # 現在可以安全地載入另一個模型 model2 = model2.to("cuda")
方法四:進階記憶體管理(適用於大型模型)
import torch import gc from typing import Optional class GPUMemoryManager: def __init__(self): self.current_model: Optional[torch.nn.Module] = None self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu") def load_model(self, model: torch.nn.Module): """載入模型到 GPU 並釋放舊模型""" # 1. 釋放當前模型(如果有) if self.current_model is not None: self.release_model() # 2. 載入新模型到 GPU self.current_model = model.to(self.device) return self.current_model def release_model(self): """釋放當前模型佔用的 GPU 記憶體""" if self.current_model is not None: # 1. 移回 CPU self.current_model = self.current_model.to("cpu") # 2. 刪除引用 del self.current_model self.current_model = None # 3. 清空 CUDA 緩存 torch.cuda.empty_cache() # 4. 強制垃圾回收 gc.collect() print("Model released and GPU memory cleared") def __del__(self): """析構時確保釋放記憶體""" self.release_model() # 使用範例 manager = GPUMemoryManager() # 載入第一個模型 model1 = manager.load_model(model1) # 執行計算... # 切換到第二個模型(自動釋放第一個模型) model2 = manager.load_model(model2) # 執行計算... # 手動釋放(可選) manager.release_model()
關鍵注意事項
-
torch.cuda.empty_cache()的作用:- 它只會釋放 PyTorch 的緩存記憶體,不會釋放仍被引用的張量或模型佔用的記憶體。
- 必須先刪除模型引用(
del model),然後再調用empty_cache()。
-
垃圾回收(
gc.collect()):- 強制執行 Python 的垃圾回收,確保沒有殘留的引用。
-
檢查記憶體使用情況:
print(f"Allocated: {torch.cuda.memory_allocated() / 1024**3:.2f} GB") print(f"Cached: {torch.cuda.memory_reserved() / 1024**3:.2f} GB") -
避免記憶體洩漏:
- 確保所有 GPU 張量或模型在不再需要時都被刪除或移回 CPU。
- 避免在全局範圍內保留對 GPU 張量的引用。
最佳實踐
- 使用上下文管理器(方法二)是最安全的方式,確保資源被正確釋放。
- 對於大型模型,使用
GPUMemoryManager(方法四)可以更好地管理記憶體。 - 定期檢查 GPU 記憶體使用情況,確保沒有記憶體洩漏。
這些方法可以確保 GPU 記憶體被徹底釋放,特別是在切換模型或完成計算後。
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.