Skip to content
TheChatArchiveThe Chat Archive
Metallama-4-scout-17b-16e-instruct· MetaHugging Face LMArena Human Preference 140K

不用的參數是放在cpu?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.0-flash-001’s answer.
  1. User

    不用的參數是放在cpu?

  2. Meta Assistant

    是的,当您在 vLLM 中启用参数卸载(parameter offloading)时,不活跃的参数会被转移到 CPU 内存(RAM)中,而只有被激活的参数才会加载到 GPU 显存 中。

    这样可以有效减少 GPU 显存的占用,提高模型的部署密度。以下是参数卸载的工作原理:

    1. 参数卸载的工作原理

    1. 模型参数存储在 CPU 内存中:

      • 当模型加载时,其所有参数首先存储在 CPU 内存(RAM)中。
    2. 部分参数加载到 GPU 显存中:

      • 当进行推理时,只有当前激活的参数会被加载到 GPU 显存 中。
      • 其他未被激活的参数则保持在 CPU 内存 中。
    3. 按需加载和卸载:

      • 当计算需要某个参数时,系统会从 CPU 内存 将该参数加载到 GPU 显存 中。
      • 当参数不再需要时,它可能会被卸载回 CPU 内存,以释放 GPU 显存 空间。

    2. 为什么选择 CPU 内存?

    • 容量:CPU 内存(RAM)的容量通常比 GPU 显存大得多,可以存储更多的模型参数。
    • 速度:虽然 CPU 内存的访问速度比 GPU 显存慢,但参数卸载通常发生在后台,且对延迟的影响可控。

    3. 如何设置参数卸载?

    在 vLLM 中,可以通过 --host-device-swap-space 参数设置用于参数卸载的 CPU 内存大小。例如:

    python -m vllm.entrypoints.api_server \
      --model Qwen/Qwen-7B \
      --host 0.0.0.0 \
      --port 8000 \
      --host-device-swap-space 16 \
      --max-model-len 8192
    

    这里的 --host-device-swap-space 16 表示使用 16GB 的 CPU 内存用于参数卸载。

    4. 优势

    • 显存节省:有效减少 GPU 显存占用,允许多个大模型在单 GPU 上部署。
    • 灵活性:可以根据硬件资源动态调整参数卸载策略。

    5. 注意事项

    • 系统内存充足:确保系统有足够的 CPU 内存(RAM)用于参数卸载,否则可能会导致性能下降或错误。
    • 参数加载延迟:参数从 CPU 内存加载到 GPU 显存可能会带来轻微的延迟,但通常可控。

    通过这种方式,vLLM 可以在资源有限的情况下,支持更大、更复杂的模型部署。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.