Skip to content
TheChatArchiveThe Chat Archive
Geminigemini-2.0-flash-001· GoogleHugging Face LMArena Human Preference 140K

不用的參數是放在cpu?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Metallama-4-scout-17b-16e-instruct’s answer.
  1. User

    不用的參數是放在cpu?

  2. Gemini Assistant

    是的,当你在 vLLM 中启用参数卸载 (Parameter Offloading) 时,不常用的参数(或者更准确地说,当前计算步骤中不需要的参数)会被卸载到 CPU 内存(RAM)。

    这里进一步解释卸载的机制:

    1. 参数分块:vLLM 将模型参数分割成较小的块(blocks)。
    2. GPU 缓存:GPU 维护一个参数块的缓存。只有当前计算需要的块才会加载到 GPU 显存中。
    3. 按需加载:当需要某个参数块时,vLLM 会检查该块是否已在 GPU 缓存中。如果不在,则从 CPU 内存加载到 GPU 缓存。
    4. 缓存管理:GPU 缓存使用某种缓存替换策略(如 LRU)来决定何时将不常用的块从 GPU 缓存中移出,以便为新加载的块腾出空间。

    所以,通过这种方式,在任何给定的时间点,只有一部分模型参数驻留在 GPU 显存中,其余的则存储在 CPU 内存中。host_device_swap_space 参数指定了 vLLM 可以使用的 CPU 内存量,用于存储这些卸载的参数块。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.