Skip to content
The Chat Archive
claude-3-7-sonnet-20250219· Anthropic LMArena Human Preference 140K

我目前使用vllm+qwen在ubuntu上部署 但沒有進行參數卸载 如何操作呢

  1. User

    我目前使用vllm+qwen在ubuntu上部署 但沒有進行參數卸载 如何操作呢

  2. Assistant

    要在 vLLM 中为 Qwen 模型启用参数卸载(parameter offloading),您需要使用 vLLM 的 host_device_swap_space 参数。这个功能允许将部分模型参数存储在 CPU 内存中,仅在需要时加载到 GPU,从而大幅减少 GPU 显存占用。以下是详细操作步骤:

    1. 更新 vLLM 到最新版本

    首先确保您使用的是支持参数卸载功能的 vLLM 版本(0.2.0 及以上):

    pip install -U vllm
    

    2. 使用参数卸载启动 vLLM 服务

    方法一:命令行启动(推荐用于生产环境)

    python -m vllm.entrypoints.api_server \
      --model Qwen/Qwen-7B \
      --host 0.0.0.0 \
      --port 8000 \
      --host-device-swap-space 16 \
      --max-model-len 8192 \
      --tensor-parallel-size 1
    

    关键参数说明:

    • --host-device-swap-space 16:分配 16GB CPU 内存用于参数卸载(根据您的系统内存调整)
    • --max-model-len 8192:最大上下文长度,可根据需要调整
    • --tensor-parallel-size 1:单 GPU 部署,多卡可增加此值

    方法二:Python 代码中使用(适合集成到应用中)

    from vllm import LLM, SamplingParams
    
    # 初始化 LLM 时启用参数卸载
    llm = LLM(
        model="Qwen/Qwen-7B",
        host_device_swap_space=16,  # 16GB CPU 内存用于参数卸载
        max_model_len=8192,
        tensor_parallel_size=1,
        gpu_memory_utilization=0.9  # 控制 GPU 内存使用率
    )
    
    # 使用模型生成文本
    sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=1024)
    outputs = llm.generate("请介绍一下杭州的西湖", sampling_params)
    print(outputs[0].outputs[0].text)
    

    3. 结合量化进一步降低显存占用

    vLLM 支持 AWQ 和 SqueezeLLM 量化,可与参数卸载结合使用:

    python -m vllm.entrypoints.api_server \
      --model Qwen/Qwen-7B \
      --host 0.0.0.0 \
      --port 8000 \
      --host-device-swap-space 16 \
      --quantization awq \
      --max-model-len 8192
    

    或在 Python 代码中:

    llm = LLM(
        model="Qwen/Qwen-7B",
        host_device_swap_space=16,
        quantization="awq",  # 启用 AWQ 量化
        max_model_len=8192
    )
    

    4. 针对 Qwen 的优化配置

    Qwen 模型(特别是 Qwen-7B/14B/72B)有一些特殊优化参数:

    llm = LLM(
        model="Qwen/Qwen-7B",
        host_device_swap_space=16,
        trust_remote_code=True,  # Qwen 需要此参数
        enforce_eager=True,  # 减少内存碎片
        max_model_len=8192,
        load_format="npcache"  # 使用 numpy 缓存加速加载
    )
    

    5. 监控和调优

    部署后,您可以监控 GPU 和 CPU 内存使用情况:

    # 监控 GPU 使用情况
    watch -n 1 nvidia-smi
    
    # 监控 CPU 内存使用情况
    watch -n 1 free -h
    

    6. 参数卸载效果参考

    以 Qwen-7B 为例,显存占用对比:

    • 不使用参数卸载:~14GB (FP16)
    • 使用参数卸载:~7-8GB
    • 使用参数卸载 + AWQ 量化:~4-5GB

    7. 常见问题解决

    1. 加载速度慢:

      • 使用 load_format="npcache" 参数加速模型加载
      • 考虑使用 SSD 而非 HDD 存储卸载的参数
    2. 推理延迟增加:

      • 调整 host_device_swap_space 大小,找到延迟和显存之间的平衡点
      • 使用 --swap-space-paged-attention 参数优化注意力计算
    3. 内存不足错误:

      • 确保系统有足够的可用内存(至少比 host_device_swap_space 多 4-8GB)
      • 减小 max_model_len 参数值

    8. 完整示例(生产环境推荐配置)

    python -m vllm.entrypoints.api_server \
      --model Qwen/Qwen-7B \
      --host 0.0.0.0 \
      --port 8000 \
      --host-device-swap-space 20 \
      --quantization awq \
      --max-model-len 8192 \
      --tensor-parallel-size 1 \
      --gpu-memory-utilization 0.9 \
      --trust-remote-code \
      --enforce-eager \
      --load-format npcache \
      --swap-space-paged-attention
    

    这个配置结合了参数卸载、量化和其他优化,可以在保持较低延迟的同时大幅降低显存占用。根据您的具体硬件和需求,可以调整 host-device-swap-space 和其他参数。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.