Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-3-5-haiku-20241022· AnthropicHugging Face LMArena Human Preference 140K

给我讲解一下vLLM用的PagedAttention机制

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with gpt-4.1-2025-04-14’s answer.
  1. User

    给我讲解一下vLLM用的PagedAttention机制

  2. Claude Assistant

    当然可以。vLLM 中的 PagedAttention 是一种创新的注意力机制,旨在解决大语言模型推理中的内存管理问题。让我详细为你解释:

    背景问题

    在大语言模型推理中,存在两个主要挑战:

    1. 动态 batch 中不同序列长度的内存浪费
    2. 高效的显存管理

    PagedAttention 的核心思想

    PagedAttention 借鉴了操作系统中的分页(Paging)内存管理技术,将注意力计算中的 KV Cache 按页进行管理。

    关键设计

    1. 块状存储
    # 将 KV Cache 划分为固定大小的块
    block_size = 16  # 每个块存储 16 个 token
    blocks = [
        Block1: [token1-16 KV],
        Block2: [token17-32 KV],
        ...
    ]
    
    1. 灵活的块分配
    • 动态分配内存块
    • 块的大小固定,但块的数量可变
    • 支持不同长度序列的高效存储
    1. 块映射机制
    # 逻辑块到物理块的映射
    sequence_blocks = {
        seq1: [Block3, Block5, Block7],
        seq2: [Block1, Block2],
        seq3: [Block4, Block6]
    }
    

    优势

    1. 内存利用率高
    • 避免为最长序列预分配全部显存
    • 按需分配内存块
    • 减少内存碎片
    1. 动态 batch 支持
    • 可以灵活组合不同长度序列
    • 显存利用更加高效
    1. 快速块级别操作
    • 块的增删开销低
    • 支持快速的序列扩展和截断

    实现示例

    class PagedAttention:
        def __init__(self, block_size=16):
            self.block_size = block_size
            self.blocks = {}  # 块池
            self.block_table = {}  # 序列到块的映射
        
        def allocate_blocks(self, sequence_length):
            # 根据序列长度分配所需块数
            num_blocks = (sequence_length + self.block_size - 1) // self.block_size
            return [self.get_free_block() for _ in range(num_blocks)]
        
        def get_free_block(self):
            # 从块池获取空闲块
            pass
        
        def compute_attention(self, query, key_blocks, value_blocks):
            # 跨块的高效注意力计算
            pass
    

    性能对比

    传统方法:

    • 为最长序列预分配全部显存
    • 内存利用率低
    • batch 灵活性差

    PagedAttention:

    • 动态块分配
    • 显存利用率高
    • batch 处理更灵活

    实际应用

    vLLM 使用 PagedAttention 实现了:

    • 更高的吞吐量
    • 更低的延迟
    • 更好的显存利用

    局限性

    • 增加了一定的管理开销
    • 块大小选择需要权衡

    总结

    PagedAttention 通过将操作系统分页技术引入 LLM 推理,实现了更高效的显存管理和注意力计算。它代表了大语言模型推理系统设计的一个重要创新方向。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.