Skip to content
TheChatArchiveThe Chat Archive
gpt-4.1-2025-04-14· OpenAIHugging Face LMArena Human Preference 140K

给我讲解一下vLLM用的PagedAttention机制

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-3-5-haiku-20241022’s answer.
  1. User

    给我讲解一下vLLM用的PagedAttention机制

  2. Assistant

    当然可以!下面我将用通俗易懂的语言,详细讲解vLLM中用到的PagedAttention机制。


    1. vLLM是什么?

    vLLM是一个高效的开源大语言模型(LLM)推理引擎,专为高吞吐量和低延迟的推理场景设计。它支持如ChatGPT、Llama等大模型的高效部署,尤其适合多用户并发、流式输出等场景。


    2. 背景:传统Attention的内存瓶颈

    在大语言模型推理时,尤其是多用户并发和流式生成(如ChatGPT连续对话)场景下,传统的Attention实现有个很大的内存瓶颈:

    • KV Cache:每个用户的每个对话都要缓存历史的Key/Value(KV)向量,随着对话轮数增加,KV Cache会越来越大。
    • 内存碎片:不同用户的对话长度不同,导致KV Cache分配不连续,内存利用率低,容易产生碎片。
    • 扩展性差:传统实现通常为每个请求分配一大块连续内存,难以高效支持大规模并发。

    3. PagedAttention的核心思想

    PagedAttention机制借鉴了操作系统的分页(Paging)思想,将KV Cache的存储和管理方式做了创新:

    • 分页存储:把KV Cache分成固定大小的“页”(Page),每一页可以存储一段序列的KV向量。
    • 页表管理:每个请求维护一个“页表”,记录自己的KV向量分布在哪些物理页上。
    • 动态分配与复用:页可以被不同请求动态分配和回收,极大提升了内存利用率,减少了碎片。

    类比操作系统分页

    • 传统Attention:每个请求像是要一整块连续的内存(大段内存),容易碎片化。
    • PagedAttention:每个请求只要告诉系统“我要哪些页”,系统把这些页拼起来就行了,物理上不必连续,逻辑上是连续的。

    4. PagedAttention的工作流程

    1. KV Cache分页

    • 假设每页能存N个token的KV向量。
    • 所有请求的KV Cache都存在一个大的“页池”里,按页分配。

    2. 页表(Page Table)

    • 每个请求有自己的页表,记录自己的token分布在哪些页上。
    • 这样即使token分布在物理内存的不同位置,逻辑上也能拼成完整的历史序列。

    3. 动态分配与回收

    • 新请求来时,从页池分配空闲页。
    • 请求结束或token被丢弃时,页被回收到页池,供其他请求复用。

    4. Attention计算

    • 需要用到历史KV时,通过页表找到对应的页,拼接成完整的KV序列,进行Attention计算。

    5. PagedAttention的优势

    1. 高内存利用率:页可以灵活分配和回收,极大减少了内存碎片。
    2. 高并发扩展性:支持成千上万个并发请求,每个请求的历史长度不同也没关系。
    3. 高吞吐量:批量处理时可以高效拼接KV,充分利用GPU带宽。
    4. 灵活性强:支持流式生成、长对话、动态扩展等复杂场景。

    6. 总结类比

    • PagedAttention就像操作系统的虚拟内存分页机制,把大块的KV Cache切成小页,灵活分配,提升了内存利用率和系统扩展性。
    • 这让vLLM能在同样的硬件资源下,支持更多的并发请求和更长的历史上下文。

    7. 参考图示(文字版)

    假设有3个请求,历史长度分别为5、8、12,每页能存4个token:

    页号存储内容(token)属于哪个请求
    00-3请求A
    14-5请求A
    20-3请求B
    34-7请求B
    40-3请求C
    54-7请求C
    68-11请求C

    每个请求的页表只需记录自己用到哪些页即可。


    8. 进一步阅读


    如果你还想了解更底层的实现细节或代码原理,也可以继续问我!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.