gpt-4.1-2025-04-14· OpenAI
LMArena Human Preference 140K
给我讲解一下vLLM用的PagedAttention机制
- User
给我讲解一下vLLM用的PagedAttention机制
- Assistant
当然可以!下面我将用通俗易懂的语言,详细讲解vLLM中用到的PagedAttention机制。
1. vLLM是什么?
vLLM是一个高效的开源大语言模型(LLM)推理引擎,专为高吞吐量和低延迟的推理场景设计。它支持如ChatGPT、Llama等大模型的高效部署,尤其适合多用户并发、流式输出等场景。
2. 背景:传统Attention的内存瓶颈
在大语言模型推理时,尤其是多用户并发和流式生成(如ChatGPT连续对话)场景下,传统的Attention实现有个很大的内存瓶颈:
- KV Cache:每个用户的每个对话都要缓存历史的Key/Value(KV)向量,随着对话轮数增加,KV Cache会越来越大。
- 内存碎片:不同用户的对话长度不同,导致KV Cache分配不连续,内存利用率低,容易产生碎片。
- 扩展性差:传统实现通常为每个请求分配一大块连续内存,难以高效支持大规模并发。
3. PagedAttention的核心思想
PagedAttention机制借鉴了操作系统的分页(Paging)思想,将KV Cache的存储和管理方式做了创新:
- 分页存储:把KV Cache分成固定大小的“页”(Page),每一页可以存储一段序列的KV向量。
- 页表管理:每个请求维护一个“页表”,记录自己的KV向量分布在哪些物理页上。
- 动态分配与复用:页可以被不同请求动态分配和回收,极大提升了内存利用率,减少了碎片。
类比操作系统分页
- 传统Attention:每个请求像是要一整块连续的内存(大段内存),容易碎片化。
- PagedAttention:每个请求只要告诉系统“我要哪些页”,系统把这些页拼起来就行了,物理上不必连续,逻辑上是连续的。
4. PagedAttention的工作流程
1. KV Cache分页
- 假设每页能存N个token的KV向量。
- 所有请求的KV Cache都存在一个大的“页池”里,按页分配。
2. 页表(Page Table)
- 每个请求有自己的页表,记录自己的token分布在哪些页上。
- 这样即使token分布在物理内存的不同位置,逻辑上也能拼成完整的历史序列。
3. 动态分配与回收
- 新请求来时,从页池分配空闲页。
- 请求结束或token被丢弃时,页被回收到页池,供其他请求复用。
4. Attention计算
- 需要用到历史KV时,通过页表找到对应的页,拼接成完整的KV序列,进行Attention计算。
5. PagedAttention的优势
- 高内存利用率:页可以灵活分配和回收,极大减少了内存碎片。
- 高并发扩展性:支持成千上万个并发请求,每个请求的历史长度不同也没关系。
- 高吞吐量:批量处理时可以高效拼接KV,充分利用GPU带宽。
- 灵活性强:支持流式生成、长对话、动态扩展等复杂场景。
6. 总结类比
- PagedAttention就像操作系统的虚拟内存分页机制,把大块的KV Cache切成小页,灵活分配,提升了内存利用率和系统扩展性。
- 这让vLLM能在同样的硬件资源下,支持更多的并发请求和更长的历史上下文。
7. 参考图示(文字版)
假设有3个请求,历史长度分别为5、8、12,每页能存4个token:
页号 存储内容(token) 属于哪个请求 0 0-3 请求A 1 4-5 请求A 2 0-3 请求B 3 4-7 请求B 4 0-3 请求C 5 4-7 请求C 6 8-11 请求C 每个请求的页表只需记录自己用到哪些页即可。
8. 进一步阅读
- vLLM官方文档
- vLLM论文:PagedAttention: Efficient Attention for Large Language Model Serving with Paged KV Caching
如果你还想了解更底层的实现细节或代码原理,也可以继续问我!
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.