上下文token数较大的LLM有哪些
- User
上下文token数较大的LLM有哪些
Assistant
上下文token数较大的LLM列表
以下是当前主流大模型中上下文窗口较大的LLM,按上下文长度从大到小排序:
模型名称 上下文长度 开源/闭源 技术特点 LongRoPE 2048k (约210万) 开源 微软亚洲研究院开发,通过非均匀位置编码插值和渐进式扩展策略实现[5] Claude 3 100万 闭源 Anthropic最新模型,支持超长文本处理,适用于法律条文、医学教材等场景[6] Gemini 100万 闭源 谷歌模型,支持处理数百页文本,提升长文档摘要和问答能力[6] LongLLaMA 256k 开源 Meta开发,支持超长文本输入,适合科研文献和复杂文档处理[4] Claude 2.1 200k 闭源 Anthropic模型,支持约7.5万英文单词输入,适合长篇小说级文本[4][7] GPT-4 Turbo 128k 闭源 OpenAI模型,支持300页文本输入,提升生成回复的上下文相关性[2][4][7] Kimi Chat 40万 (约20万汉字) 闭源 月之暗面公司产品,支持长篇巨著级输入,适合中文长文本处理[4] Yarn-Llama2 128k 开源 基于Llama2的扩展模型,通过改进RoPE编码实现长文本处理[7]
技术扩展方法
-
位置编码优化
- LongRoPE:采用非均匀位置编码插值,通过渐进式扩展策略将上下文窗口扩展至2048k[5]。
- Yarn:改进RoPE编码,避免信息损失,支持128k上下文扩展[7]。
-
模型架构调整
- LongLLaMA:通过预训练和微调支持256k输入,适合开源社区使用[4]。
- Claude系列:Anthropic通过闭源优化实现200k和100万token的上下文窗口[4][6]。
应用场景
场景 典型需求 适用模型示例 长文档翻译 整篇文档输入处理 LongLLaMA、GPT-4 Turbo 法律条文解析 处理冗长合同或法规 Claude 3、LongRoPE 医学文献摘要 解析大型研究报告 Gemini、Claude 2.1 中文长文本处理 处理20万汉字级输入 Kimi Chat、GPT-4 Turbo
注意事项
-
token计算差异
- 中文字符通常约为0.6 token,英文单词约为0.3 token[2][8]。
- 例如,GPT-4 Turbo的128k token对应约80万中文字符或40万英文单词[2][4]。
-
性能权衡
- 上下文窗口扩展会增加计算成本(内存/GPU资源)[5][7]。
- 部分模型(如Claude 3)需通过闭源优化实现高效长文本处理[6]。
-
- User
llama4的是多少
Assistant
Llama 4 模型参数与上下文能力
核心参数规格
模型版本 总参数量 活跃参数 上下文长度 处理硬件需求 Llama 4 Scout 1090亿(1.09T) 170亿(17B) 1000万 token 单 H100 GPU[1][4][6] Llama 4 Maverick 4000亿(4T) 170亿(17B) 100万 token 单 H100 GPU[1][4][6] Llama 4 Behemoth 超4万亿(>40T) 288亿(288B) 未公布 多 GPU 集群[1][4]
关键技术指标
-
上下文窗口
- Scout:支持 1000万 token(约150万页文本),通过 iRoPE 架构实现超长文本处理[1][2][6]。
- Maverick:上下文长度为 100万 token,适用于法律条文、医学文献等场景[1][6]。
- 训练限制:两款模型均以 256K token 为基础训练,超过该长度可能性能下降[3][6]。
-
多模态能力
- 预训练支持 48 张图像,后训练测试 8 张图像,结合文本提示进行视觉推理[2][6]。
- 支持 12 种语言,但中文能力未明确优化,OCR识别和数学推理表现有限[7][8]。
应用场景与限制
场景 适用模型 注意事项 超长文档处理 Llama 4 Scout 1000万 token 为理论上限,实际任务需验证[3][6] 多模态交互 Maverick/Scout 中文图像理解能力尚未突破[7][8] 大规模推理 Behemoth 仍在训练中,未发布具体参数[1][4]
社区争议点
-
上下文窗口的实际效果
- 虽然宣传 1000万 token,但训练数据仅覆盖 256K token,超长文本处理可能依赖推理技巧而非真实能力[3][6]。
- 基准测试(如“大海捞针”)未能充分验证长文本理解能力,实际应用中可能存在幻觉风险[3][7]。
-
中文能力不足
- 官方未明确包含中文在支持语言列表中,OCR识别和数学推理表现不如闭源模型(如GPT-4o)[7][8]。
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.