Skip to content
TheChatArchiveThe Chat Archive
Perplexitysonar-reasoning· PerplexityHugging Face LMArena Search Arena 24K

上下文token数较大的LLM有哪些

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with gpt-4o-search-preview-high’s answer.
  1. User

    上下文token数较大的LLM有哪些

  2. Perplexity Assistant

    上下文token数较大的LLM列表

    以下是当前主流大模型中上下文窗口较大的LLM,按上下文长度从大到小排序:

    模型名称上下文长度开源/闭源技术特点
    LongRoPE2048k (约210万)开源微软亚洲研究院开发,通过非均匀位置编码插值和渐进式扩展策略实现[5]
    Claude 3100万闭源Anthropic最新模型,支持超长文本处理,适用于法律条文、医学教材等场景[6]
    Gemini100万闭源谷歌模型,支持处理数百页文本,提升长文档摘要和问答能力[6]
    LongLLaMA256k开源Meta开发,支持超长文本输入,适合科研文献和复杂文档处理[4]
    Claude 2.1200k闭源Anthropic模型,支持约7.5万英文单词输入,适合长篇小说级文本[4][7]
    GPT-4 Turbo128k闭源OpenAI模型,支持300页文本输入,提升生成回复的上下文相关性[2][4][7]
    Kimi Chat40万 (约20万汉字)闭源月之暗面公司产品,支持长篇巨著级输入,适合中文长文本处理[4]
    Yarn-Llama2128k开源基于Llama2的扩展模型,通过改进RoPE编码实现长文本处理[7]

    技术扩展方法

    1. 位置编码优化

      • LongRoPE:采用非均匀位置编码插值,通过渐进式扩展策略将上下文窗口扩展至2048k[5]。
      • Yarn:改进RoPE编码,避免信息损失,支持128k上下文扩展[7]。
    2. 模型架构调整

      • LongLLaMA:通过预训练和微调支持256k输入,适合开源社区使用[4]。
      • Claude系列:Anthropic通过闭源优化实现200k和100万token的上下文窗口[4][6]。

    应用场景

    场景典型需求适用模型示例
    长文档翻译整篇文档输入处理LongLLaMA、GPT-4 Turbo
    法律条文解析处理冗长合同或法规Claude 3、LongRoPE
    医学文献摘要解析大型研究报告Gemini、Claude 2.1
    中文长文本处理处理20万汉字级输入Kimi Chat、GPT-4 Turbo

    注意事项

    1. token计算差异

      • 中文字符通常约为0.6 token,英文单词约为0.3 token[2][8]。
      • 例如,GPT-4 Turbo的128k token对应约80万中文字符或40万英文单词[2][4]。
    2. 性能权衡

      • 上下文窗口扩展会增加计算成本(内存/GPU资源)[5][7]。
      • 部分模型(如Claude 3)需通过闭源优化实现高效长文本处理[6]。
  3. User

    llama4的是多少

  4. Perplexity Assistant

    Llama 4 模型参数与上下文能力

    核心参数规格

    模型版本总参数量活跃参数上下文长度处理硬件需求
    Llama 4 Scout1090亿(1.09T)170亿(17B)1000万 token单 H100 GPU[1][4][6]
    Llama 4 Maverick4000亿(4T)170亿(17B)100万 token单 H100 GPU[1][4][6]
    Llama 4 Behemoth超4万亿(>40T)288亿(288B)未公布多 GPU 集群[1][4]

    关键技术指标

    1. 上下文窗口

      • Scout:支持 1000万 token(约150万页文本),通过 iRoPE 架构实现超长文本处理[1][2][6]。
      • Maverick:上下文长度为 100万 token,适用于法律条文、医学文献等场景[1][6]。
      • 训练限制:两款模型均以 256K token 为基础训练,超过该长度可能性能下降[3][6]。
    2. 多模态能力

      • 预训练支持 48 张图像,后训练测试 8 张图像,结合文本提示进行视觉推理[2][6]。
      • 支持 12 种语言,但中文能力未明确优化,OCR识别和数学推理表现有限[7][8]。

    应用场景与限制

    场景适用模型注意事项
    超长文档处理Llama 4 Scout1000万 token 为理论上限,实际任务需验证[3][6]
    多模态交互Maverick/Scout中文图像理解能力尚未突破[7][8]
    大规模推理Behemoth仍在训练中,未发布具体参数[1][4]

    社区争议点

    1. 上下文窗口的实际效果

      • 虽然宣传 1000万 token,但训练数据仅覆盖 256K token,超长文本处理可能依赖推理技巧而非真实能力[3][6]。
      • 基准测试(如“大海捞针”)未能充分验证长文本理解能力,实际应用中可能存在幻觉风险[3][7]。
    2. 中文能力不足

      • 官方未明确包含中文在支持语言列表中,OCR识别和数学推理表现不如闭源模型(如GPT-4o)[7][8]。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.