Skip to content
TheChatArchiveThe Chat Archive
Perplexitysonar-reasoning-pro-high· PerplexityHugging Face LMArena Search Arena 24K

Qwen3-235B-A22B 在消费级显卡实测TPS是多少?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.5-pro-exp-03-25-grounding’s answer.
  1. User

    Qwen3-235B-A22B 在消费级显卡实测TPS是多少?

  2. Perplexity Assistant

    根据搜索结果中的实测数据,Qwen3-235B-A22B的4bit量化版本在Apple Mac Studio M2 Ultra上能够达到28 tokens/sec (每秒28个token)的推理速度,同时占用约132GB内存[7]。

    对于消费级显卡,搜索结果中提到如果使用8张RTX 4090显卡或2张H20显卡会运行得更快,但没有提供具体的TPS数据[7]。搜索结果也暗示,虽然这些配置可以获得更快的速度,但已经超出了普通消费者的折腾范围。

    此外,有关于AMD显卡的信息提到,有用户在AMD AI MAX 395 128G版本上成功运行了类似规模的DeepSeek-V2 236B模型,但同样没有提供具体的TPS数据[7]。

    值得注意的是,Qwen3-235B-A22B是一个MoE模型,虽然总参数量达到235B,但它的激活参数仅为22B[1][2],这使得它比同等性能的Dense模型在推理时需要更少的计算资源,但仍然需要相当大的显存或内存来存储模型权重。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.