Qwen3-235B-A22B 在消费级显卡实测TPS是多少?
- User
Qwen3-235B-A22B 在消费级显卡实测TPS是多少?
Assistant
根据搜索结果中的实测数据,Qwen3-235B-A22B的4bit量化版本在Apple Mac Studio M2 Ultra上能够达到28 tokens/sec (每秒28个token)的推理速度,同时占用约132GB内存[7]。
对于消费级显卡,搜索结果中提到如果使用8张RTX 4090显卡或2张H20显卡会运行得更快,但没有提供具体的TPS数据[7]。搜索结果也暗示,虽然这些配置可以获得更快的速度,但已经超出了普通消费者的折腾范围。
此外,有关于AMD显卡的信息提到,有用户在AMD AI MAX 395 128G版本上成功运行了类似规模的DeepSeek-V2 236B模型,但同样没有提供具体的TPS数据[7]。
值得注意的是,Qwen3-235B-A22B是一个MoE模型,虽然总参数量达到235B,但它的激活参数仅为22B[1][2],这使得它比同等性能的Dense模型在推理时需要更少的计算资源,但仍然需要相当大的显存或内存来存储模型权重。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.