Tenstorrent的技术路线主张不用HBM,只采用DDR;片间互联只采用Ethernet而不是类似NVLink那样的专门协议。这样的路线有前途吗?
- User
Tenstorrent的技术路线主张不用HBM,只采用DDR;片间互联只采用Ethernet而不是类似NVLink那样的专门协议。这样的路线有前途吗?
- Assistant
以下是对您问题的详细分析。Tenstorrent 的技术路线确实独特:它主张不使用高带宽内存 (HBM),而是依赖传统的 DDR 内存;同时,在片间互联上,只采用 Ethernet-like 协议(如基于 SerDes 的标准网络协议),而非像 NVIDIA NVLink 那样的专有高速互连协议。这种设计源于 Tenstorrent 的核心哲学——强调成本控制、开放标准、能效优化和片上资源(如大容量 SRAM)的充分利用。但这种路线是否“有前途”?答案是:有一定前途,但局限于特定市场和场景,且面临显著挑战。下面我从多个角度分析。
1. Tenstorrent 技术路线的核心逻辑
Tenstorrent 的设计不是随意选择的,而是基于其创始人(前 AMD/NVIDIA 工程师 Jim Keller)的经验,针对 AI 加速器的痛点:
- 不使用 HBM,只用 DDR:
- 理由:Tenstorrent 依赖片上 SRAM(例如 Grayskull 系列的 120 MB SRAM)来处理大部分数据流动和计算,从而减少对外部内存的依赖。DDR(如 DDR5)被用作补充,提供足够的带宽(约 500 GB/s)来支持小到中型模型的训练和推理。他们认为,HBM 的高带宽(>1 TB/s)在许多场景下是“过度设计”,尤其在能效和成本敏感的应用中。
- 片间互联只用 Ethernet:Tenstorrent 使用标准 Ethernet 协议(如 100G/400G Ethernet)结合 SerDes(串行器/解串器)来连接多个 Chiplets(芯粒)。这允许系统线性扩展(如 Wormhole 系列可并联 16-64 个 Chiplets),但避免了专有协议的复杂性和供应商锁定。
这种路线旨在打造一个“轻量、开放、可扩展”的生态,与 NVIDIA 的“高性能专有”路线形成鲜明对比。
2. 优点:为什么这个路线有潜力?
Tenstorrent 的选择在某些方面是前瞻性的,尤其在成本和实用性上:
-
成本优势:
- HBM 内存非常昂贵(每 GB 成本是 DDR 的数倍),且供应链紧张(主要由三星、SK Hynix 垄断)。DDR 更便宜、易得,这让 Tenstorrent 的产品(如 Grayskull 和 Wormhole)更适合预算有限的客户,例如中小型企业、边缘计算部署或汽车行业。
- Ethernet 互联硬件标准化且广泛可用,不需要像 NVLink 那样定制芯片,这降低了整体系统成本和设计复杂度。
-
能效和简化设计:
- 片上 SRAM + DDR 的组合减少了内存访问延迟和功耗。例如,在推理任务中,数据可以大部分在 SRAM 中处理,仅在需要时调用 DDR,这在时延敏感场景(如自动驾驶或工业 IoT)有优势。
- Ethernet 的开放性便于与现有数据中心基础设施集成(如云服务器、标准网络交换机),降低了部署门槛。Tenstorrent 可以轻松构建大规模集群,而无需专有硬件。
-
市场契合:
- 边缘和嵌入式应用:AI 推理(如小模型在手机或汽车中的运行)更注重能效和成本,而不是极致带宽。Tenstorrent 已与 Hyundai/Kia 合作,将其 IP 用于电动汽车,这类场景不需要 HBM。
- 开放计算趋势:随着 RISC-V 和 UCIe (Universal Chiplet Interconnect Express) 等标准的兴起,标准化互联(如 Ethernet)能吸引开发者社区。Tenstorrent 的 IP 授权模式(可卖整卡或授权内核)让客户更容易集成这些技术。
- 能效优先的 AI 浪潮:全球对绿色 AI 的需求上升,DDR + Ethernet 的低功耗设计可能在能效比(TOPS/W)上胜过 HBM + NVLink 的高性能方案。
-
灵活扩展:
- 通过 Chiplet 和 Ethernet,Tenstorrent 可以线性扩展系统(如构建 10+ PetaOPS 的机箱),这在分布式计算中很实用,尤其当 HBM 供给不足时。
3. 缺点:潜在风险和局限性
尽管有上述优势,这个路线也存在明显短板,尤其在高性能领域:
-
性能瓶颈:
- 内存方面:HBM 提供的高带宽(例如 NVIDIA H100 的 3.35 TB/s)对超大规模模型训练(如训练 GPT-4 级模型)至关重要。DDR 的带宽较低(约 500 GB/s),可能导致数据传输延迟和计算瓶颈。在大模型时代,内存带宽需求呈指数级增长,Tenstorrent 的设计可能跟不上,导致在训练效率上落后于 NVIDIA 或 AMD。
- 互联方面:Ethernet 的延迟和带宽(典型 100-400 GB/s)不如 NVLink(可达 600 GB/s+,且优化了 AI 工作负载同步)。这在多 Chiplet 协作时,可能增加通信开销,影响整体系统性能。例如,在大规模并行训练中,芯片间同步延迟会拖慢整个过程。
-
竞争劣势:
- 与 NVIDIA/AMD 相比,Tenstorrent 在数据中心市场(占 AI 芯片 80%+ 份额)处于下风。NVIDIA 的生态(CUDA、NVLink)已深度优化,客户迁移成本高。
- 其他竞争者如 Intel Gaudi 或 Cerebras 使用 HBM 和更先进的互联,针对高性能训练更具竞争力。Tenstorrent 的路线可能被视为“折中方案”,适合中低端应用,但难撼主流。
-
技术风险:
- 扩展极限:虽然 Ethernet 可扩展,但在大规模集群中,其协议开销(如数据包处理)可能不如专有协议高效。如果 AI 模型继续变大(参数达万亿级),Tenstorrent 可能需要后期调整(如集成 HBM),这会增加兼容性问题。
- 软件生态:Tenstorrent 的编译器(如 μ-telligence Flow)需优化以掩盖硬件短板,但目前软件成熟度不如 CUDA,客户可能需要额外努力来适应。
-
市场风险:
- HBM 供应链虽紧张,但需求强劲;如果问题解决,Tenstorrent 的 DDR 策略可能显得过时。Ethernet 在高性能计算中的普及也需时间,短期内可能限制其在高端市场的渗透。
4. 前途评估:有多大机会?
这个路线的成败取决于市场演变和技术迭代。我的评估是:中等前途,适合细分市场,但需克服挑战。
-
有利因素:
- 短期(1-2 年):在边缘计算、汽车和工业应用中,这个路线有优势。成本敏感客户(如亚洲 OEM 或中小企业)会青睐 Tenstorrent 的开放设计。2023 年 Hyundai 的投资就是一个信号。
- 中长期(3-5 年):如果 AI 多样化(小模型推理增多)和开放标准兴起,Tenstorrent 可借 Chiplet 生态成长。Ethernet 的标准化能吸引更多伙伴(如与 ARM 或 RISC-V 生态整合),潜在市场份额可达 10-20%(聚焦非数据中心领域)。
- 全球趋势:地缘政治(如美中芯片战)推动“去 NVIDIA 化”,Tenstorrent 的低成本路线能吸引欧洲或亚洲客户。同时,能效法规(如欧盟的绿色计算)将放大其优势。
-
不利因素:
- 数据中心主导:AI 训练市场(高利润区)仍被 HBM 和专有互联垄断。Tenstorrent 若不升级(如 roadmap 中加入 HBM),可能被边缘化。
- 执行力考验:需快速迭代软件和硬件(如优化 Ethernet 协议),否则落后于竞争者。资金压力也大(Tenstorrent 融资额远低于 NVIDIA)。
- 概率:根据当前趋势,这个路线有 50-60% 的机会在细分市场立足,但要成为主流(挑战 NVIDIA),成功率低于 30%。
5. 总结与建议
Tenstorrent 的技术路线——不使用 HBM 只用 DDR,以及只采用 Ethernet 互联——是基于成本、能效和开放性的明智权衡。它在边缘 AI、推理任务和 IP 授权市场有前途,尤其能吸引对 NVIDIA 生态不满的客户。但在高性能训练领域,这个路线可能不足以竞争,因为它牺牲了带宽和低延迟来换取简化设计。
最终,前途取决于:
- Tenstorrent 的适应性:如果他们能在 roadmap 中灵活调整(如未来支持 HBM 选项),或专注优化现有优势,这个路线就能持续发展。
- 市场选择:建议潜在用户评估具体场景——如果你的应用更注重成本和能效,Tenstorrent 值得一试;如果需要极致性能,还是 NVIDIA 更可靠。
如果您有更多具体场景或问题(如与某个竞争者的对比),我可以进一步深入分析!
- 不使用 HBM,只用 DDR:
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.