Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

The default language is Chinese. Respond in this language. Summarize the given content.…

  1. User

    The default language is Chinese. Respond in this language.

    Summarize the given content.

    CUDA的时代和时代的CUDA:谈谈CUDA护城河 方佳瑞 吃果冻不吐果冻皮 2024年10月07日 12:04 四川 原文:https://zhuanlan.zhihu.com/p/720788384 今年GPU话题异常引人关注,多方面因素导致GPU话题几乎无处不在:大模型带来大量GPU算力需求,工程师开始学习GPU编程从而入门大模型Infra;NVIDIA股价屡创新高,一己之力带飞美股,让很多投资人关注GPU产业的商业前景;中美脱钩导致GPU禁运,吃瓜群众关注国内能不能造出自己的GPU替代品。现在漕河泾的出租车司机也能和你聊两句GPU。 谈到GPU,就离不开CUDA,和最近沸沸扬扬的CUDA护城河的话题。“CUDA 护城河理论” 主要是指 NVIDIA围绕其 CUDA技术构建的一系列竞争优势,使得其他竞争对手难以轻易进入和挑战其在相关市场的领导地位,让它在3万亿市值基础上可以继续高歌猛进。 CUDA作为GPU的编程模型,也是和我们MLSys从业者最相关的话题。这篇文章谈谈我对CUDA护城河理论的一些不成熟的看法。 我与CUDA 我是一个老CUDAer,从2014年算起写CUDA已经已经整整十年多了。写CUDA也是我安身立命的看家本领,在我的学业和工作发展阶段都发挥了关键作用。

    2014年我在清华高性能所做本科毕业设计,题目是用GPU加速共轭梯度法(PCG)求解系数矩阵为稀疏矩阵的线性方程组,那时候需要用cuSPARSE函数开始接触CUDA。2014年我博士第一个独立负责的横向项目是为一种用在石油物探领域的叫ETE的创新性的有限差分方法做GPU版本开发,它被用在中石油东方物探研究所的国产地震成像软件GeoEast-Lightning中。2019年,我博士毕业参加工作,落脚的第一个项目做了TurboTransformers,一个对标FasterTranformers的Transformers类模型加速引擎,这个项目让我工作半年走绿通晋级,论文发表后还引起了NVIDIA CEO老黄的关注(开始我也不信,NV的AE告诉我老王给他发邮件说的)。我也第一时间关注到了OpenAI Triton,21年那时候OpenAI发布了Triton,我的leader当时就建议可以用Triton重写一遍TurboTransformers,不过我忙别的事情没有付诸实践。

    2014年,离CUDA第一次出现的2006过了七年,当时GPU还是Fermi架构,CUDA学习资料很匮乏,最权威的文本资料是官方指南CUDA Best Practice,中文视频资料是台湾大学里老师讲的课程,里面很多叫法和大陆都不一样,比如管线程叫序,让我记忆犹新。

    2014年,NVIDIA会给高校做HPC的实验室免费送卡供学生实践CUDA,因此我们实验室有各种型号的GPU可供测试。但到Pascal架构开始就不免费送了,也正是那个时候深度学习崛起。

    2014年,CUDA是为科学计算设计的。为了加速科学计算应用,还要学CUDA fortran。从CPU移植程序到GPU是最常见的工作,CUDA有OpenACC这种编译指导语句来减少移植负担,对于上几万行fortran代码向GPU移植,OpenACC救了老命。

    2014年,CUDA的入门程序是3D stencil加速,通过这个例子你不仅可以理解grid、block、thread的线程组织方式的抽象,还能理解shared memory,registers等内存概念。那时候,我心中最高深的CUDA相关的研究是用多面体(polyhedral)方法做stencil的自动优化。CPU还是绝对的霸主,NVIDIA发布某类应用加速数据时候都要和最新的CPU性能做对比,最初的AI应用也是如此。Intel会辟谣GPU相比CPU加速几十倍都是扯淡,顶多相对CPU加速2、3倍,数据中心Xeon芯片的地位不可撼动。

    2014年,加速卡还有Intel Xeon Phi,编程和CPU一样。NUDT造的超算,天河1A用了NVIDIA GPU,天河2用的Xeon Phi。GPU在科学计算中的也是有竞争对的。

    CUDA的诞生 想要理解CUDA的现在,就需要了解他的过去,想要预测CUDA的未来,也需要从它出生的原点找答案。

    NVIDIA 1993年成立之初是做游戏显卡的,90年代美国做显卡公司如过江之鲫,NVIDIA和47家显卡公司玩大逃杀,存活了下来。2000年左右,主要的显卡公司剩下NVIDIA(N卡)和ATI(A卡)两家。

    GPU只用来打游戏那格局就小了,2000年初,美国高校计算机系研究人员开始hack GPU去运行复杂的科学计算领域的并行任务。2004年,斯坦福一个博士生Ian Buck进入英伟达实习,创造了GPGPU编程模型,他当时发表的论文《Brook for GPUs: stream computing on graphics hardware》摘要这样写到:

    在这篇论文中,我们介绍了Brook for GPUs,这是一个用于可编程图形硬件上通用计算的系统。Brook扩展了C语言,增加了简单的数据并行结构,使得GPU可以作为流式协处理器使用。我们提出了一个编译器和运行时系统,该系统抽象和虚拟化了图形硬件的许多方面。此外,我们还对GPU作为计算引擎的有效性进行了分析,与CPU进行了比较,以确定在特定算法中GPU何时能够超越CPU。我们通过五个应用对我们的系统进行了评估,包括SAXPY和SGEMV BLAS操作符、图像分割、FFT和光线追踪。对于这些应用,我们证明了我们的Brook实现与手工编写的GPU代码性能相当,并且比其CPU对应版本快至七倍。

    所谓GPGPU就是General-Purpose GPU,GPU不仅是做游戏的图形学运算,还要做CPU能做的任务,而且有些任务做得更好(注意上文中加粗部分)!自此,NVIDIA开始进军科学计算领域,而CUDA正是为此应运而生的统一编程接口。Ian Buck毕业后也加入了NVIDIA,来开发CUDA去商业化他的学术构想。

    CUDA 2006 正式发布,不过反响非常冷淡,华尔街不买账,认为GPU去做科学计算没有任何商业前景。但英伟达坚持将大笔资金投入到CUDA的研发中,为了把旗下的所有芯片都纳入CUDA的架构里,NVIDIA为此投入了巨大研发费用,有人说是累计投入超过百亿,但我没找到具体数据来源,公开资料应该都是总的研发费用,没法单独算CUDA部分的,不过NVIDIA确实给CUDA很大支持。经过多年努力,NVIDIA在GPGPU上初见成效,2010年我国NUDT的Tianhe-1A,2011年日本东京大学的Tsubame 2.0,2012年美国橡树岭国家实验室的Titan都适用了NVIDIA GPU。中美日三大超算强国都开始用NVIDIA GPU组建超算中心。

    2010年代前期,NVIDIA是比较迷茫的,消费的游戏GPU卡增长有限,进军移动处理器芯片失败,科学计算不温不火,股价也是十年一蹶不振,直到深度学习的出现。

    2012年,Geoffrey Hinton研究组用深度神经网络刷新了ImageNet,网络结构是大名鼎鼎的AlexNet,用了两块 GTX 580 GPU训练。AlexNet三位作者,一作Alex Krizhevsky后来脱离技术圈现在在搞投资,二作成为OpenAI首席科学家引领了AGI潮流的的Ilya Sutskever,三作是图灵奖得主Hinton。

    用CUDA来做AI研究,Hinton是先行者。2009年,Hinton带领的研究团队利用CUDA在GPU上训练了一个识别人类语音的神经网络,结果超级好。他在那年的学术会议上展示了这些成果,并联系了 NVIDIA说“我刚告诉了一千名机器学习研究人员他们应该购买 Nvidia 显卡。你们能免费给我一张吗?”但是,NVIDIA拒绝了。

    从AlexNet开始,NVIDIA借助CUDA先发优势,牢牢把握了时代脉搏,从cuDNN到NCCL,从Caffe到PyTorch,从TensoRT到Megatron-LLM,AI软件栈牢牢和CUDA生态绑定。这个时代很多人都亲历过,无须赘述。

    论CUDA护城河 总结一下上一章节,CUDA 最初是为科学计算而设计的,NVIDIA 寻求在消费级游戏显卡之外开拓新的市场机会。通过发展CUDA,NVIDIA 成功找到了在数据中心等高性能计算领域的第二增长点。

    大模型出来之后,NVIDIA GPU的产能供不应求,且毛利巨高,《巴伦周刊》资深撰稿人Tae Kim估计一张GPU利润率1000%。但我觉得这个有点危言耸听,这是只算原材料不包括研发成本,和声称一百美元成本是17美分一样,不过NVIDIA毛利高也是众所周知的事实。

    如此大的利益,不免有人觊觎。既然NVIDIA也是用台积电代工,为什么不能设计同样算力规格芯片,取代NVIDIA。

    这就诞生了CUDA护城河理论。该理论认为即使造出和NVIDIA一样GPU,配套了同样互联网络,仍然绕过CUDA让别人是用你的硬件系统。

    我们可以进一步拆解该理论的深层含义:

    • 历史包袱(存量)护城河:历史上的AI软件长在CUDA上,新的硬件向前兼容有很大的成本。也就是存量的软件已经被 CUDA 绑架。

    • 开发社区(增量)护城河:大量HPC开发者都学CUDA长大,每年五百万CUDA下载,换其他编程模型开发,开发者社区不同意。也就是增量软件开求CUDA最容易满足。

    先讨论历史包袱护城河:这个说法类似intel x86护城河。x86是intel的指令集架构ISA,最初由 Intel 于 1978 年随 Intel 8086 微处理器推出。x86 是一种 CISC架构,即使后面有更好的RISC ISA架构,但因为大量个人电脑的应用都是在x86上搭建的,如果切换成其他指令集,无法承担巨大了历史包袱。

    x86护城河让intel在个人电脑和数据中心在长期独孤求败,躺着赚钱。但是到移动时代x86护城河还是被攻破了,具体说就是intel拒绝了iphone的处理器订单导致Apple转而用ARM那一刻。因为手机是一个新的计算平台,没有历史包袱,一切都可以重来。

    CUDA是为科学计算而设计的,并在此基础上长出了一套很深的AI软件栈。第一层BLAS、FFT等Library,第二层是TensorRT、PyTorch、TensorFlow等Framework,第三层是DeepSpeed、Megatron-LM、NCCL等Distributed System。

    大模型应用CUDA部分的历史包袱其实并不大。如下图所示,AI只用了CUDA Library的一小部分,很多非AI的科学计算、光线追踪的函数并不需要。其次,大模型有只用了Software层的一小部分,PyTorch Aten 2000多个算子,大模型可能只用几十个。最后,Distributed System中网络通信的组件和CUDA无关。

    Image 对于非大模型类的存量AI软件栈导致的CUDA护城河,2023年 Intel CTO Greg Lavender有一妙计可解。面对一大堆专为英伟达CUDA平台编写的遗留代码,他建议用LLM将这部分代码转换成可以在其他AI加速器上运行的代码,用魔法打败魔法。如果大模型在AI领域算力需求能占八成,把剩下两成非大模型的AI算力需求留给CUDA也未尝不可。

    再说开发社区,鉴于NVIDIA十多年的苦心经营,大量学生和工程师熟练掌握CUDA,它们也成为NVIDIA护城河的一道人墙。不过,大模型其实对软件栈的人力需求相比传统 AI 产并不大,模型结构有限,算子有限,计算范式有限,迭代速度本来就慢于传统AI软件栈。@mackler 有一个很犀利的洞察,这是机器比人贵的时代。几个亿的机器,也是月薪三万的牛马在操作。有钱能使鬼推磨,如果能让机器运转起来,总会有人去学新的编程模型开发。

    简单总结一下,大模型高度统一的模型结构,减掉了存量的AI软件栈包袱。机器比人贵的时代,让人学新的编程范式也符合经济规律。其实昇腾过去一年在国内的成功就是例子。如果不考虑政治因素,试想一个用先进制程4nm造出来能对标H100的昇腾,配备一万人来打AI软件栈会战,产量足够大导致价格是NVIDIA同类产品的1/2,是不是NVIDIA也不是不可战胜。国外也有一堆为大模型定制的芯片整装待发了,它们的软件栈怎么设计,让我们拭目以待。

    CUDA是否是NVIDIA护城河和大模型时代是否需要AI Compiler是一体两面。大部分人认为大模型不需要AI Compiler,原因也是计算范式收敛成Transformer,底层硬件收敛成GPU,没有M个模型:N个硬件的需求。CUDA的作用就是让M个模型:GPU。如果模型收敛成固定几种,只要硬件成本能打下来,通用的编程范式没那么重要。

    CUDA护城河和Triton,torch.compile 很多人说Triton和torch.compile等绕过CUDA操作GPU的工具出现可以打破了CUDA护城河。比如,最近流行的PyTorch用triton加速llm推理blog《CUDA-Free Inference for LLMs》,这几天的OpenAI Triton Summit也有众多硬件厂商,AMD、Intel、高通准备支持Triton。

    我觉得恰恰相反,它们其实也是在给CUDA生态添砖加瓦。Triton是一个CUDA的Python DSL,绕过CUDA去直接支持其他NPU很奇怪。更多人去适配Triton,那么更多的底层的硬件编程模型向CUDA看齐,还是在参与CUDA制定的游戏。Torch.compile后端inductor默认是用triton的,他只是颠覆了TensorRT,而不是CUDA。

    给入门GPU新手一些建议 很多想入门大模型Infra的同学认为会CUDA是非常重要的,很多人也把会写CUDA当成自己的职业竞争力。我是觉得这个观点有些片面。

    CUDA是开发人员给GPU编程的手段,多年前只有CUDA能操作GPU,但是现在有很多更简单便捷的方式,比如上文提到的OpenAI Triton,torch.compile还有cutlass等现成的接口,学习的优先级反而应该是先易后难。比如我最近做xDiT[1],加几行代码就能给HunyuanDiT搞出40%的提升,这不比写CUDA有性价比。

    另外,2014年我们写CUDA,是因为有些程序真的是第一次上GPU去跑,大家不得不从头开发。经过十多年深度学习的大干快上,你能见到的模型中大部分算子都被人实现了CUDA版本,包括大量NVIDIA的老师傅的版本,所以复用专家的最佳实践是更明智选择。

    最后,现在的GPU编程是越来越难了,一些新的硬件特性比如TMA、TensorCore的编程都非常复杂,没有专业指导很那写出性能合格的CUDA代码。

    不得不写CUDA的场景越来越少,常见的可能是自研模型见不得光,有些算子没有现成实现,需要写写CUDA。

    Reads 257

    ​

  2. Assistant

    这篇文章详细讨论了NVIDIA的CUDA技术及其在当前GPU产业中的重要性,强调CUDA作为GPU编程模型,为NVIDIA在市场上建立了深厚的护城河。文章分享了作者十年来使用CUDA进行高性能计算的亲身经历,解释了CUDA从最初为科学计算而设计的发展历程,直到在AI领域取得的成功。此外,作者对CUDA护城河理论进行分析,认为NVIDIA通过其成熟的开发社区和历史软件生态系统,建立了其他竞争对手难以超越的壁垒。同时,文章还讨论了AI编译器是否需要的问题,以及近年来像Triton等新工具的兴起对CUDA生态系统的影响。最后,还给有意学习GPU编程的新人提供了一些建议,指出更易用的Python工具可能是更好的学习起点。