GPU 买了那么多，跑起来却像「堵车」？

裁剪｜郑玄

最近两年，AI 行业最热的词一直绕不开「算力」。

从大模子试验，到本年 Agent 的火热，再到各家云厂商不停扩建智算中心，行业参议最多的，真是都是 GPU、芯片和算力鸿沟。约略只须卡够多，AI 就能继续往前跑。

但本质并不是。

不少作念大模子试验和推理的东谈主，仍是越来越彰着地感受到另一层问题：机器越来越贵，GPU 越来越强，但模子试验和推理的恶果，却莫得同步进步。

问题不一定出在算力自己，而可能出在另一件长久被冷酷的事情上——网力。

平头哥居品总监李旭慧打了个比喻：「淌若把算力比作 AI 期间的石油，网力即是输油管谈。算力提供能源，网力保险恶果。」

4 月 28 日，在数字中国修复峰会上，平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡，最大守旧 400Gbps 婉曲带宽，可应用于万卡智算集群、通算集群和高性能存储等场景，目下仍是量产，并将率先部署在阿里云数据中心。

磐脉 920 想要处分的即是「网力」问题。

今天的大模子试验，一个试验任务，经常需要几千以至上万张 GPU 同期互助。单张 GPU 性能再强，也必须跟悉数这个词集群保握同步。

问题在于，只须其中一部分节点慢下来，其他节点就只可恭候。他不雅察到，目下行业里好多万卡级智算集群，GPU 本色诈欺率较低，「能作念到 60%，仍是算行业顶尖水平。」

曩昔行业更容易温雅「有若干卡」，但本色在 AI 试验场景中，系统运作恶果并不是由最强的硬件决定，而是受限于集群里最慢的阿谁节点。「卓绝节点的算力会握续闲置恭候，形成大鸿沟算力浪费。」

磐脉 920 的发布本色上也指明了一个标的：当 GPU 仍是充足强之后，下一步到底该补那儿。

一张网卡，周转悉数这个词智算集群

当 AI 智能体开动进入信得过业务场景，推理业务的占比越来越高。

「在 Agent 应用爆发的配景下，推理业务的增长速率权贵快于试验。」李旭慧示意。

大模子试验强调强同步，而推理濒临的是多数突发、小包、高频肯求，对低时延和康健性的要求更高，这也意味着对「网力」的要求更高。

而概述一下磐脉 920 在作念的事，即是尽量减少整系统里的「堵」和「等」，通过网力的进步来开释 AI 算力。

其背后的竣事旨趣，有三个要道。

当先是守旧多旅途 RDMA，冲破单一谈径的局限。

平日相识，即是正本只可走一条高速，目下变成多条路同期分流。更要道的是，这些数据诚然分开走，但最终还能按礼貌准确拼回归。

李旭慧证实，磐脉 920 通过守旧逐包喷洒、乱序摄取和选择性重传，竣事 RDMA 多旅途。

从末端来看，这套决策带来的改善相比径直。

按照官方实测，磐脉 920 守旧单 QP 打满 400G 带宽，而同类主流居品带宽轻便唯有其一半。同期，多旅途智商不错把交换机端口缓冲区水线责问 90%，减少丢包和重传。

第二个要道贪图，是把「绕路」变成「直连」。

磐脉 920 最大的亮点之一，是内置 PCIe Switch。这亦然国内首个作念到这极少的 400G 智能网卡。

传统就业器架构里，PCIe Switch 往往部署在主板上，数据需要绕多个节点转发。末端即是，有的旅途长，有的旅途短，时延不一致。

关于需要高度同步的 AI 试验任务来说，这种「不整皆」会径直影响恶果。

李旭慧打了个比喻：传统架构里，往往会出现「四个下行通谈挤一个上行通谈」的情况。

这很像四条歧路同期汇入一条骨干谈，堵塞真是不能幸免。

磐脉 920 把 PCIe Switch 径直集成进芯片里面，让网卡与 CPU、GPU 形成更径直的承接联系。

少绕路，意味着更低时延；旅途更和谐，则意味着更康健的同步恶果。

证据平头哥实测，在疏浚集群鸿沟和任务条目下，部署磐脉 920 后，大模子试验和推理任务完成时期可裁汰 14%。

第三个要道，是让收集具备我方判断的智商。

传统网卡更多像搬运工。收到数据，搬曩昔，仅此汉典。

据了解，磐脉 920 加入了细粒度收集感知和可编程拥塞抑制智商。直白讲，即是它能主动避堵。让收集开动从被迫传输，变成主动调遣。

关于越来越复杂的 AI 集群来说，这种智商的紧迫性会越来越彰着。

从这些贪图能看出来，磐脉 920 并不是在追求参数上的浅薄进步，它作念的事情很求实，让仍是很贵的算力，少浪费极少，从而引发最大的潜能。

为何是阿里在界说 AI 基础设施？

除了性能自己，磐脉 920 背后更值得温雅的，是平头哥和阿里的全体布局。

曩昔几年，好多公司作念芯片，经常蚁合在单一步调，比如 GPU、AI 加快卡或者 CPU。

但平头哥的念念路是作念全栈。

目下，平头哥仍是形成四条居品线：真武系列 AI 芯片、倚天就业器 CPU、镇岳存储主控芯片，以及此次发布的磐脉系列智能网卡。

对应的，刚巧是数据中心里的几个要道步调：算力、存力和网力。

李旭慧在采访中示意：「单一芯片居品无法处分全链路问题，唯有买通算力、存力、网力，能力最大化开释 AI 硬件性能。」

这亦然平头哥和好多单点芯片公司的永别。它不是只作念一块性能更强的芯片，而是试图从悉数这个词系统角度去看问题。

好多芯片公司作念居品，先作念出来，再去找客户和落地场景。

但平头哥不是。

李旭慧告诉极客公园，磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断，畴昔 AI 一定会鼓舞数据中心收集智商升级。

「一线业务场景的本色需求，是芯片技巧迭代与居品优化的中枢驱能源。」先有阿里云的大鸿沟业务场景，再从本色场景需求里倒推居品界说。

这即是磐脉 920 的交易旅途。据贯通，和平头哥倚天、真武、镇岳系列芯片同样，它会先部署在阿里云数据中心。

从这个角度看，磐脉 920 的发布，自己即是阿里「通云哥」协同智商的一次体现。

通义认真模子，阿里云认真场景，平头哥认真底层硬件。模子需求鼓舞云基础设施升级，云场景又反向鼓舞芯片演进。

这种全栈自研的闭环，在国内科技公司里并未几见。「通云哥」的款式诚然前期插足大、周期长，但一朝走通，护城河也极深。

AI 竞争走到今天，比拼的仍是不是单点智商，而是这一整套系统能否顺畅运转。

跟着 AI 越来越多从试验走向推理，模子、云与芯片之间形成的握续反应轮回，全体上风的显现可能才刚刚开动。

* 头图开端：平头哥

极客一问

你如何看待「磐脉 920」？星空app