爱上小男人

WAIC观众更爱看超节点的背面_我的网站

A |     

E |          机柜背面的重点则是高速互联、交换网板，供电与配电单元（PDU）以及光模块插槽等，主要负责连接千卡或万卡、解决带宽瓶颈。         超节点不是芯片数量的堆砌。模型参数开始从千亿上升到万亿、训练集群扩张到万卡乃至十万卡量级，企业要比拼的不是单张卡能算多快，而是成千上万张卡能否算到一起。         因此，关注超节点真实效率的行家，想从机柜背面看到各家打通通信瓶颈的解决方案：阿里云磐久AL128围绕AI训练和推理重构机内互联，为超节点之间预留大规模Scale-out（横向扩展）带宽；百度智能云自研XPU-Link互联协议，中兴通讯发布OEX超节点；华为强调灵衢互联，将芯片级、单板级和机柜级通信纳入统一协议。         韩国参观团了解百度昆仑芯的超节点（陈月芹/摄）          中科曙光展出的全国产十万卡AI超集群曙光8000（登峰），是“算力在沸腾”的具象化。这是一套采用浸没相变液冷技术的机柜，把芯片泡在特殊的“水”（电子氟化液）里，芯片工作时发热，液体吸热变成一个个气泡，把热量带走，冷却后再变回液体，循环往复。

F |          一位中科曙光的工作人员介绍，这种电子氟化液约10万元/吨，会挥发，不够可以补加。中科曙光用了近三年时间，才找到合适的液体，完成从液体配方到整机设计的全链条自研。         中科曙光的超节点会“冒泡”（陈月芹/摄）          大模型进化，把压力给到上游          除了超节点，今年WAIC的另一个高频词是Token（词元）工厂。芯片上下游企业不能只卖卡，还需要提供Token服务。

G |          中科曙光的超节点会“冒泡”（陈月芹/摄）          一家头部国产GPU企业人士向经济观察报解释，传统GPU最早是做显卡、擅长图形处理的，如果直接拿来用在大模型上，效果不太好。

H | 如果用同一张卡既做Prefill（编码处理输入），又做Decode（解码处理输出），是不划算的。因此，这家头部国产GPU企业的方案是：用大算力的卡专门处理输入，用小算力但大带宽的卡专门处理输出，使同等成本下的数据处理量实现成倍增长。         月之暗面是这家头部国产GPU企业的客户之一。近期KIMI K3模型爆火，不少企业在展台询问KIMI K3的降本逻辑。该头部国产GPU企业人士解释，我们是一个推理芯片的生产工厂，我不关心客户生产的是什么，我在乎的是用最小的成本，让这千张卡一天内能回答更多的问题、提供更多的服务。

I |          大模型、Agent（智能体）能帮人类处理更多复杂任务，也对上游算力企业提出了更高的要求。无问芯穹联合创始人兼CEO夏立雪认为，Agent推理需求上下文极长、交互轮次极多、缓存命中率极高，对吞吐、时延、缓存复用的要求，远高于传统对话场景。仅依靠产能的线性增长去堆叠算力，已经远远无法弥合供需之间持续扩大的缺口。         无问芯穹的解决方案是跨集群异构PD分离架构，用高性价比的广域网以太网把分布在各地的、已经建好的同构数据中心连起来。         这些Token工厂及下游大模型企业眼下的重点，不是“卷”生产单个Token有多便宜，而是计算把一个任务办成要花几个字、调几次、错几次，能不能更快、更高效。         企业正在加速扩产。7月19日，中科曙光相关负责人在向广东省委参观团讲解产业链落地情况时透露，中科曙光计划在广州天河区投资建设一个海光产业创新中心，将数千家生态上下游企业聚合，提供设备适配与展示平台，目前已洽谈到第二轮。         将成百上千张卡“算到一起”，一个超节点整机柜群功耗可能高达400KW（千瓦），单台高密度机柜的功耗在50KW以上，这对供电、散热和承重提出了严苛要求。         一家关注柜式节点的采购企业，把两个问题抛给了多家上游企业：一是整体方案能支持多少张卡，想加上更多卡时能怎么互联；二是和英伟达相比，国产GPU耗电量等后期成本有多高。他需要计算硬件成本和运维成本的总账。

Current article:http://www.qiniaohongfangfoguisenzhai.cyou/list_elpwmm/bmpf2.pptx

Published on:17:32:18