>> 招商证券-电子行业ODX 2026首届算博会跟踪报告:从大模型演进到Token工厂,AI产业链共筑基础设施升级-260908
| 上传日期: |
2026/9/9 |
大小: |
1752KB |
| 格式: |
pdf 共45页 |
来源: |
招商证券 |
| 评级: |
推荐 |
作者: |
鄢凡,程鑫,谌薇 |
| 行业名称: |
电子 |
| 下载权限: |
此报告为加密报告 |
|
|
招商电子团队近日参加了在北京举办的ODX 2026大会,AI上下游产业链各公司专家做了非常详细的主题演讲,大会对当前AI产业发展现状深刻剖析,各论坛板块探讨火热,我们整理了本次大会部分演讲的核心观点,供投资者参考。 Token经济与大模型:终端应用与模型范式是硬件迭代的第一性驱动力,硬件升级要落到有效Token产出。生成式AI走向Agentic AI,单Agent走向多Agent协同等,这些变化依次重写了算力类型、访存模式、通信拓扑、存储层级、CPU/GPU配比和功耗曲线。GPU仍是算力核心,但新增价值量越来越多地流向CPU调度、HBM/DRAM/SSD多级内存、Scale Up网络、KVCache服务、800V供电、液冷以及整机柜系统工程。行业评价标准更关注Token/s、Token/W、单用户Token/s、TTFT、资源利用率及单Token成本等。 超节点与散热:液冷与800V、高速互连和机柜结构协同设计,整机价值要以Token/s等衡量。MoE、PD分离、长上下文和训推一体要求更大的Scale Up域,同时单芯片功耗持续提升,使传统8卡服务器、风冷机柜及按部件独立设计的模式同时失效。超节点因此演进为以机柜为最小交付单元,将CPU/GPU/XPU、内存和存储池、交换芯片、Cable Tray/正交背板、供电母线、液冷管路及管理单元统一设计。关于超节点架构,行业正朝着由模块化、三总线盲插和全液冷提升单柜密度及可维护性;更长期则与800VHVDC、NPO/CPO、全光互连及算电协同共同重构机柜几何形态。整机价值最终要以有效GPU卡时、Token/s、Token/W及可用率衡量,而非单纯比较理论峰值算力。1)超聚变:从2017年三总线液冷整机柜出发,已完成核心部件自研和百万级XPU规模商用,并把下一代目标推向672 GPU、1MW供电/制冷和全光互连;2)百度:一条线做计算节点模块化,另一条线推进天池1.0→3.0整柜演进,并已积累万卡级国产集群交付与运维数据;3)新华三:以UXM标准化解决异构XPU整机碎片化,同时探索正压与负压两条液冷路线。UXM把类PCIe、BFX和OAM三类模组纳入共同体系,统一54V供电、机械、液冷和高速接口,并允许不同Scale Up协议、正交或分布式整机架构并行。面对单芯片2kW并向5kW演进、交换芯片功耗超过3.5kW,公司同步推进800VPower Shelf、VPD和液冷方案。 网络与互连:互连复杂度持续提升行业光铜并进,业界对NPO重视度有所提高。当前互连行业呈现多轨并行、双轨并进的发展方向,Scale up、Scale out与Scale across同步扩容,以实现更高算力密度,互连的方式也从传统的GPU-GPU通信扩展为GPU-CPU-内存-SSD的全系统互连。1)互连方案上,依旧遵循“能用铜就用铜,必须用光再用光”的原则,产业趋势呈现出光铜并进的格局。Scale up作为智算互联中带宽压力最大的互连架构,目前含有铜、光两种技术路径,但随着互连规模的扩大,单机柜面临物理承载极限,因此需要跨机柜互连,进一步催生光互连需求。铜互连方面,随着传输速率的持续提升,为降低损耗同时延长铜缆生命周期,从传统的Cable Cartridge铜线缆方案进一步延伸出NPC以及最终的CPC方案;光互连方面,我们观察到业界普遍对NPO的重视程度提高,尽管其并非最终技术演进路线,但却是在兼顾技术落地进度、性能、功耗以及可维护性下的阶段性最优解。2)具体应用上,立讯技术遵循光铜并进的发展思路,在224G速率下具备完整的互联解决方案,覆盖从GPU到交换芯片、从板内到板间、从柜内到柜间的完整端到端链路,包括高速连接器、线缆组件、NPO/CPO连光板组件,同时配套散热、电源方案等。同时立讯已在开展448G速率完整方案预研,CPC方案实物样品已经产出,完全满足PAM6要求,PAM4还会迭代新版本,预计今年内可以推出;腾讯与阿里在光互连领域联合发起UPO标准制定,产业链上下游大量合作伙伴共同参与,共三种形态适配不同应用场景,与主芯片集成可采用多种集成方案,UPO标准采用LGASocket连接方案,实测指标可满足224G应用需求,也可平滑演进至448G。当前UPO标准制定速度加快,预计年底推出Type1 XDSocket产品,明年启动448GUPO标准制定。 存储:KVCache带来存储容量与传输两大难题,超节点形态或从连接算力走向连接存力。KVCache逐步成为推理场景新瓶颈,随着上下文长度、并发数量提升,KVCache占用容量会快速扩张,给推理系统带来压力。针对KVCache,除了解决存储容量,还需要解决传输速度、数据复用两大问题,当缓存利用率超过95%时,系统会从计算密集型转变为I/O密集型,KVCache传输瓶颈会凸显。因此,如何合理有效的管理KVCache对于推理工作负载至关重要,内存层级架构的精细分工与紧密互连重要性凸显。当前内存层级主要包含L1-GPUHBM→L2-CPUDRAM→L-本地SSD→L3.5-ICMS池→L4云存储,针对L1与L2之间的传输GAP,1)腾讯:提出L1.5解决方案,在现有超节点架构中接入独立内存池,直接在Scale up Switch接入专用DDR内存池,可为单颗GPU提供约500GB访问容量以及400-800GB/s访问带宽,可显著提高batch&
|
|