>> 广发证券-半导体行业“AI的裂变时刻”系列12:从数据中心TCO角度看,GB200 NVL72性价比显著-240620
| 上传日期: |
2024/6/20 |
大小: |
825KB |
| 格式: |
pdf 共9页 |
来源: |
广发证券 |
| 评级: |
-- |
作者: |
王亮,耿正 |
| 下载权限: |
此报告为加密报告 |
|
|
核心观点: TCO是CSP等厂商的重要考虑因素。从提供云服务的CSP厂商的角度来讲,考虑整体集群系统的计算效率、能耗关系,因此对产品和解决方案能否提供更好的TCO(总体拥有成本;Total Cost of Ownership,TCO=一次性硬件投入CapEx+营运成本Opex)较为关注。TCO可结合算力租赁价格和利用率等因素,计算得出的ROI。从CSP等厂商角度看,TCO和ROI表现如何是CSP等厂商考虑是否建设数据中心新集群和建设集群大小的重要考虑因素。 英伟达产品和解决方案预计比竞争对手GPU带来更好TCO。当前数据中心面临不同厂商供应的GPU方案、同GPU厂商之间不同代际以及不同产品形式(如8卡服务器和Rack方案)等多种选择。GPU厂商之间的竞争已经从在单卡能力上的竞争升级为对产品AI集群系统的算力、网络通信能力以及能耗效率的提升。复盘英伟达的产品升级思路来看,公司产品系列从单GPU芯片性能升级到推出系统级解决方案平台,产品线也在朝着为客户降低数据中心的TCO的角度而升级。根据英伟达CEO黄仁勋在2024年3月的View From The Top会议上表示“即使竞争对手的芯片是免费的,就AI数据中心的TCO而言,也不够便宜”。 GB200 NVL72有利于降低AI集群功耗和TCO。液冷GB200 NVL72机架可减少数据中心的碳足迹和能源消耗。液冷增加了计算密度,减少了占地面积,并促进了与大型NVLink域架构的高带宽、低延迟GPU通信。根据Nvidia Blackwell白皮书,与同规模H100相比,GB200 NVL72的成本和能耗最多可降低25倍。过去,训练一个1.8万亿参数的模型,需要8000个Hopper GPU和15MW的电力,在2万个Blackwell GPU(使用GB200 NVL72,约278个Rack)就能完成这项工作,耗电量仅为4MW,即约为原有功耗的1/4。 GB200按照整机柜形式出货对ODM厂商提出更高要求。在GB200NVL时代,我们预计云服务商、NCP、品牌商等客户会直接下服务器订单,出货则以整机的形式来进行。在这种情况下,拥有提供整体解决方案的能力成为了ODM厂商获取订单的关键能力之一。此外,由于单机柜的价值量远高于此前的八卡DGX/HGX形式的服务器价值量,在buy and sell模式下,承接Rack需要撬动的资金规模更大,对ODM厂商的现金流合营运能力提出了更高的要求,因此规模越大、营运能力越强的厂商越具有优势。 风险提示。AI大模型推进不及预期;GPU价格、运营成本波动风险;GB200 NVL72/36量产节奏或需求不及预期。
|
|