英伟达GPU卡间互联优势明显，发布NVL72采用铜连接方案
　　 2024年GTC大会，英伟达发布B200系列GPU与NVL72机柜。英伟达于美东时间3月18日举办2024 GTC大会，发布了多项重要产品。公司CEO黄仁勋介绍了运行AI模型的新一代芯片和软件，并正式推出名为Blackwell的新一代AI图形处理器（GPU），预计将在今年晚些时候发货。
　　英伟达每两年更新一次其GPU架构，实现性能的飞跃。过去一年发布的许多AI模型都是在该公司的Hopper架构上训练的，该架构被用于H100等芯片，于2022年宣布推出。Blackwell平台能够在万亿参数级的大型语言模型（LLM）上构建和运行实时生成式AI，而成本和能耗比前身低25倍。
　　英伟达称，Blackwell拥有六项革命性的技术，可以支持多达10万亿参数的模型进行AI训练和实时LLM推理：
　　1)全球最强大的AI芯片。Blackwell架构GPU由2080亿个晶体管组成，采用量身定制的台积电4纳米工艺制造，两个reticle极限GPU裸片将10 TB/秒的芯片到芯片链路连接成单个统一的GPU。
　　2)第二代Transformer引擎：结合了Blackwell Tensor Core技术和TensorRT-LLM和NeMo Megatron框架中的英伟达先进动态范围管理算法，Blackwell将通过新的4位浮点AI支持双倍的计算和模型大小推理能力。
　　3)第五代NVLink：为提高数万亿参数和混合专家AI模型的性能，最新一代英伟达NVLink为每个GPU提供了突破性的1.8TB/s双向吞吐量。
　　4)RAS引擎：Blackwell支持的GPU包含一个专用引擎，实现可靠性、可用性和服务性。此外，Blackwell架构还增加了芯片级功能，利用基于AI的预防性维护进行诊断和预测可靠性问题。这可以最大限度地延长系统正常运行时间，并提高大部署规模AI的弹性，使其能连续运行数周甚至数月，并降低运营成本。
　　5)安全人工智能：先进的机密计算功能可在不影响性能的情况下保护AI模型和客户数据，并支持新的本机接口加密协议，这对于医疗保健和金融服务等隐私敏感行业至关重要。
　　6)解压缩引擎：专用解压缩引擎支持最新格式，加快数据库查询，提供数据分析和数据科学的最高性能。未来几年，在企业每年花费数百亿美元的数据处理方面，将越来越多地由GPU加速。
　　此外，英伟达发布了GB200 NVL72，把18个Blackwell计算节点（ComputeTray）组合在一起，形成新一代计算单元。
　　GB200 NVL72中一共包含了9个NVLink交换节点（Switch Tray），每个交换节点中配置了2颗NVLink Switch芯片，向外提供14.4TB/s的聚合带宽。
　　如果要训练一个1.8万亿参数量的GPT模型，需要8000张Hopper GPU，消耗15兆瓦的电力，连续跑上90天。但如果使用Blackwell GPU，只需要2000张，同样跑90天只要消耗四分之一的电力。除了训练之外，生成Token的成本也会随之降低。GB200 NVL72训练和推理性能相比于等同数量的H100 GPU表现提升4倍和30倍。
　　从NVLINK 1.0到NVLINK 5.0，英伟达GPU卡间互联快速演进。作为英伟达的核心技术，NVLink在GPU网络通信系统中占据重要地位，其对于提升数据传输效率和处理性能具有显著作用。
　　NVLink技术实现了GPU与支持该技术的CPU之间以及多个GPU之间的高带宽直接连接，从而大幅提升了整体性能。然而值得注意的是，NVLink技术并未向行业开放，这在一定程度上影响了其他厂商在相关领域的竞争力。
　　英伟达不仅拥有出色的GPU和软件，还在跨多个GPU和系统横向扩展工作负载方面拥有丰富的技术积累。这些技术包括芯片上和封装上互连、用于服务器或pod中GPU到GPU通信的NVLink、用于超pod扩展的Infiniband以及连接到更庞大基础设施的以太网等。NVLink技术使得CPU与GPU之间能够实现快速数据交换，从而提升了整个计算系统的数据吞吐量，有效克服了加速计算领域的一大瓶颈。
　　随着英伟达GPU芯片的更新迭代，NVLink技术也在不断进化。从2017年的NVLink 2.0到2020年的NVLink 3.0，再到2022年的NVLink 4.0，每一次更新都带来了更高的性能和更广泛的应用场景。
　　在2024年的GTC大会上，英伟达推出了全新的NVLink 5.0技术，并与最新一代Blackwell芯片一同亮相。这一技术极大地提升了大型多GPU系统的可扩展性，单个Blackwell Tensor Core GPU支持多达18个NVLink 100GB/s连接，总带宽达到1.8TB/s，较上一代产品提升了两倍之多。此外，NVLink 5.0技术还支持跨节点扩展，通过NVLink Switch以及铜缆互联实现无缝、高带宽、多节点GPU集群的构建，从而满足数据中心级别的大型GPU需求。
　　利用NVLink技术，多服务器集群能够平衡GPU通信与增加的计算量，从而实现了更高的性能和效率。例如，在GB200 NVL72等服务器平台上，NVLink技术的应用使得这些平台能够支持更为复杂的大型模型，并提供了更高的可扩展性。这些优势使得英伟达在GPU网络通信领域继续保持领先地位，并为其在AI、数据中心等领域的广泛应用