研究报告全文：证券研究报告行业深度报告2023年04月11日温控液冷AIGC按下加速键推荐维持数字经济算力网络系列7TMT及中小盘通信本篇报告分析了算力需求提升对于数据中心液冷温控方案的需求拉动我们认行业规模为随着数据中心单机柜平均功率密度的持续增加液冷温控方案的能力与经占比股票家数只济性优势将会持续凸显国内互联网厂商陆续推出AIGC产品将为液冷解决18137总市值亿元3017735方案市场带来全新增量维持对通信行业的推荐投资评级流通市值亿元2142229算力需求提升带动服务器功耗走高液冷散热成为有效解决方案随着大模行业指数型等系列AIGC产品的商业化落地AI服务器的需求将会快速提升其中大1m6m12m量的高功率CPUGPU芯片将带动整台AI服务器功耗走高未来AI集群算绝对表现137462364力密度普遍有望达到20-50kW柜自然风冷技术一般只支持8-10kW冷热相对表现103359394风道隔离的微模块加水冷空调水平制冷在机柜功率超过15kW后性价比大幅通信沪深30060下降液冷散热方案的能力与经济性优势逐步凸显40数据中心液冷技术路径主要有冷板式液冷浸没式液冷喷淋式液冷三大类目前市场上主流的液冷技术共有冷板式浸没式和喷淋式三种对比来看20冷板式液冷技术改造成本低技术最成熟浸没式和喷淋式液冷技术冷却效0果更好但改造成本高且现阶段落地应用较少-20Apr22Aug22Nov22Mar23我国IDC温控市场不断扩容国产品牌市场份额持续提升根据产业在线数资料来源公司数据招商证券据2021年我国机房专用空调市场规模达5009亿元同比增长149其相关报告中风冷冷冻水其他技术形式的占比分别为56830811239风冷技术仍然占据主导地位竞争格局方面英维克申菱等国产品牌的份额持续1运营商系列报告5解析运营商提升2021年英维克机房专用空调营收749亿元同比增长3061预计产业链把握数字经济全景图2023-03-13未来随着AI服务器需求量的快速增长液冷温控方式加速导入国产厂商将2数字经济系列报告3数字中国迎来全新的发展机遇规划推出或驱动光模块技术升级与预计国内互联网厂商推出大模型将带来近百亿液冷解决方案市场增量空间需求爆发2023-03-02TCO优势逐步凸显根据我们的测算结果国内互联网大厂AIGC算力模型3数字经济系列报告2把握数字的应用有望带来3441亿冷板式液冷增量与5899亿元浸没式液冷增量总经济投资脉搏2023-03-02计934亿元液冷解决方案市场空间CAPEX方面冷板式液冷系统单ITkW投资将低于传统风冷系统OPEX梁程加S1090522060001方面液冷解决方案将低于传统风冷方案综合整个TCO角度分析当liangchengjiacmschinacomcn胡小禹S1090522050002单机柜功率15kW时冷板式液冷TCO优势明显当单机柜功率30kWhuxiaoyu1cmschinacomcn时浸没式液冷开始出现优势董瑞斌S1090516030002国内液冷温控解决方案供应商英维克申菱环境机械组覆盖dongruibincmschinacomcn高澜股份电新组覆盖同飞股份中小盘联合覆盖佳刘玉萍S1090518120002力图计算机组覆盖依米康家电组覆盖等在数据中心液liuyupingcmschinacomcn冷解决方案均有研发储备和一定进展建议关注游家训S1090515050001youjxcmschinacomcn风险提示算力投资不及预期的风险产业竞争加剧风险地缘政治风险史晋星S1090522010003shijinxingcmschinacomcn孙嘉擎S1090523040001sunjiaqingcmschinacomcn敬请阅读末页的重要说明行业深度报告正文目录一液冷温控系统在高性能智算超算中心不可或缺61后摩尔定律时代芯片算力与功耗同步大幅度提升62AI拉动算力密度从8KW柜提升到50KW柜8二不同液冷技术的工作原理101冷板式液冷是目前成熟度最高应用最广泛的液冷技术102浸没式液冷是最常见的直接接触型液冷技术散热效率高113喷淋式液冷是面向IT设备精准喷淋直接接触式的液冷技术124液冷方式对比浸没式冷却效果最佳冷板式技术最成熟13三液冷行业竞争格局与市场规模151收入端高算力需求推动IDC数据中心发展为液冷服务器市场提供土壤152竞争格局海外液冷竞争格局分散中国企业厚积薄发实现商业化突围163成本端散热能耗是高电力成本主要因素高效冷却手段有助于IDC降本184液冷解决方案市场空间大模型应用预计将带来近百亿液冷解决方案市场空间20四温控解决方案标的梳理221英维克精密温控节能解决方案提供商算力时代加速液冷产品线升级222申菱环境专用空调设备提供商助力数据中心低碳节能发展263高澜股份纯水冷却设备出身逐步向新能源信息通信热管理拓展314同飞股份深耕工业温控领域凭借液冷技术积累发力数据中心领域345佳力图专注机房环境节能控温设备延伸至下游IDC优化产业链布局376依米康以精密空调起家的数字基建全生命周期绿色解决方案服务商41图表目录图1IntelNVIDIA历年CPUGPU功耗变化6图2服务器功耗机架功耗使用空间计算方法8图3全球数据中心单机柜功率变化情况及预测kW8图4机柜功率密度所对应的散热冷却方式8图52021年国内全行业数据中心单机柜平均功率密度占比9图62022年国内全行业数据中心单机柜平均功率密度占比9图7冷板式液冷系统部件拆分图10图8冷板式液冷整体链路图11图9IT机箱单相浸没技术示意图11敬请阅读末页的重要说明2行业深度报告图10水池单相浸没技术示意图12图11水池两相浸没技术示意图12图12喷淋式液冷系统工艺流程原理图13图132017-2024年中国IDC市场规模及预测亿元15图142021年中国在运营IDC机柜资源地域分布15图15数据中心工作负载发展趋势15图162020年全球数据中心平均单机架功率情况15图172017-2021年我国机房专用空调细分产品销售规模及yoy亿元16图182020-2021年我国机房专用空调细分产品结构占比16图192021年我国机房专用空调细分品牌销售规模及yoy亿元16图2021年我国机房风冷空调品牌销售规模亿元16图2121年我国机房冷冻水空调品牌销售规模亿元16图22国内外液冷服务器发展历程17图232020年中国液冷数据中心厂商竞争力矩阵图17图24数据中心Capex结构18图25数据中心Opex结构18图262019年中国数据中心能耗分布18图27新增液冷解决方案市场空间测算21图28英维克发展历程23图292016-2022Q3英维克营业收入与归母净利润情况与增速亿元23图302016-2022Q3英维克毛利率净利率情况23图312017-2022H1英维克各业务板块收入情况亿元24图322021年英维克各板块业务收入占比24图33英维克各业务板块下游客户25图34英维克液冷产品情况26图35申菱环境发展历程27图362016-2022Q3申菱环境营业收入与归母净利润情况与增速亿元28图372016-2022Q3申菱环境毛利率净利率情况28图382017-22H1申菱环境各业务板块收入情况亿元28图392021年申菱环境各板块业务收入占比28图40申菱环境各业务板块下游客户29图41申菱数据中心液冷温控系统30敬请阅读末页的重要说明3行业深度报告图42公司液冷温控系统应用于中国移动南方基地30图43高澜股份发展历程31图442016-2022Q3高澜股份营业收入与归母净利润情况与增速亿元32图452016-2022Q3高澜股份毛利率净利率情况32图462019-2022H1高澜股份各业务板块收入情况亿元32图472021年高澜股份各板块业务收入占比32图48高澜股份主要客户33图49高澜股份数据中心温控技术发展过程及液冷解决方案34图50同飞股份主要产品演变情况35图512017-2022Q3同飞股份营业收入与归母净利润情况与增速亿元35图522017-2022Q3同飞股份毛利率净利率情况35图532017-2022H1同飞股份各业务板块收入情况亿元36图542021年同飞股份各板块业务收入占比36图55同飞股份各业务板块主要客户37图56同飞股份数据中心液冷间接蒸发冷产品示例37图57同飞股份风墙产品示例37图58佳力图发展历程38图592017-2022佳力图营业收入与归母净利润情况与增速亿元39图602017-2022佳力图毛利率净利率情况39图612018-2022佳力图各业务板块收入情况亿元39图622022年佳力图各板块业务收入占比39图63佳力图核心下游客户40图64依米康发展历程42图652017-2022Q3依米康营业收入与归母净利润情况与增速亿元43图662017-2022Q3依米康毛利率净利率情况43图672018-2022H1依米康各业务板块收入情况亿元43图682022H1依米康各板块业务收入占比43图69依米康核心下游客户44图70通信行业历史PEBand46图71通信行业历史PBBand46表1Intel第四代至强处理器节选6敬请阅读末页的重要说明4行业深度报告表2AI服务器CPUGPU情况及功耗7表3AI服务器系统整体功耗以NVIDIADGXA100640GB为例7表4三种液冷方式对比13表5TCO分析假定边界条件19表6三种情况下的风冷液冷系统CAPEX比较19表7风冷液冷系统OPEX比较19表8风冷液冷系统TCO比较20表9新增液冷解决方案市场空间测算假设与测算结果20表10主要标的液冷温控技术与产品对比22表11英维克分业务营收及毛利率24表12英维克机房温控产品部分25表13申菱环境分业务营收及毛利率28表14申菱环境数据中心温控产品部分30表15高澜股份分业务营收及毛利率32表16同飞股份分业务营收及毛利率36表17佳力图分业务营收及毛利率39表18佳力图IDC产品部分41表19依米康分业务营收及毛利率43表20依米康关键制冷设备产品部分44敬请阅读末页的重要说明5行业深度报告一液冷温控系统在高性能智算超算中心不可或缺后摩尔定律时代下CPUGPU芯片的功耗随着算力能力的提高而大幅提升IntelAMD主流系列处理器功耗已达到350W400WNVIDIAH100计算卡最大功耗可至700W已经突破传统风冷系统散热能力范畴同时随着大模型等系列AIGC产品的商业化落地对于AI服务器的需求将会快速提升AI服务器中大量使用高功率CPUGPU芯片带动整台AI服务器功耗走高用于训练ChatGPT的NVIDIAA100服务器的最大功耗已达65kW受制于建设面积等客观因素增加单机柜功率密度成为调和快速增长的算力需求与有限的数据中心承载力之间的有效方案AI集群算力密度将达到20-50kW柜2022年国内全行业数据中心单机柜平均功率密度中8-12kW占比15同比增长7pct12-20kW占比10同比增长7pct高功率数据中心机柜占比迅速增加自然风冷的数据中心单机柜密度一般只支持8-10kW冷热风道隔离的微模块加水冷空调水平制冷在机柜功率超过15kW后性价比大幅下降液冷散热成为解决算力爆发增长下高功率密度机柜温控的有效解决方案1后摩尔定律时代芯片算力与功耗同步大幅度提升后摩尔定律时代芯片算力与功耗同步大幅度提升风冷散热技术面临严峻挑战1CPU方面随着内核数量的增加处理器性能不断提高带动处理器功率不断增加特殊场景下如高性能云计算处理器将使用超频以提高运算性能进一步提升功耗Intel2023Q1发布的第四代至强处理器多款子产品热设计功耗达350WAMDEPYC9004系列处理器单颗多达96个核心最大功率可达400W2GPU方面2022年英伟达于GTC大会上发布H100计算卡其具有SXMPCIe50两种样式最高功耗可达700W已超出传统风冷系统散热的能力范畴于是英伟达直接在机架中整合液冷散热系统取代传统的系统风冷散热图1IntelNVIDIA历年CPUGPU功耗变化NVIDIAIntel500400300200100020092010201120122013201420152016201720182019资料来源Intel官网NVIDIA官网招商证券表1Intel第四代至强处理器节选产品名称内核数量最大睿频频率处理器基本频率热设计功耗Platinum8444H16400GHz290GHz270WPlatinum8450H28350GHz200GHz250WPlatinum8452Y36320GHz200GHz300WPlatinum8454H32340GHz210GHz270WPlatinum8458P44380GHz270GHz350WPlatinum8460H40380GHz220GHz300WPlatinum8460Y40370GHz200GHz300WPlatinum8461V48370GHz220GHz300WPlatinum8462Y32410GHz280GHz300WPlatinum846848380GHz210GHz350WPlatinum8468H48380GHz210GHz330WPlatinum8468V48380GHz240GHz330W敬请阅读末页的重要说明6行业深度报告Platinum847052380GHz200GHz350WPlatinum8470N52360GHz170GHz300WPlatinum8470Q52380GHz210GHz350WPlatinum8471N52360GHz180GHz300WPlatinum848056380GHz200GHz350WPlatinum8490H60350GHz190GHz350W资料来源Intel官网招商证券算力升级大趋势下AI服务器渗透率快速提升A100服务器最大功耗可达65kWAI服务器由于涉及到多个大数据集并部署可伸缩的神经网络算法一般采用异构形式架构根据实际需求采用CPUGPUCPUTPUCPU其它的加速卡的组合方式根据IDC数据2022年全球AI服务器市场规模达202亿美元同比增长298占服务器市场规模的比例为164同比提升12pct预计随着AI大模型推理与训练需求的持续增长AI服务器渗透率将会持续提升相比于传统服务器AI服务器的CPUGPU功耗也随之走高如H3C面对通用计算AI应用的UniServerR4950G6UniServerR5350G6服务器其采用AMDEPYC9004系列处理器最大功率将达到400W对于整机而言以训练ChatGPT的NVIDIADGXA100640GB为例其采用双路AMDRome7742与8颗NVIDIAA10080GBTensorCoreGPU最大整体功耗达到65kW表2AI服务器CPUGPU情况及功耗生产厂家产品型号CPUGPU支持2颗AMDEPYC9004系列处理器单颗支持多达4块双宽或10块单UniServerR4950G6多达96个核心最大功率400W宽GPU卡支持2颗AMDEPYC9004系列处理器单颗UniServerR5350G6支持多达10张双宽GPU多达96个核心最大功率400WH3C最大支持2颗AMDEPYC第二代处理器UniServerR5500G5NVIDIAHGXA1008-GPU最高64核最大支持功率280WApollo6500Gen10Plus支持2颗AMDEPYC70027003系列处理器NVIDIAHGXA1008-GPUProLiantXL675d可支持最高功耗达280WNF5688M62颗270WIntelIceLake处理器8颗NVIDIAA800GPUNF5488A52颗280WAMDEPYC处理器8颗NVIDIAA800GPU浪潮信息NF5468M62颗230W第三代智能Intel至强可扩展处理器支持8块8块350WGPU卡支持2个双宽GPU或4个单NF5280A62颗280WAMDEPYCTMMilan系列处理器宽GPU中兴通讯R5300G52颗SapphireRapidsCPU最大功率350W-资料来源H3C官网浪潮信息官网中兴通讯微信公众号招商证券表3AI服务器系统整体功耗以NVIDIADGXA100640GB为例系统规格CPU双路AMDRome7742共128个核心225GHz基准频率34GHz最大加速频率GPU8颗NVIDIAA10080GBTensorCoreGPUGPU显存640GB操作系统2个192TBM2NVME驱动器存储内部存储30TB8个384TBU2NVMe驱动器NVIDIA6NVSwitch5petaFLOPSAI性能10petaOPSINT8系统功耗最大65kW资料来源NVIDIA招商证券敬请阅读末页的重要说明7行业深度报告图2服务器功耗机架功耗使用空间计算方法资料来源CDCC产业调研招商证券2AI拉动算力密度从8KW柜提升到50KW柜数据中心单机柜平均功率密度逐年提升AI集群算力密度普遍达到50kW柜算力的爆发式增长需要海量的服务器进行支撑但受制于数据中心建设面积等客观因素增加单机柜功率密度成为调和快速增长的算力需求与有限的数据中心承载力之间的有效方案根据赛迪顾问中国液冷数据中心发展白皮书2020数据预计2025年全球数据中心单机柜平均功率有望突破25kW其中根据ODCC冷板式液冷服务器可靠性白皮书数据AI集群算力密度有望达到20-50kW柜根据CDCC统计数据2021年国内全行业数据中心单机柜平均功率密度中8-12kW占比812-20kW占比32022年国内全行业数据中心单机柜平均功率密度中8-12kW占比15同比增长7pct12-20kW占比10同比增长7pct高功率数据中心机柜占比迅速增加自然风冷的数据中心单机柜密度一般只支持8-10kW冷热风道隔离的微模块加水冷空调水平制冷在机柜功率超过15kW后性价比大幅下降未来随着数据中心设备发热量持续增大散热冷却系统移热速率亟需与产热速率相匹配否则机柜温度不断升高将导致算力下降并损害设备此时液冷散热方案在散热能力与经济性上的优势逐步凸显大型第三方数据中心企业客户订单中已明确出现液冷机柜需求如超大规模数据中心整体解决方案提供商润泽科技表示部分外地所开发的客户在进行数字化转型业务时需要公司提供液冷机柜要求为20kW或30kW冷板式液冷为公司未来的一个主流技术方向客户对此接受度较好已经开始准备批量交付液冷机房未来随着企业数字化改造的深入推进算力需求的不断提升需求端对于20kW以上的高功率液冷机柜的接纳度也将持续提高图3全球数据中心单机柜功率变化情况及预测kW图4机柜功率密度所对应的散热冷却方式3002502001501005000200820162020E2023E2025E资料来源ColocationAmerica赛迪顾问招商证券资料来源绿色高能效数据中心散热冷却技术研究现状及发展趋势招商证券敬请阅读末页的重要说明8行业深度报告图52021年国内全行业数据中心单机柜平均功率密度图62022年国内全行业数据中心单机柜平均功率密度占比占比12-20kW2-4kW12-20kW2-4kW8-12kW36101588-12kW154-6kW6-8kW49346-8kW4-6kW1545资料来源CDCC招商证券资料来源CDCC招商证券敬请阅读末页的重要说明9行业深度报告二不同液冷技术的工作原理液冷技术按照液体与发热器件的接触方式可分为间接接触型和直接接触型两大类间接接触型液冷技术是指服务器热源与液冷剂之间没有直接接触的换热过程其中冷板式液冷是最典型的间接接触型液冷技术直接接触型液冷技术是将发热部件与直液冷剂直接接触的冷却方式主要有浸没式液冷和喷淋式液冷两种技术其中浸没式液冷最为典型对比来看冷板式液冷技术改造成本低技术最成熟浸没式和喷淋式液冷技术冷却效果更好但改造成本高且现阶段落地应用较少1冷板式液冷是目前成熟度最高应用最广泛的液冷技术冷板式液冷是最典型的间接式接触型液冷技术冷板式液冷系统包括了水冷板管道快插接头分液器冷却液分配单元CDU与室外冷却设备等组件在冷板式液冷系统中服务器芯片等发热器件不直接接触冷却液而是通过与装有液体的冷板直接接触来散热或者由导热部件将热量传导到冷板上冷板通常是由铜铝等高导热金属构成的封闭腔体然后通过冷板内部液体循环带走热量由于服务器芯片等发热器件不用直接接触液体所以冷板式液冷对现有服务器芯片组件及附属部件改动量较小可操作性更强目前成熟度最高应用最广泛图7冷板式液冷系统部件拆分图资料来源英维克招商证券冷板式液冷数据中心散热系统主要由由室外一次侧和室内二次侧两部分组成一次侧通过冷却液体与发热部件的热量进行相互交换的方式降低冷却液的温度二次侧完成发热部件与冷却液体热量的交换液体升温带走部件热量在运行过程中机房外冷却塔中的冷却液通过室内冷量分配单元CDU提供冷却液循环动力经其二次侧输出并与服务器中高发热量的电子元器件CPUGPU内存等导热冷板直接进行热交换形成的热液经CDU输出到室外冷却塔进行冷却从而构成整个循环过程在冷板式液冷散热方式中硬盘电源等发热量较小的器件或单元仍旧采用风冷方式散热敬请阅读末页的重要说明10行业深度报告图8冷板式液冷整体链路图资料来源蓝海云GPU招商证券2浸没式液冷是最常见的直接接触型液冷技术散热效率高浸没式液冷是最常见的直接接触型液冷技术该技术通过将发热器件直接浸没于特殊定制的箱体中通过直接接触不导电的冷却液体进行热交换从而达到冷却目的相比冷板式液冷技术浸没式液冷散热效率更高噪音更低完全没有风扇更加节能按照冷却液在循环散热过程中是否发生相变浸没式液冷分为单相浸没和两相浸没两种类型1单相浸没式单相浸没式液冷中冷却液不会发生相变单相浸没在浸没式单相液冷中发热部件直接浸没在冷却液中进行热交换循环泵将吸收了热量的冷却液导入热交换单元在热交换单元中冷却后再循环回到箱体中为发热部件散热冷却液在循环散热过程中始终保持液相由于要确保冷却液不发生气化单相浸没技术通常需要使用高沸点的冷却液例如矿物油合成油天然油等氟碳化合物和碳氢化合物冷却液挥发流失控制相对简单与IT设备有较好的电气兼容性且不需要频繁补充还易于卸载或更换服务器组件提高了系统的可维护性IT机箱单相浸没该技术将服务器封装于密封机箱中可作为普通机架式IT设备或独立设备电子元器件由绝缘液进行冷却可通过自然对流循环泵或者两者结合的方式进行冷却换热器和泵可置于服务器内部也可以安装在侧面图9IT机箱单相浸没技术示意图资料来源施耐德电气招商证券水池单相浸没使用水池方法开放式水箱时浸没在水池中的服务器是通过垂直方式进行插拔的这种方法多数采用集中式供电同时向水池内的所有服务器供电可通过自然对流循环泵进行冷却通过换热器将绝缘液中的热量传递至水回路此方法通常使用油基绝缘液作为流体敬请阅读末页的重要说明11行业深度报告图10水池单相浸没技术示意图资料来源施耐德电气招商证券单相浸没式液冷的主要优势在于冷却液价格相对更低从而压低了部署成本冷却液不会发生相变的特性使得运维人员没有吸入蒸汽的风险更利于维护2两相浸没式两相浸没式液冷的冷却液在循环散热过程中会不断经历从液态到气态再从气态回到液态的相变服务器完全浸没在充满低沸点冷却液的密闭箱体中冷却液受热沸腾发生相变蒸汽逃逸并升腾至机箱顶部形成气相区而后蒸汽遇到冷凝器再液化变为液体继续回到箱体内部冷却循环用于两相浸没式的冷却液需要有更稳定的物理特性由于冷却液再热循环过程中不断发生相变因此冷却液需要有良好的化学及热稳定性无腐蚀性并且需要合适的沸点较窄的沸程范围和较高的汽化潜热硅酸酯类芳香族物质有机硅脂肪族化合物以及氟碳化合物均可用作冷却液图11水池两相浸没技术示意图资料来源施耐德电气招商证券两相浸没式液冷的主要优势在于传热效果最高效且最节能足以满足高发热元器件对散热的极端要求使得服务器可以保持满功率运行3喷淋式液冷是面向IT设备精准喷淋直接接触式的液冷技术喷淋式液冷系统是一种面向电子设备器件精准喷淋直接接触式的液冷技术喷淋式液冷系统主要由冷却塔冷水机组CDU喷淋液冷机柜构成冷却液经过CDU后被泵通过管路输送至机柜内部进入机柜后直接通过分液支管进敬请阅读末页的重要说明12行业深度报告入与服务器相对应的布液装置或者送至储液箱以通过重力或系统压力直接喷淋至IT设备的发热器件或与之连接的固体导热材料上金属散热器树脂VC热管等吸热后的高温冷却液换热后将通过回液管集液箱等集液装置进行收集并通过泵输送至CDU进行下一次制冷循环喷淋式液冷与单相浸没式液冷冷却方式较为类似冷却液不发生相变但是在喷淋过程中遇到高温的电子部件冷却液会出现飘逸从而对机房及设备环境产生影响图12喷淋式液冷系统工艺流程原理图资料来源兰洋科技招商证券4液冷方式对比浸没式冷却效果最佳冷板式技术最成熟现阶段冷板式系统技术最成熟对比来看由于直接接触型液冷技术的冷却液与服务器直接接触大幅度降低了传热热阻散热效果优于间接接触型液冷技术对高算力需求场景的算力中心或超算中心来说直接接触型液冷系统的高冷却效果和低PUE将大幅提升其使用率但因为改造成本高现阶段落地应用较少目前冷板式液冷技术相比直接接触型液冷技术更成熟生态更完善1材料兼容性强由于冷板式液冷技术的冷却液不与主板和芯片直接接触在材料的选择上只需要考虑冷却液和冷板和循环管路之间的兼容性其材料兼容性更优2可维护性高冷板式液冷系统与传统风冷系统的服务器类似大多组件可以用相同方式进行维护关键是要采用防滴漏连接器以确保服务器的抽出而直接接触型液冷服务器的维护需要引入新流程3改造成本低布局方面冷板式液冷系统的IT设备仍旧需要使用风扇因此需要采用传统布局可以轻松与现有数据中心布局相匹配服务器方面冷板式液冷系统仅需在原有风冷系统的基础上增配冷板和管路即可通过保留服务器主板原始形态即可改装实现而直接接触型液冷系统较为复杂尤其是浸没式由于需要为IT设备配备水槽或者新的机箱需要从头开始设计改造成本极高表4三种液冷方式对比冷板式浸没式喷淋式接触方式间接接触型直接接触型直接接触型改造成本较低较高中等可维护性优秀较差中等空间利用率较高中等最高未与主板和芯片模块进行直接兼容性直接接触材料兼容性较差直接接触材料兼容性较差的接触材料兼容性较强冷却效果较好优秀优秀安装便捷程不改变服务器主板原有的形态改变服务器主板原有结构需重不改变服务器主板原有的形态安装度保留现有服务器主板安装便捷新安装便捷敬请阅读末页的重要说明13行业深度报告冷板式浸没式喷淋式采用双路环状循环对冷冻液实通过室外冷却装置进行循环降采用循环泵实现资源的再利用降可循环现二次利用降低运营成本低运营成本低运营成本PUE117-130105-108105-110资料来源数据中心液冷技术发展分析CDCC招商证券敬请阅读末页的重要说明14行业深度报告三液冷行业竞争格局与市场规模1收入端高算力需求推动IDC数据中心发展为液冷服务器市场提供土壤IDC市场规模呈现稳步增长一线城市数据中心需求旺盛随着云计算大数据的发展以及中国对数字经济发展提出的期望数据量将呈现稳步增长态势提高了服务器等数据中心IT设备的需求据科智咨询2021年中国IDC市场规模达到了30127亿元同比增长346预计2024年将达到61225亿元期间CAGR为267增长迅速IDC行业存在以需定供的属性其发展具有明显的区域集聚特征由于一线城市人口密度大产业聚集度高经济密集数据中心率先在核心城市发展2021年长三角地区在运营IDC占比达到28京津冀地区占比27粤港澳大湾区占比15三大地区为IDC机房的主要分布地图132017-2024年中国IDC市场规模及预测亿元图142021年中国在运营IDC机柜资源地域分布8000CAGR26750457000194060002835500030540002563000201520001510271000500201720182019202020212022E2023E2024E长三角地区京津冀地区粤港澳大湾区我国IDC市场规模亿元yoy华中地区川渝地区其他地区资料来源科智咨询招商证券资料来源科智咨询招商证券IT工作负载结构迁移驱动液冷服务器发展据UptimeInstitute近年来数据中心平均单机架功率不断提升主要因为IT工作负载的结构逐渐在由现场数据中心向云和托管服务进行转移计算密集型工作负载AIIOT区块链VRAR等的激增拉高了承载这些应用负载的服务器设备虚拟机刀片机高密服务器的功耗数据中心设计功率密度的大幅提升成为了液冷服务器渗透率提高的主要驱动因素2020年全球约有25的数据中心单机架功率为1-4kW46的数据中心单机架功率为5-9kW13的数据中心单机架功率只有16的数据中心平均功率密度超20kW为了满足未来高算力负载需求全球数据中心平均机架功率将保持提升图15数据中心工作负载发展趋势图162020年全球数据中心平均单机架功率情况23100905258077058546013504406553016201612108460202020221-4kW机架5-9kW机架10-19kW机架Saas主机托管公有云主机租用20-29kW机架30-39kW机架40-49kW机架微型数据中心服务器机柜企业数据中心50kW机架资料来源UptimeInstitute招商证券资料来源UptimeInstitute招商证券敬请阅读末页的重要说明15行业深度报告2竞争格局海外液冷竞争格局分散中国企业厚积薄发实现商业化突围我国IDC温控市场空间持续扩容目前风冷仍占主导地位得益于双碳新基建等政策的推进各行业数字化转型进度不断加快推动我国IDC温控市场发展根据产业在线我国机房专用空调市场-2021年CAGR达928呈现快速增长态势2021年市场规模达5009亿元同比增长149其中按空调制冷方式来看2021年风冷冷冻水和其他形式空调的市场空间分别为28515462亿元同比提升17462290占整体比例56830811239风冷仍旧占主导地位图172017-2021年我国机房专用空调细分产品销售规图182020-2021年我国机房专用空调细分产品结构模及yoy亿元占比风冷冷冻水其他形式我国机房专用空调市场规模yoy1006020110412398015333530814060102040555615680200020172018201920202021020202021资料来源产业在线招商证券资料来源产业在线招商证券国内机房专用空调由维谛领导国内品牌规模占比提升我国机房专用空调市场由维谛领导2021年实现983亿元销售规模同比提升1364其中527亿元来自风冷空调305亿元来自冷冻水空调外资品牌在技术积累项目运营等层面保持优势国内企业发展迅速华为英维克申菱等品牌依托集采供货及渠道市场的协同发力相继巩固市场地位英维克机房专用空调2021年实现749亿元销售额位列第二同比提升3061其中455亿元是风冷空调154亿元来自冷冻水空调华为排在第三位机房专用空调实现营收652亿元同比提升2053其中343亿元由风冷空调贡献225亿元来自冷冻水空调图192021年我国机房专用空调细分品牌销售规模及yoy亿元124010302081060销售规模4-10yoy2-200-30维谛英维克华为世图兹申菱依米康佳力图施耐德阿尔西艾特网能其他资料来源产业在线招商证券图2021年我国机房风冷空调品牌销售规模亿元图2121年我国机房冷冻水空调品牌销售规模亿元65273530545553022534325417520159154314420617715115139212110105000维谛英维克华为世图兹申菱佳力图依米康维谛华为依米康佳力图英维克世图兹申菱资料来源产业在线招商证券资料来源产业在线招商证券敬请阅读末页的重要说明16行业深度报告从液冷历史来看海外厂商具有先发优势中国厂商后来居上实现突围1964年IBM公司研发出世界首款冷冻水冷却计算机System360开创了液冷计算机先河2008年IBM重回液冷发布了液冷超级计算机Power5752009年Intel英特尔推出了矿物油浸没散热系统2011年中科曙光率先开始了服务器液冷技术的探索与研究并于2013年完成了首台冷板式液冷服务器原理机和首台浸没式液冷原理验证2015-2018年中科曙光华为浪潮信息联想阿里巴巴等一众国产厂商先后实现了液冷服务器大规模商业应用项目的落地实现弯道超车2019年中科曙光再下一城实现了全球首创刀片式浸没相变液冷技术的大规模部署将单机功率密度提升至160kW其TC4600E-LP液冷刀片服务器液冷部分PUE低于11全球领先图22国内外液冷服务器发展历程资料来源中国液冷数据中心发展白皮书招商证券目前中国厂商对液冷服务器技术的探索已不落后于海外企业在大规模商业应用的经验上已经处于领先地位从竞争格局来看海外浸没式液冷市场的主要玩家有GRC美国LiquidStack美国Midas美国等冷板式液冷市场主要玩家有CoolITSystems美国Asetek丹麦Motivair美国等目前主要厂商在液冷技术方面还处于实验或初步应用阶段市场并未形成绝对龙头而以中科曙光为首的国内厂商已经积累了一定的商业化经验据中国液冷数据中心发展白皮书在2020年对于中国液冷数据中心厂商竞争力的研究基于产品营收市占率客户反馈等指标中科曙光为市场的绝对领导者华为阿里巴巴联想紧随其后IBM中国位于可期待者位置图232020年中国液冷数据中心厂商竞争力矩阵图资料来源中国液冷数据中心发展白皮书招商证券敬请阅读末页的重要说明17行业深度报告3成本端散热能耗是高电力成本主要因素高效冷却手段有助于IDC降本柴油发电机组电力用户站UPS电源设备为主要Capex支出电力成本占Opex大头从成本端来看数据中心的总成本TCO等于建设成本Capex加上运营成本Opex建设成本包含土建以及硬件设备所需投资为一次性投入而运营成本则是后续数据中心运营过程中需要持续花费的成本据艾瑞咨询在数据中心Capex结构中柴油发电机组成本最高占整体比例23其次是电力用户站占比20UPS电源设备占比18剩余成本项占比均低于10Opex结构方面电力成本能耗占整体支出的一半以上折旧其次占比256单独将Opex中的能耗成本进行拆分来看其中IT设备能耗最高占整体Opex的45散热能耗占比43接近IT设备自身的能耗供电损耗及其他占比12不难看出散热能耗对于数据中心电力成本影响极大随着IT相关设备功率密度的提升对设施的散热要求也更加苛刻因此寻找更高效的冷却手段是数据中心发展的必经之路图24数据中心Capex结构图25数据中心Opex结构333731434623777856720256818柴油发电机组电力用户站UPS电源设备配电柜冷水机组精密空调机柜列头柜电力成本折旧房租设备租赁人工费其他静电地板冷却塔资料来源艾瑞咨询招商证券资料来源艾瑞咨询招商证券图262019年中国数据中心能耗分布2104345散热能耗IT设备能耗供电损耗其他资料来源赛迪顾问招商证券数据中心风冷液冷解决方案的TCO分析数据中心TCOCAPEXOPEX在不计算服务器折旧与服务器运营成本的情况下当单机柜功率15kW时冷板式液冷TCO优势明显当单机柜功率30kW时浸没式液冷开始出现优势GantnerGroup于1987年提出总拥有成本法TotalCostofOwnershipTCO用以分析数据中心生命周期的直接成本与间接成本的方法数据中心TCO初始投资成本CAPEX长期运维成本OPEX建设者在进行数据中心项目投资决策时往往会通过比较不同方案的TCO从而选择TCO最低的方案根据CDCCYXINDATA的测算方法本文基于以下模型与假设测算数据中心风冷与冷板式液冷浸没式液冷的TCO水平TCO模型数据中心TCOCAPEXOPEX温控系统设定1风冷系统为水冷冷水机组精密空调2冷板式液冷系统为冷板式液冷间接蒸发冷敬请阅读末页的重要说明18行业深度报告却3浸没式液冷系统为单相浸没液冷氟化液机柜功率与服务器负载率机柜功率设定为30kW服务器负载率为80成本测算范围不包含服务器折旧与服务器运营支出不包含土地成本表5TCO分析假定边界条件假设条件数据中心建设区域华东区域风冷系统水冷冷水机组精密空调温控系统冷板式液冷系统冷板式液冷间接蒸发冷却浸没式液冷系统单相浸没液冷氟化液2NUPS架构电气系统N1柴发系统功耗为30kW机柜设定服务器负载率为80测算对标体量220MWA外电对应体量IDC不含服务器折旧与服务器运营支出成本测算范围不含土地成本IRR10机电折旧10年财务测算参数土建折旧30年线性上架周期12个月资料来源CDCCYXINDATA招商证券根据以上假设条件分别测算得出风冷系统冷板式液冷系统浸没式液冷系统在机电投资机电土建投资机电土建外电能评投资三种情况下的CAPEX情况我们可以发现冷板式液冷系统单ITkW投资将低于传统风冷系统主要由于1冷板式液冷系统虽然温控系统初始投资成本略高于风冷系统但对应的IT产出相较于风冷系统将多出20致使单ITkW成本走低2冷板式液冷系统因在暖通系统方面投资加大可相应节省剩余环节的机电装修等成本3在获得外电供应与能评方面液冷方案所付出的资源明显低于风冷方案表6三种情况下的风冷液冷系统CAPEX比较风冷系统元kW冷板式液冷系统元kW单相浸没式液冷系统元kW机电16000-1800015000-1700023000-28000机电土建21000-2300018000-2000026500-31500机电土建外电能评25000-2700020000-2200028500-33500资料来源CDCCYXINDATA招商证券OPEX方面在综合考虑水费电费等消耗的情况下风冷系统由于运营电费成本较高OPEX明显高于冷板式液冷与单相浸没式液冷系统表7风冷液冷系统OPEX比较风冷元kW月冷板式液冷元kW月单相浸没式液冷元kW月OPEX含水费电费780-810670-700650-680资料来源CDCCYXINDATA招商证券综合从整个TCO角度分析在不计算服务器折旧与服务器运营成本的情况下当单机柜功率15kW时冷板式液冷TCO优势明显当单机柜功率30kW时浸没式液冷开始出现优势若加上服务器的相关投资液冷解决方案的TCO将会出现调整但冷板式液冷相较于风冷解决方案仍然会有一定的优势与空间敬请阅读末页的重要说明19行业深度报告表8风冷液冷系统TCO比较风冷元kW月冷板式液冷元kW月单相浸没式液冷元kW月CAPEX417-451358-386496-581OPEX780-810670-700650-680TCO1197-12611028-10861146-1261资料来源CDCCYXINDATA招商证券4液冷解决方案市场空间大模型应用预计将带来近百亿液冷解决方案市场空间国内互联网大厂AIGC算力模型应用预计将带来3441亿冷板式液冷增量与5899亿元浸没式液冷增量总计带来934亿元液冷解决方案市场空间根据微软数据ChatGPT前一代基础模型GPT30的训练数据高达45TB总训练设备包括285万个CPU与超过1万个NVIDIAV100GPU随着国内百度阿里巴巴腾讯华为360字节等互联网大厂陆续推出自己的AIGC算力模型势必会对国内AI服务器的需求快速增加所以我们基于以下假设假设1单个服务器配置8颗GPU芯片假设2逻辑推理阶段的功耗是训练阶段的10倍假设3国内百度阿里巴巴腾讯华为360字节等10家互联网大厂推出自己的AIGC模型总体服务器功率对应为10-15倍GPT30训练推理量级假设4考虑到单数据中心机柜中还需配备交换机光模块等数通产品给予整机功耗10的上浮空间假设5用于模型训练与推理的AI服务器中冷板式液冷与浸没式液冷的占比为73冷板式液冷成本预计5000元kW浸没式液冷成本预计20000元kW由此我们可以计算得出1训练单个GPT30模型预计需要1250台65kW的AI超算服务器总计功耗达8125kW逻辑推理阶段功耗为训练阶段的10倍达81250kW训练推理阶段的总服务器功耗为89375kW2国内10家互联网厂商推出自身的AIGC算力模型模型训练与推理的总服务器功耗将达到893750kW并考虑数据中心机柜中交换机光模块等数通产品的功耗总数据中心机柜功耗将达到983125kW3基于用于推理与训练的AI服务器中冷板式液冷与浸没式液冷的占比与相应价值量我们可以测算得出随着国内互联网大厂陆续推出自己的大模型将会带来3441亿元的冷板式液冷增量空间与5899亿元的浸没式液冷增量空间总计将带来934亿元的液冷解决方案新增量市场表9新增液冷解决方案市场空间测算假设与测算结果假设条件训练GPT30所需GPU数量颗10000AI服务器内含GPU数量颗台8AI服务器功耗kW台65逻辑推理算力消耗训练算力消耗10国内推出AIGC大模型的互联网厂商数量家10交换机光模块等数通产品功耗训练逻辑推理功耗10冷板式液冷浸没式液冷73冷板式液冷成本元kW5000浸没式液冷成本元kW20000中间增量测算结果训练GPT30所需服务器数量台1250训练GPT30所需服务器总功耗kW8125逻辑推理阶段所需服务器总功耗kW81250训练逻辑推理阶段所需服务器总功耗kW89375敬请阅读末页的重要说明20