code学习

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

作者:认是

(报告出品方/作者:中银证券,杨思睿、王晓莲)

双碳与算力刚需之下,液冷为 IDC 散热必经之路

IDC 是能耗大户,衡量数据中心能耗的 PUE 指标日趋严格

数据中心规模迅速增长,超大型数据中心成热门。据中国通信院数据,近年大陆数据中心规模稳步 增长,按照标准机架 2.5KW 统计,2022 年大陆数据中心机架规模将达到 670 万架,近五年 CAGR 超过 30%。其中,大型以上数据中心增长更为迅速,2022 年底规模达 540 万架,占比达 81%。同时,超大 型数据中心逐渐占据主流,据赛迪研究院估计,2020 年超大型数据中心服务器占比将升至 50%以上, 全球来看美国占据主要份额,大陆超大型数据中心数量占比约为 10.2%。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

市场规模快速增长,基础设施市场空间同样可观。据中国信通院数据,2021 年中国数据中心市场规 模超过 1500 亿元,预计 2022 年中国数据中心市场规模到突破 1900 亿元人民币,呈现较快的增长趋 势。数据中心的产业规模的增长表明数据中心基础设施的市场规模也呈现快速增长的趋势。据赛迪 顾问,2019 年大陆数据中心基础设施的市场规模达 161.9 亿元,预计到 2025 年达到 461.2 亿元。

IDC 为能耗大户,其中散热能耗占比超 40%。据工信部公布,2021 年大陆数据中心耗电量为 2,166 亿 kwh,占社会总耗电量的 2.6%,相当于 1.3 个上海市的总社会用电量。据通信院公布,大陆 IDC 电费 占 TCO(整体运营支出)的 60-70%。据赛迪统计,2019 年中国 IDC 能耗中,43%用于 IT 设备散热, 基本与 45%的 IT 设备自身能耗持平,可见减少散热从而控制 TCO 是节能减耗的核心方向。 传统数据中心的 PUE 仍有较大改进空间。数据中心能耗指标 PUE(Power Usage Efficiency)是指数据 中心消耗的所有能源与 IT 负载消耗的能源之比,PUE=1 最为理想,意味着所有能耗都用于服务器设 备运转,无其他开销。据 CDCC 报告,全国数据中心 PUE 平均水平为 1.49,传统风冷数据中心 PUE 在 1.5~1.8(1kW 的服务器正常运转需 1.5~1.8kW 电量),与国家要求 2025 年达到平均 1.3 以下还有较 大的差距。

政策明确要求 PUE 进一步改善。国家层面,2021 年 11 月发改委等部门发布《深入开展公共机构绿色 低碳引领行动促进碳达峰实施方案》明确提出新建大型、超大型数据中心 PUE 低于 1.3,2021 年 12 月发改委及能源局发布《贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新 型基础设施绿色 高质量发展实施方案》明确要求到 2025 年全国新建大型、超大型数据中心 PUE 低于 1.3,国家枢纽 节点低于 1.25。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

芯片能耗密度高企,风冷逐渐乏力,液冷势在必行

芯片散热效率要求快速提高,风冷无法满足 IDC 快速增长的散热需求。AMD、Intel、NVIDIA 等主要芯 片制造商在逐步提高芯片的散热设计功耗 TDP(Thermal Design Power)以提供更高的性能。同时,GPU 功率密度普 遍远高于 CPU,这也意味着 GPU 的散热需求高于 CPU。AMD 方表示在 2025 年之前高性能 GPU 的 TDP 将达 700W,此外,以云游戏为代表的主流 HPC 已达到 1kW/U 的功率密度,赛迪研究院预测 2025 年 全球数据中心单机柜平均功率将达到 25KW,这对目前传统风冷技术均是十分严峻的挑战。目前风冷 技术的极限值基本是在 300W-350W 之间,远不能承担未来发展所需的散热功耗。 未来,液冷是解决高算力 IDC 散热的必选。据英特尔,第三代至强可扩展处理器正在催化液冷技术 步入元年时代。液冷技术具备高效制冷效果,有效提升服务器的使用效率和稳定性。液冷可以从一 个占地面积只有 20mmx 30mm 的处理器中移除高达 500W 的热能。液体传导热能效果和大比热容能够 保障芯片在一定范围内的超频工作不会出现过热故障。此外,液冷服务器可以排除海拔、地域和气 温的差距,保证运行效率和性能,具备规模化应用的优势。

液冷市场开始进入拐点,将具备显著爆发力

液冷是高密度 IDC 能耗优化的重要技术,走向规模量产阶段

IDC 最具革命性的节能技术为液冷技术(又称水冷),其中浸没式液冷技术可以将 PUE 降到 1.2 以下, 联合其他技术可使 PUE 趋近于 1。液冷是数据中心制冷技术不断革新的必然结果,据浪潮信息,液 体导热能力是空气的 25 倍,同体积液体带走热量是同体积空气的近 3000 倍,在耗电量方面,液冷系 统约比风冷系统节省电量 30~50%。 液冷技术从小规模验证走向大规模量产阶段,同时进入标准化阶段。2021 年 12 月 25 日,腾讯、华 为等参与起草的大陆首批数据中心液冷系列行业标准正式发布,将于 2022 年 4 月 1 日起正式实施, 行业标准的出台将有利于行业的有序发展。2022 英特尔中国数据中心合作伙伴技术峰会上,英特尔 与产业链上下游共同打造《绿色数据中心创新实践——冷板液冷系统设计参考》。2022 数据中心液 冷技术研讨会上中国电子节能技术协会秘书长表示,‚无论从政策角度、市场需求还是技术成熟度 来讲,均标志着数据中心进入‘液冷时代’‛。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

双碳达标潜台词,液冷应用将在 B/G 端需求中普遍化

液冷散热明确成为趋势:(1)受产业政策的影响,PUE<1.25 成为东数西算枢纽节点新建数据中心基 本要求,京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏 8 个算力网络国家枢 纽节点均设立了明确的 PUE 标准,大力推进数据中心做到绿色节能、低碳减排。(2)主流数据中心 单机柜功耗越来越大,国产芯片因制程和技术原因散热甚于国外产品,散热需求更大,液冷散热逐 渐成为趋势。 此外,北上广深等土地、水电资源相对紧张的一线城市也设立了严格标准。2022 年 7 月,长三角示 范区( 江苏省、浙江省、上海市 )出台《关于在长三角生态绿色一体化发展示范区加快数字经济发 展推进先行先试的若干举措》,明确要求新建大型、超大型数据中心 PUE 不超过 1.25。2022 年 5 月, 北京市发改委发布《北京市低效数据中心综合治理工作方案》,对 PUE 超过 1.4 的 IDC 实施差别电价, 逐步关闭年均 PUE 高于 2.0 的数据中心。

行业需求明确,业务快速增长。据赛迪研究院调研,2019 年液冷 IDC 主要用在超算等行业,互联网、 金融和电信行业业务量在快速增长,预计 2025 年互联网行业液冷数据中心占比达 24.0%,金融行业 为 25.0%、电信行业 23.0%、能源行业 10.5%,生物、医疗和政务等行业需求将加快融入通用数据中 心新业态。此外,通信行业也在快速布局,2021 年中国移动研究院发布了业界首款面向泛在算力的 边缘一体化液冷服务器,推动液冷散热技术在通信方面的应用。 产业已在快速跟进。中国首座绿色等级达 5A 级的液冷数据中心——阿里巴巴杭州首座数据中心‚仁 和‛于 2020 年落成,是全球规模最大的全浸没式液冷数据中心,采用了服务器全浸没液冷、高压直 流 HVDC、供配电分布式冗余、智能 Al 优化算法等多项节能技术进行规划设计与建造,PUE 低至 1.09。 与此同时,字节跳动等互联网龙头也在跟进中。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

渗透率快速提升,2025 年市场规模将达 1200 亿

商业模式合理,经济账帮客户有效节约能源开支。以单机房为例,200 台服务器总功率为 192KW,液 冷方案比传统风冷方案可省电 30%,新投入液冷的建设成本有提升,整体节约的运行成本随着使用 年限的增长逐步增加,整体来看三年和五年的项目成本液冷较风冷减少 7%和 12%。同样,对于更大 规模的机房和数据中心,规模效应可以进一步体现,液冷明显比风冷更节能、更划算。

市场规模可观,增速远高于传统服务器领域。IDC 市场调研显示,全球的服务器市场定制化产品采购 量份额已经达到 30%以上。据赛迪研究院保守测算,2019 年中国液冷数据中心的市场规模为 261 亿 元,乐观估计为 351 亿元,2025 年大陆液冷数据中心的市场规模将破 1200 亿元,行业增速保持在 30% 左右。 渗透率陆续提升,有望迎来爆发拐点。液冷数据中心将加速替代传统风冷数据中心,据赛迪研究院 总结观点,2019 年液冷替代比例为 20%,往后替代率逐步上升,2025 年有望实现 25%的技术替换。

三条技术分支,冷板式较成熟,浸没式前景较好

液冷服务器有三种方式:冷板式、喷淋式、浸没式: (1)冷板式:将液冷冷板固定在服务器的主要发热器件上,依靠流经冷板的液体将热量带走达到散 热目的。 (2)浸没式:将发热元件直接浸没在冷却液中,通过冷却液循环带走服务器等设备运行产生的热量 (分为单相、两相、直抵芯片)。 (3)喷淋式:在机箱顶部储液和开孔,根据发热体位臵和发热量大小不同,让冷却液对发热体进行 喷淋,达到设备冷却的目的。

目前冷板式技术成熟,领衔商用落地。据前瞻产业研究院数据,2019 年大陆液冷数据中心技术主要 以冷板式为主,占比超过 80%,浸没式占比不足 20%。冷板式液冷技术发展较早,目前冷板式液冷 数据中心产品在市场上占比较高, 未来浸没式技术逐渐成熟,有望成为主流。浸没式液冷是数据中心的跃迁式技术创新,相较于冷板 式液冷能更大程度上利用液体的比热容特点,制冷效率更高,具有高能效、高密度、高可用和高可 靠等特性,未来浸没式液冷数据中心基础设施将会占据更多市场。据赛迪研究院,浸没式液冷突破 技术瓶颈,可以使单机柜功率密度提升 3 倍以上,到 2025 年占比将超过 40%。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

存在技术门槛,核心挑战是高精密性、防漏、自主可控

目前仍存在技术门槛与挑战:(1)液冷板微通道齿间距是 0.1mm 量级(风冷是毫米级别),设计、 加工需要考虑流道和流阻更精准;水冷板和固定板形成一体化,需要保证不漏液。(2)每一台液冷 服务器都有一个进水管路和出水管路,至少配四个插头,属于高精密的快接插头部件(以往多用于 航天、高铁等精密领域) 。(3)改造液冷数据中心涉及到楼体改造、空间重布等环节,增加了施 工难度。 自主知识产权仍有待提高。国外企业起步较早,目前占据主要产权地位,但国内已基本具备可比性。

行业机会向产业链多方延伸

产业链逐渐成型,上中下游均可受益

液冷行业上游主要为产品零部件,包括接头、CDU、电磁阀、TANK、maniflod 等。中游主要为液冷服 务器,包括四个主要类型的服务器,以及闭式循环和非闭式循环服务器。此外还包括数据中心的集 成运维设施、产品及部件,从冷板部件到机柜,再到数据中心液冷集成模块。 服务器及相关集成产品主要用于为下游行业在云计算、人工智能及物联网等方面提供服务。国内下 游行业主要包括互联网、金融、电信、政府、交通和能源等信息化程度相对较高的行业,涵盖智慧 计算、电子政务、企业信息化、关键应用以及民生等相关领域,包括三大电信运营商,以及腾讯、 阿里巴巴等互联网大型企业。

据赛迪研究院,2020 年中科曙光、华为、阿里和联想位于大陆液冷中心市场领导者地位,2022 年格 局预计有所变动,浪潮信息或进入领导者象限。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

产业链环节之服务器厂商:受益最为直接

受益于液冷需求带动,服务器行业迎来新的更新驱动因素,带动重回高景气周期。产品方面,液冷 相关产品售价、利润率优于传统风冷技术产品,可以给客户带来明确、可观的效益。 行业具有较高的进入壁垒,先进入者具备先发优势。(1)技术壁垒。液冷数据中心基础设施产品的 研发和制造涉及冷却技术、制冷系统设计及仿真技术、温湿度解耦控制算法等多项技术领域,要求 企业具备成熟、深入的技术积累。(2)专业人才壁垒。液冷数据中心基础设施领域属于新兴技术密 集型产业,产品性能涉及材料化学、热力学、电子学、计算机科学等多种学科技术成果,并且因数 据中心复杂多样,相应的制冷系统存在定制化特征,因此对研发技术人员的技术研发能力和行业经 验要求较高。(3)客户认证壁垒。出于安全性、稳定性等考虑,企业客户在选择液冷数据中心基础 设施供应商时通常需要进行严格的资质验证。另一方面,客户在与液冷数据中心基础设施供应商建 立生产配套关系后,倾向于维持与现有技术供应商的合作,不会轻易更换主要供应商,因此先进入 者具有先发优势。

总结以上,我们认为目前率先布局液冷技术的服务器厂商具有显著的先发优势,将率先受益。我们 梳理了布局液冷服务器的厂商及其主要产品,如下:

1、浪潮信息:全栈布局液冷,实现业界首次大批量交付

2022 年浪潮提出‚All In 液冷‛全栈布局液冷,实现服务器全产品线支撑液冷,并进一步升级液冷智 算中心解决方案,实现数据中心 PUE<1.1。目前,浪潮信息已拥有 100 多项液冷技术领域核心专利, 并已参与制定与发布 10 余项冷板式液冷、浸没式液冷相关设计技术标准,同时联合牵头立项及撰写 冷板式液冷核心技术的 4 项标准。 2022 年浪潮信息发布全栈液冷产品,通用服务器、高密度服务器、整机柜服务器、AI 服务器等四大 系列均支持冷板式液冷,同时浪潮信息亚洲最大液冷数据中心研发生产基地‚天池‛正式投产,年 产能达到 10 万台,实现了业界首次冷板式液冷整机柜的大批量交付,整体交付周期在 5-7 天之内, 助力数据中心绿色低碳发展。 浪潮信息液冷产品和解决方案已经在互联网、金融、教科研等领域得到广泛应用。浪潮信息与京东 云联合推出天枢(ORS3000S)液冷整机柜服务器,数据中心部署总体能耗降低 40%以上,散热效率 提升 50%,性能提升 34%-56%,已经在京东云数据中心实现规模化部署。

2、曙光数创:浸没相变液冷领导者

浸没相变液冷技术为核心竞争力。公司主要现有产品按照技术路径可以分为浸没相变液冷数据中心 基础设施产品、冷板液冷数据中心基础设施产品以及模块化数据中心三大类。公司浸没相变液冷技 术具有超强散热效能、可实现超高密度部署和极低 PUE 特征,提供核心竞争力。冷板液冷数据中心 采用液冷为主、风冷为辅的混合冷却模式,降低冷却系统消耗,增强服务器可靠性。 公司的浸没相变液冷技术解决了传统冷却技术存在的‚功耗墙‛问题,同时具有极佳的节能效果, 此外大幅降低了芯片核温,实现服务器内温度场均匀分布,提高了系统可靠性。其 C8000 系列时能 够使得高功率密度数据中心 PUE 降至 1.05~1.2,2019 年 C8000 系列首次大规模商业化部署,标志着数 据中心行业全浸式液体相变冷却技术在国内首次实现了大规模产品转化和部署。 从营收结构来看,2019 年-2022H1 公司浸没相变液冷收入占总营收比重分别为 79.74%、69.78%、81.63%、 75.75%,2021 年收入同比高增 42.15%至 3.33 亿元。此外,浸没液冷产品毛利率保持 40%以上水平。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

3、宁畅:人工智能和液冷服务器领跑,推出全系统定制液冷

2022年初,宁畅联手 NVIDIA等合作伙伴率先推出了新系列液冷服务器,通过采用 NVIDIA液冷 HGX A100 NVLink 平台, 推出 X660 G45 LP 新系列液冷服务器。宁畅通过采用 NVIDIA 液冷 HGX A100 NVLink 平台, 推出 X660 G45 LP 新系列液冷服务器,单芯片散热最高可达 500W,同时单机柜功率密度得到极大提 升,节省空间达 80%,噪音低于 50 分贝。 GPU 和液冷服务器领跑 MLPerf,支持更多场景应用。9 月国际权威 AI 性能基准测试平台 MLPerf 公布 最新测试成绩,宁畅人工智能服务器 X640 G40 和 GPU 液冷服务器 X660 G45 LP 两款核心产品性能登 顶,共斩获 13 项第一。本次测试还覆盖多种典型的 AI 模型,包括 ResNet(图像分类)、3D-UNet99(图像 分割)、Rnnt(语音辨识)、RetinaNet(目标检测)、Bert-99(自然语言处理)等,更加贴近实际应用情况。

全系统定制液冷方案积累深厚,已有验证。在高效液冷服务器的基础上,公司进一步推出业内首个 全系统定制液冷方案,实现从需求梳理、架构设计、机房部署到运维服务的全系统定制。经过 15 年 的研发积累,上千项液冷可靠性测试,以及数万节点部署考验,宁畅液冷解决方案现已兼备高效散 热、高密部署、更低噪音等优点,可实现系统自动补液等智能化管理,可帮助 PUE 降低至 1.2 以下。 截至目前,公司已拥有 30 余项液冷专利,重点突破了第三代冷板式液冷技术,其定制液冷方案在北 京、哈尔滨、成都等多地实现数万台部署。 根据 IDC 发布的《2021 下半年度(H2)中国加速计算服务器市场分析报告》,宁畅位列中国区 GPU 以及加速服务器市场第二名。公司战略发展目标为 2022 年实现在中国区 X86 架构定制服务器市场占 有率超过 50%。

4、华为:率先布局单项液冷板系统

2017 年推出 Fusion Server 高密专用液冷系统,采用了单相液冷板的制冷方案,单柜功率密度可以做到 45kW/rack。载冷剂采用去离子水+BTA 缓蚀剂,支持的最高进水温度达到 45℃,达到了 DLC 标准的 W4 液冷等级。以北京气候为例(全年最大极端湿球温度是 31.5℃),可以通过冷却塔实现全年自然 冷却,机房 PUE 理论上可以降至 1.1。此外,由于简化了制冷系统,因此提高了制冷系统的 MTBF(平 均无故障工作时间)。2018 年华为云松山湖数据中心采用全预制模块化、高密度、高性能液冷集群。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

5、中国长城:专注喷淋式液冷

2020 年发布国内首台喷淋液冷服务器。是一款具有完全自主知识产权、致力于攻克服务器件精准散 热难题的新型服务器,目前已成功应用于教育、移动通信、大数据等 10 个行业,并参与了国家重点 实验室 5G 云计算喷淋液冷平台项目的建设。

6、网宿科技:专注液冷数据中心解决方案

公司子公司绿色云图自 2015 年成立起即开展浸没式液冷技术的研发、产品及解决方案的输出,是国 内浸没式液冷技术研发的先行者。目前,已推出微型液冷数据中心解决方案、中大型数据中心解决 方案、集装箱数据中心解决方案以及定制化液冷解决方案等一系列液冷数据中心解决方案,并成功 应用于高校、媒体、互联网企业等多个业务场景。 网宿绿色云图直接浸没式液冷技术可将散热能耗降低 90%-95%、IT 设备能耗降低 10%-20%,实现 PUE 均值低至 1.049,创下了国内数据中心能耗纪录。2021 年公司 IDC 及液冷产品收入 2.46 亿元,毛利率 24.92%。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

7、阿里云:领先单相浸没液冷解决方案

2021 年底,公司发布单相浸没液冷解决方案—磐久液冷一体机 Immersion DC 1000 系列,包括液冷 A100 一体机、液冷计算一体机、液冷存储一体机,具备三大特点:(1)超融合,传统的产品就是一台服 务器、交换机,而 Immersion DC 1000 系列最核心的是将基础设施散热能力和 IT 设备、网络设备和服 务器进行高效整合,融合在一起进行整体交付。(2)超强算力,包括 AI40P,存储 3.4P 的超强能力, 还有 25.6T AI 互联带宽端口能力,高存储、高带宽,未来可支撑至少三代技术迭代,资源利用率提升 50%。(3)可在全球仁和气象区域部署,实现极致 PUE1.09。

8、紫光股份(新华三):布局液冷解决方案

2017 年,公司已经在 R4900 G2 机架服务器上做了冷板预研,在节能技术的配合下,项目 PUE 实测值 在 1.08-1.17 之间。此外,公司在 B16000 刀片服务器节点中做了预研,实测单节点功耗较风冷节省 49.85W,CPU 温度降低 23℃(235W CPU),PUE 实测值在 1.2 左右。公司参与了 500 多个数据中心的 建设,包括大量的液冷数据中心机房,组建了定制化的团队,创建了液冷研发实验室,为客户提供 端到端的液冷解决方案。

产业链环节之材料器件商:价值量高,受益较多

除服务器厂商以外,产业链上游材料和器件厂商也有望相应受益。主要包括流体连接器(液体冷却 快速插拔接头)、冷媒、CDU、电磁阀、TANK、manifold 等。 (1)流体连接器(液体冷却快速拔插接头):通常是指液冷循环系统中各器件之间的连接件,它能 实现各器件之间的快速连接和断开且无泄漏,提高效率,减少排液注液带来的不必要的工作量。主 要应用于流体连接,可在带压状态下自由插拔且无泄漏。 (2)冷媒:冷却液,可用冷媒包括水、矿物油、电子氟化液等。 (3)CDU(Cooling Dispensing Unit,冷却液分配单元):主要由机箱、水泵、板换、阀、膨胀罐以及 管路等等组成,通过板换进行热量交换,把冷却的液体送到热源处吸收热量,带着热量的液体再进 入板换进行换热处理,循环换热。 (4)电磁阀:一般安装在连接的管道上控制冷媒流通。 (5)TANK:用于安装服务器/交换机的浸没式箱体,通过 tank 内的冷却介质直接对交换机进行散热。 (6)Manifold:分集水器,用于连接各路加热管供回水的配、集水装臵,按进、回水方式不同分为分 水器和集水器。

液冷服务器行业专题研究:低碳之下,IDC“液冷时代”契机来临

(本文仅供参考,不代表我们的任何投资建议。如需使用相关信息,请参阅报告原文。)

精选报告来源:【未来智库】。系统发生错误