What makes it tick

计算机

GitHub

数据中心是怎么工作的

借助3D模型,追踪电力在AI数据中心里的路径:它经输电线路进入一台120千瓦的机柜,在那里转化为热量,最后从楼顶排出。

01

电进来,热出去

数据中心是一栋装满计算机的建筑,日常使用的网站、应用和AI服务都运行在这些计算机上。它的工作循环很简单:电力进来,热量出去。电力经输电线路送达,先在变电站降压。机房旁设有数排柴油发电机。机房楼顶上,冷水机组像一台大型冰箱那样为水降温,干冷器再把热量传给室外空气。

机房里是一排排机柜:高大的钢制柜体,里面装满了计算机。这个模型的机房共有192台机柜,分为16排。这一布局由模型自定,真实机房的规模各不相同。所有机柜满载运行时,计算机耗电约23兆瓦。再加上冷却用电和沿途损耗,一个平均水平的数据中心要从电网获取约35兆瓦。最后一章将介绍,能效领先的数据中心能做得好多少。

2024年,全球数据中心共用电约415太瓦时(TWh),约占全球用电量的1.5%。国际能源署预计,到2030年这一数字将增至约945太瓦时。规模最大的一类称为超大规模数据中心,到2024年底共有1136座。2006年,谷歌在美国俄勒冈州的达尔斯启用了自己的第一个数据中心。

发光的能量标记显示播放过程中每一时刻能量所在的位置:仍是电能时呈琥珀色,转化为热量后变为红色。能量并不是一份一份单独传递的,但追踪其中一小部分,就能看清全部能量的去向。电力到达芯片用时不到一微秒,热量从楼顶排出却需要大约一分钟。因此,播放时会把极快的过程拉长,把缓慢的过程压缩。时钟显示的是模型设定的时间,不是实测值。

模型中的机柜
192, in 16 rows
计算机用电
23.0 MW
从电网取电
about 35.5 MW at a PUE of 1.54
全球所有数据中心
about 415 TWh in 2024, 1.5% of the world's electricity

02

不能中断的供电

电力以高电压经输电线路送达。高压输电能把电送得很远,而且损耗很小。变电站及其变压器先把电压降下来,到了机房附近,较小的变压器再降一次。每台变压器能传递约98%到99%的能量。这里的电压等级只是一例,各数据中心会自行选定。

接下来是开关柜:一整面墙的大型开关,负责分配电力,并隔离发生故障的部分。随后,电力流经UPS及其电池。UPS即不间断电源。一旦电网断电,电池会立即接管,可为整个机房供电数分钟,通常为5到15分钟。再往后是母线槽:长条形外壳内装有粗金属排,把电力送入机房,并沿各排机柜分配。

电池只能争取时间,真正的后备电源是柴油发电机。安全规范要求它们在10秒内接管供电,实际的数据中心需要10到60秒不等。以卡特彼勒(Caterpillar)的Cat 3516C机组为例,一套可输出约1.8兆瓦,重约17吨,满载时每小时消耗约466升柴油。它的大功率版本可达约2.5兆瓦。

按下“切断电网”,即可开始一次断电演练。发电机启动期间,由电池为机房供电。发电机随后接管,电池重新充电。在这个模型里,电网在20秒后恢复,发电机随之逐步停机。20秒是为演练设定的时长。数据中心按应对故障的能力分级:Tier III级可以在不停机的情况下检修,Tier IV级在发生故障时仍能持续运行。即便如此,2025年的严重停机事故中,仍有45%由电力问题引起。

逐级降压(示例)
medium voltage, then 415 V AC, then about 50 V DC
发电机接管
within 10 s by code, 10 to 60 s at real sites
电池支撑时长
typically 5 to 15 minutes
一台发电机组
about 1.8 MW, about 17 t
满载耗油
about 466 litres an hour
电力问题引发的严重停机
45% in 2025

03

120千瓦机柜的内部

电力最终要送达的,是一台英伟达GB200 NVL72机柜。柜内有72颗GPU,即为AI执行数学运算的芯片;还有36颗CPU,负责处理GPU以外的各项任务。它们安装在18个计算托盘上,托盘是可以推入机柜的扁平抽屉。计算托盘之间插有9个交换托盘,把72颗GPU全部互联起来。这里托盘的排列顺序由模型自定。

电力从机柜顶部和底部进入六个电源架。电源架把机房送来的交流电(AC)转换为约50伏的直流电(DC)。直流母排是沿机柜背面竖直布置的粗铜排,为每个托盘供电,电流最高可达1400安。但在约50伏的电压下,这只相当于约70千瓦,远低于机柜的120千瓦。因此在这个模型里,母排分为上下两段,每段由三个电源架供电。真实的分配方式没有公开。

满载时,这台机柜耗电约120千瓦,HPE为其自家版本标注的是132千瓦。电网送来的电力,大约有十分之一在到达机柜之前就已损耗,在变压器、UPS和电源架中转化为热量。这台机柜重约1.4吨,与一辆中型电动汽车相当。许多机房采用架空地板,线缆和气流从地板下方通过。普通架空地板无法承受这么大的重量集中在一小块面积上,因此AI机房需要更坚固的地板。

在GPU内部,电流驱动微小的晶体管不断开关,完成数学运算。运算本身不会留存能量:几乎所有电能都会立即在芯片内部转化为热量。芯片特写把一颗芯片放大了10倍,图中尺寸为示意,并非实测。网卡和存储设备仍由小型托盘风扇散热。切换到“空闲”,可以看到负载下降。在这个模型里,空闲的机柜仍要消耗满载功率的30%。

机柜当前功率
120 kW
芯片
72 GPUs, 36 CPUs
托盘
18 compute, 9 switch
直流母排
up to 1,400 A at about 50 V
重量
about 1.4 t
送达芯片前的损耗
roughly a tenth, as heat
风扇
small tray fans, spinning fast

04

相隔仅几微秒

大型AI任务被拆分到许多GPU上并行计算,因此芯片之间需要持续交换数据。在机柜内,它们通过NVLink互联,这是一组经由交换托盘的铜缆链路。每颗GPU的收发带宽可达1.8TB/s,整台机柜合计130TB/s。TB/s即太字节每秒,也就是每秒一万亿字节。

机柜之间的数据要经网络交换机转发。每排机柜末端有一台叶交换机。每台叶交换机都连接到所有脊交换机,后者位于中间,构成网络的主干。这样一来,任意两台机柜之间只需三跳:叶、脊、叶。模型只画了两台脊交换机,每排一台叶交换机,真实机房中的数量要多得多。

一台高速交换机,例如Arista的7060X6,会增加约700纳秒的时延。1纳秒是十亿分之一秒。光在玻璃光纤中传播1公里约需5微秒。因此,数据横穿整个机房只需几微秒,即几个百万分之一秒。留意那些绿色虚线:它们从光纤入口出发,经过各台交换机,到达机柜。

时延最大的一段,是通往用户的路径。经光纤往返1000公里外的城市,大约需要10毫秒;100公里外的城市,大约1毫秒。这只计算了光纤传输,软件处理还会另外增加时间。你可以选择一个距离进行比较。

机柜内的NVLink
1.8 TB/s per GPU, 130 TB/s in all
每经过一台交换机
about 700 ns
光在光纤中传播
about 4.9 µs per km
横穿机房
about 2.6 µs, three switches and the fibre
到用户的往返时间
about 9.8 ms, fibre alone

05

排出热量

此时能量已经变成热量,必须被带走。每颗芯片上都装有一块冷板,即内部有水流过的金属块。英伟达在一次主题演讲中表示,水进入机柜时约为25°C,流出时约为45°C。模型据此设定水泵流量,使满载机柜恰好让水升温20度。

机柜侧面竖立着一组管路,称为分液器。它把升温后的水沿这排机柜送往冷却液分配单元,即CDU。在CDU中,热量传递给第二个回路,也就是服务整栋建筑的楼宇冷却水。两路水始终互不混合。楼宇冷却水比机柜回路低约5度,因此送达时需在20°C左右。以CoolIT的CHx2000为例,一台CDU可转移2兆瓦热量,占地约1.2平方米。这个模型为每排配置一台。

楼宇冷却水管把热量送上楼顶。20°C的水比许多夏日的气温还低,因此要先由冷水机组从水中提取热量。随后,干冷器让室外空气吹过高温盘管,热量便以暖空气的形式离开园区。这里所有回路都是闭式的,因此耗水很少。许多数据中心则采用冷却塔,依靠水的蒸发来降温。2023年,美国数据中心的现场用水量约为660亿升。

选择“风冷”,机柜会切换为传统的风冷方案。风扇从每台机柜正面吸入冷空气,再从背面排入热通道,即两排机柜之间聚集热空气的通道。随后,空气处理机组把其中的热量传给同一路楼宇冷却水。空气的载热能力远低于水,每千瓦热量每小时需要约272立方米空气才能带走。有些数据中心会利用这些余热:在欧登塞和斯德哥尔摩,数据中心的余热被用来为住宅供暖。

流经机柜的温升
the water leaves 20 degrees warmer
楼宇冷却水
about 20 °C, 5 degrees below the rack loop
一台CDU
2 MW of heat on about 1.2 m²
单位计算耗水(美国)
about 0.36 L per kWh
美国数据中心(2023年)
about 66 billion litres used on site

06

水冷为何更胜一筹

现在,把同一个机房全部换成风冷机柜。在这个模型里,每台风冷机柜功率为10千瓦,因此整个机房承载的功率只有原来的约十二分之一。空气也很难做得更好:实际应用中,一台风冷机柜的上限约为20到35千瓦。若要用空气带走120千瓦的热量,每小时需要约3.26万立方米的空气流过这一台机柜。

机柜旁的桌上放着一台笔记本电脑。它的充电器额定功率为40瓦,一台满载机柜相当于3000个这样的充电器。若全年满载运行,一台机柜的用电量相当于约100户美国家庭,或约270户欧盟家庭。ENIAC是最早的电子计算机之一,1945年时功率为150千瓦,略高于这一台机柜。它重约27吨,占满了整个房间。

比较数据中心时,还常用一个指标:PUE,即电能使用效率。它等于数据中心的总用电除以计算机的用电,因此理想的数据中心PUE为1。行业平均值约为1.5,这意味着约35%的电力没有用到计算机上。2025年,谷歌全部数据中心的平均PUE为1.09,用于冷却和损耗的电力仅占8%。

这个开关改变的是对比对象,而不是机柜的冷却方式。目前没有研究分别统计风冷和液冷的PUE,因此模型没有把两者关联起来。无论你选择哪一项,能量的路径都以同样的方式结束:化为楼顶上方的暖空气。

一台满载机柜
120 kW
带走这些热量所需风量
32,640 m³/h
相当于家庭全年用电
about 97 US or 270 EU homes
笔记本充电器
3,000 at 40 W each
PUE
1.54, industry average
非计算用电
35% of site power