01
電気が入り、熱が出ていく
データセンターは、ウェブサイトやアプリ、AIを動かすコンピューターを大量に収めた建物です。基本的なしくみは単純で、電気が入り、熱が出ていきます。電気は送電線で届き、変電所で電圧が下げられます。データホールの横には、ディーゼル発電機が並んでいます。ホールの屋上にあるのは、チラーとドライクーラーです。チラーは大型の冷蔵庫に近いしくみで水を冷やし、ドライクーラーは熱を外気へ逃がします。
ホールの中にはラックが並んでいます。コンピューターを何段にも収めた、背の高い鋼製のキャビネットです。このモデルのホールには、16列に192台のラックがあります。実際のホールの規模は施設ごとに異なるため、この配置はモデル独自のものです。すべてのラックが全負荷で動くと、コンピューターだけで約23MWの電力を使います。これに冷却の電力と途中で失われる電力が加わるため、平均的な施設では送電網から約35MWを受け取ります。効率の高い施設がどこまで減らせるかは、最後の章で紹介します。
2024年に世界中のデータセンターが使った電力は、合わせて約415TWhでした。世界全体で使われた電力の約1.5%にあたります。国際エネルギー機関は、2030年には約945TWhに達すると見込んでいます。特に大規模な施設は「ハイパースケール」と呼ばれ、2024年末の時点で1,136か所ありました。Googleが最初のデータセンターを開設したのは2006年で、場所は米国オレゴン州のザ・ダルズです。
光っているマーカーは、再生中の各時点でエネルギーがどこにあるかを示します。電気として流れているあいだはオレンジ色で、熱に変わると赤色になります。実際のエネルギーは、粒のように少しずつ進むわけではありません。それでも、ごく一部のエネルギーを追えば、全体がどこへ向かうのかがわかります。電気がチップに届くまでは1マイクロ秒もかかりませんが、その熱が屋上から外へ出るまでには約1分かかります。そのため再生では、速い部分を引きのばし、遅い部分を縮めています。時計が示すのはモデル上の時間で、実測値ではありません。
- このモデルのラック
- 192, in 16 rows
- コンピューターが使う電力
- 23.0 MW
- 送電網から受け取る電力
- about 35.5 MW at a PUE of 1.54
- 世界中のデータセンター
- about 415 TWh in 2024, 1.5% of the world's electricity
02
止めてはならない電力
電気は、高電圧の送電線で届きます。高電圧なら、長い距離でも損失を抑えて送電できるからです。まず変電所の変圧器が電圧を下げ、ホールの近くでは小型の変圧器がもう一度下げます。変圧器はそれぞれ、受け取ったエネルギーの約98から99%を次へ送ります。ここで示す電圧は一例で、実際の値は施設ごとに選ばれています。
次は配電盤です。大型のスイッチが壁一面に並び、電力の行き先を切り替え、故障した部分を切り離します。電力はその後、UPS(無停電電源装置)とバッテリーを通ります。送電網が止まると、すぐにバッテリーが電力を引き継ぎます。ホール全体を支えられるのは数分間で、通常は5分から15分ほどです。その先ではバスダクトが電力をホールへ運び、ラックの列に沿って配ります。バスダクトは、長いケースに太い金属の導体を収めたものです。
バッテリーにできるのは、時間を稼ぐことだけです。主力となる予備電源はディーゼル発電機です。安全基準では、発電機が10秒以内に電力を引き継ぐよう定めています。実際の施設では、切り替えに10秒から60秒かかります。一例として、Caterpillar社のCat 3516Cは出力約1.8MW、重さ約17トンで、全負荷では1時間に約466リットルの軽油を消費します。同系列の大型機では、出力は約2.5MWに達します。
「停電させる」を押すと、停電訓練が始まります。発電機が起動するまでは、バッテリーがホールに電力を供給します。その後は発電機が引き継ぎ、バッテリーは充電に回ります。このモデルでは20秒後に送電網の電力が復旧し、発電機は停止に向かいます。20秒という長さは、訓練用に設定したものです。データセンターは、故障への耐性によって等級分けされています。Tier IIIの施設は運転を止めずに保守ができ、Tier IVの施設は故障が起きても運転を続けられます。それでも2025年には、重大な障害の45%が電源のトラブルによるものでした。
- 電圧の下げ方(一例)
- medium voltage, then 415 V AC, then about 50 V DC
- 発電機への切り替え
- within 10 s by code, 10 to 60 s at real sites
- バッテリーの持続時間
- typically 5 to 15 minutes
- 発電機1台
- about 1.8 MW, about 17 t
- 全負荷時の軽油消費
- about 466 litres an hour
- 電源が原因の重大な障害
- 45% in 2025
03
120kWラックの内部
電力の行き先は、Nvidia GB200 NVL72というラックです。中にはGPUが72基、CPUが36基あります。GPUはAIの計算を担うチップで、CPUはその周辺の処理全般を担うチップです。これらのチップは、18台のコンピュートトレイに搭載されています。ラックに差し込む、平たい引き出し状の部品です。そのあいだに9台のスイッチトレイがあり、72基のGPUすべてを相互に接続しています。トレイの並び順は、このモデル独自のものです。
電力はラックの上部と下部から入り、6台の電源シェルフに送られます。電源シェルフは、ホールから届く交流(AC)を約50Vの直流(DC)に変換します。ラックの背面には、太い銅の導体が縦に通っています。これが直流バスバーで、各トレイに最大1,400Aの電流を供給します。ただし、約50Vで1,400Aを流しても電力は約70kWにとどまり、ラックの120kWには届きません。そこでこのモデルでは、バスバーを上半分と下半分に分け、それぞれに3台ずつのシェルフから給電しています。実際の分け方は公表されていません。
全負荷のとき、このラックは約120kWを使います。HPEは自社版のラックについて132kWとしています。送電網からの電力は、チップに届くまでにおよそ10分の1が失われます。変圧器やUPS、電源シェルフで熱に変わるためです。ラックの重さはおよそ1.4トンで、中型の電気自動車とほぼ同じです。多くのホールは床を一段高くした二重床になっていて、床下にケーブルを通したり、空気を流したりしています。一般的な二重床は、狭い面積にこれほどの重さがかかることを想定していません。そのため、AI向けのホールにはより強固な床が必要です。
GPUの中では、電気によって微細なトランジスタがオンとオフを繰り返し、計算が進みます。この計算によってエネルギーが蓄えられることはありません。ほぼすべてが、チップの中ですぐに熱に変わります。チップの拡大図は、チップ1個を10倍に拡大して示したものです。各部の大きさは図示用で、実測値ではありません。ネットワークカードやストレージの冷却には、引き続き小型のトレイのファンを使います。「アイドル」に切り替えると、負荷が下がるようすを確認できます。このモデルでは、アイドル状態のラックでも全負荷時の30%の電力を使います。
- 現在のラックの電力
- 120 kW
- チップ
- 72 GPUs, 36 CPUs
- トレイ
- 18 compute, 9 switch
- 直流バスバー
- up to 1,400 A at about 50 V
- 重さ
- about 1.4 t
- チップに届く前の損失
- roughly a tenth, as heat
- ファン
- small tray fans, spinning fast
04
わずか数マイクロ秒の距離
大規模なAIの処理は、多数のGPUに分割して実行されます。そのためチップどうしは、絶えずデータをやりとりしています。ラックの中でチップをつなぐのはNVLinkで、スイッチトレイを経由する銅線の接続です。GPU1基あたり1.8TB/s、ラック全体では130TB/sのデータを送受信できます。TB/sはテラバイト毎秒のことで、1秒間に1兆バイトを意味します。
ラックとラックのあいだでは、ネットワークスイッチがデータを中継します。各列の端には、リーフスイッチが1台ずつあります。どのリーフスイッチも、すべてのスパインスイッチと接続されています。スパインは背骨という意味で、ネットワークの中心にあたるスイッチです。そのため、どのラックからどのラックへも、リーフ、スパイン、リーフの3回の中継で届きます。このモデルでは、スパインスイッチを2台、リーフスイッチを各列に1台だけ描いています。実際のホールには、これよりはるかに多くのスイッチがあります。
Arista社の7060X6のような高速なスイッチを1台通ると、約700ナノ秒の遅延が加わります。1ナノ秒は10億分の1秒です。ガラスの光ファイバーの中では、光が1km進むのに約5マイクロ秒かかります。1マイクロ秒は100万分の1秒です。そのため、データがホールを端から端まで横切っても、数マイクロ秒しかかかりません。光ファイバーの引き込み口からスイッチを経てラックへ、緑の破線が流れるようすを確認してください。
最も大きな遅延が生じるのは、利用者までの区間です。1,000km離れた都市まで光ファイバーで往復すると、約10ミリ秒かかります。100km先の都市なら約1ミリ秒です。これは光ファイバーを通る時間だけの値で、実際にはソフトウェアの処理時間が加わります。距離を切り替えて比較できます。
- ラック内のNVLink
- 1.8 TB/s per GPU, 130 TB/s in all
- スイッチ1台を通る時間
- about 700 ns
- 光ファイバー中の光
- about 4.9 µs per km
- ホールの端から端まで
- about 2.6 µs, three switches and the fibre
- 利用者との往復
- about 9.8 ms, fibre alone
05
熱を外へ逃がす
エネルギーはすでに熱に変わっており、これを取り除かなければなりません。各チップの上には、コールドプレート(水冷プレート)が取り付けられています。内部を水が流れる金属のブロックです。Nvidiaは基調講演で、水は約25℃でラックに入り、約45℃で出ていくと説明しました。このモデルでは、全負荷のラックで水温がちょうど20度上がるように、ポンプの流量を設定しています。
温まった水は、ラックの側面を縦に走る配管、マニホールドに集まります。そこから列に沿って、冷却水分配装置(CDU)へ送られます。CDUの中で、熱はもうひとつの水の回路に移ります。建物全体を循環する、施設側の冷却水です。2つの水が混ざることはありません。施設側の水は、ラック側の水より約5度低い温度で流れています。そのため、約20℃で届く必要があります。CDUの一例がCoolIT社のCHx2000で、1台で2MWの熱を移せます。設置面積は約1.2m²です。このモデルでは、列ごとに1台ずつ置いています。
熱を屋上まで運ぶのは、施設側の配管です。20℃の水は、夏の日の気温より低いことが少なくありません。そこでまずチラーが、水から熱をくみ上げます。次にドライクーラーが高温のコイルに外気を当て、熱は温かい空気として施設の外へ出ていきます。ここでは冷却の回路がすべて閉じているため、水はほとんど消費されません。一方、多くの施設では冷却塔を使っています。水を蒸発させて冷やす方式です。米国のデータセンターが2023年に敷地内で使った水は、約660億リットルにのぼります。
「空冷」を選ぶと、ラックが従来型の空冷式に切り替わります。ファンが各ラックの前面から冷たい空気を吸い込み、背面のホットアイルへ吐き出します。ホットアイルは2つの列にはさまれた通路で、温まった空気がここに集まります。その熱は、空調機が同じ施設側の冷却水へ移します。空気が運べる熱は水よりはるかに少ないため、1kWあたり1時間に約272m³の空気が必要です。熱を捨てずに活用する施設もあります。オーデンセやストックホルムでは、データセンターの熱が住宅の暖房に役立てられています。
- ラック通過時の温度上昇
- the water leaves 20 degrees warmer
- 施設側の冷却水
- about 20 °C, 5 degrees below the rack loop
- CDU 1台
- 2 MW of heat on about 1.2 m²
- 計算量あたりの水の使用量(米国)
- about 0.36 L per kWh
- 米国のデータセンター(2023年)
- about 66 billion litres used on site
06
水冷が有利な理由
次に、同じホールを空冷のラックで満たした場合を考えます。このモデルでは1台あたり10kWなので、ホール全体の電力はおよそ12分の1になります。空気で冷やす限り、これを大きく増やすことはできません。実際、空冷ラックの上限は約20から35kWです。120kWの熱を空気で運び出すには、ラック1台に1時間あたり約32,600m³の空気を通す必要があります。
ラックの横の机には、ノートパソコンが置かれています。充電器の定格は40Wなので、全負荷のラック1台はこの充電器3,000個分に相当します。1年間全負荷で動かすと、ラック1台の電力使用量は米国の家庭で約100世帯分、EUなら約270世帯分になります。ENIACは、初期の電子計算機のひとつです。1945年には150kWの電力を使っていて、このラック1台より少し多い程度でした。重さは約27トンで、部屋をひとつ占めるほどの大きさでした。
施設どうしを比較するときは、PUEという指標も使います。power usage effectivenessの略で、日本語では電力使用効率といいます。施設全体の電力を、コンピューターの電力で割った値です。損失のない理想的な施設なら、ちょうど1になります。業界の平均は約1.5です。つまり、電力の約35%はコンピューターまで届いていません。Googleの全施設の平均は、2025年に1.09でした。冷却や損失に回る電力は、わずか8%です。
「比較する施設」の切り替えで変わるのは比較の相手で、ラックの冷却方式は変わりません。空冷と液冷のPUEを分けて示した研究がないため、このモデルでは冷却方式とPUEを結びつけていません。どちらを選んでも、エネルギーの行き着く先は同じで、最後は屋上から出ていく温かい空気になります。
- 全負荷のラック1台
- 120 kW
- その熱を運ぶのに必要な空気
- 32,640 m³/h
- 家庭の年間使用量に換算
- about 97 US or 270 EU homes
- ノートパソコンの充電器
- 3,000 at 40 W each
- PUE
- 1.54, industry average
- 計算に使われない電力
- 35% of site power