What makes it tick

コンピューター

GitHub

データセンターは、どうやって動いているのか

AIデータセンターを流れる電気を3Dでたどります。送電線から120kWのラックに入った電気は熱に変わり、屋上から外へ出ていきます。

01

電気が入り、熱が出ていく

データセンターは、ウェブサイトやアプリ、AIを動かすコンピューターを大量に収めた建物です。基本的なしくみは単純で、電気が入り、熱が出ていきます。電気は送電線で届き、変電所で電圧が下げられます。データホールの横には、ディーゼル発電機が並んでいます。ホールの屋上にあるのは、チラーとドライクーラーです。チラーは大型の冷蔵庫に近いしくみで水を冷やし、ドライクーラーは熱を外気へ逃がします。

ホールの中にはラックが並んでいます。コンピューターを何段にも収めた、背の高い鋼製のキャビネットです。このモデルのホールには、16列に192台のラックがあります。実際のホールの規模は施設ごとに異なるため、この配置はモデル独自のものです。すべてのラックが全負荷で動くと、コンピューターだけで約23MWの電力を使います。これに冷却の電力と途中で失われる電力が加わるため、平均的な施設では送電網から約35MWを受け取ります。効率の高い施設がどこまで減らせるかは、最後の章で紹介します。

2024年に世界中のデータセンターが使った電力は、合わせて約415TWhでした。世界全体で使われた電力の約1.5%にあたります。国際エネルギー機関は、2030年には約945TWhに達すると見込んでいます。特に大規模な施設は「ハイパースケール」と呼ばれ、2024年末の時点で1,136か所ありました。Googleが最初のデータセンターを開設したのは2006年で、場所は米国オレゴン州のザ・ダルズです。

光っているマーカーは、再生中の各時点でエネルギーがどこにあるかを示します。電気として流れているあいだはオレンジ色で、熱に変わると赤色になります。実際のエネルギーは、粒のように少しずつ進むわけではありません。それでも、ごく一部のエネルギーを追えば、全体がどこへ向かうのかがわかります。電気がチップに届くまでは1マイクロ秒もかかりませんが、その熱が屋上から外へ出るまでには約1分かかります。そのため再生では、速い部分を引きのばし、遅い部分を縮めています。時計が示すのはモデル上の時間で、実測値ではありません。

このモデルのラック
192, in 16 rows
コンピューターが使う電力
23.0 MW
送電網から受け取る電力
about 35.5 MW at a PUE of 1.54
世界中のデータセンター
about 415 TWh in 2024, 1.5% of the world's electricity

02

止めてはならない電力

電気は、高電圧の送電線で届きます。高電圧なら、長い距離でも損失を抑えて送電できるからです。まず変電所の変圧器が電圧を下げ、ホールの近くでは小型の変圧器がもう一度下げます。変圧器はそれぞれ、受け取ったエネルギーの約98から99%を次へ送ります。ここで示す電圧は一例で、実際の値は施設ごとに選ばれています。

次は配電盤です。大型のスイッチが壁一面に並び、電力の行き先を切り替え、故障した部分を切り離します。電力はその後、UPS(無停電電源装置)とバッテリーを通ります。送電網が止まると、すぐにバッテリーが電力を引き継ぎます。ホール全体を支えられるのは数分間で、通常は5分から15分ほどです。その先ではバスダクトが電力をホールへ運び、ラックの列に沿って配ります。バスダクトは、長いケースに太い金属の導体を収めたものです。

バッテリーにできるのは、時間を稼ぐことだけです。主力となる予備電源はディーゼル発電機です。安全基準では、発電機が10秒以内に電力を引き継ぐよう定めています。実際の施設では、切り替えに10秒から60秒かかります。一例として、Caterpillar社のCat 3516Cは出力約1.8MW、重さ約17トンで、全負荷では1時間に約466リットルの軽油を消費します。同系列の大型機では、出力は約2.5MWに達します。

「停電させる」を押すと、停電訓練が始まります。発電機が起動するまでは、バッテリーがホールに電力を供給します。その後は発電機が引き継ぎ、バッテリーは充電に回ります。このモデルでは20秒後に送電網の電力が復旧し、発電機は停止に向かいます。20秒という長さは、訓練用に設定したものです。データセンターは、故障への耐性によって等級分けされています。Tier IIIの施設は運転を止めずに保守ができ、Tier IVの施設は故障が起きても運転を続けられます。それでも2025年には、重大な障害の45%が電源のトラブルによるものでした。

電圧の下げ方(一例)
medium voltage, then 415 V AC, then about 50 V DC
発電機への切り替え
within 10 s by code, 10 to 60 s at real sites
バッテリーの持続時間
typically 5 to 15 minutes
発電機1台
about 1.8 MW, about 17 t
全負荷時の軽油消費
about 466 litres an hour
電源が原因の重大な障害
45% in 2025

03

120kWラックの内部

電力の行き先は、Nvidia GB200 NVL72というラックです。中にはGPUが72基、CPUが36基あります。GPUはAIの計算を担うチップで、CPUはその周辺の処理全般を担うチップです。これらのチップは、18台のコンピュートトレイに搭載されています。ラックに差し込む、平たい引き出し状の部品です。そのあいだに9台のスイッチトレイがあり、72基のGPUすべてを相互に接続しています。トレイの並び順は、このモデル独自のものです。

電力はラックの上部と下部から入り、6台の電源シェルフに送られます。電源シェルフは、ホールから届く交流(AC)を約50Vの直流(DC)に変換します。ラックの背面には、太い銅の導体が縦に通っています。これが直流バスバーで、各トレイに最大1,400Aの電流を供給します。ただし、約50Vで1,400Aを流しても電力は約70kWにとどまり、ラックの120kWには届きません。そこでこのモデルでは、バスバーを上半分と下半分に分け、それぞれに3台ずつのシェルフから給電しています。実際の分け方は公表されていません。

全負荷のとき、このラックは約120kWを使います。HPEは自社版のラックについて132kWとしています。送電網からの電力は、チップに届くまでにおよそ10分の1が失われます。変圧器やUPS、電源シェルフで熱に変わるためです。ラックの重さはおよそ1.4トンで、中型の電気自動車とほぼ同じです。多くのホールは床を一段高くした二重床になっていて、床下にケーブルを通したり、空気を流したりしています。一般的な二重床は、狭い面積にこれほどの重さがかかることを想定していません。そのため、AI向けのホールにはより強固な床が必要です。

GPUの中では、電気によって微細なトランジスタがオンとオフを繰り返し、計算が進みます。この計算によってエネルギーが蓄えられることはありません。ほぼすべてが、チップの中ですぐに熱に変わります。チップの拡大図は、チップ1個を10倍に拡大して示したものです。各部の大きさは図示用で、実測値ではありません。ネットワークカードやストレージの冷却には、引き続き小型のトレイのファンを使います。「アイドル」に切り替えると、負荷が下がるようすを確認できます。このモデルでは、アイドル状態のラックでも全負荷時の30%の電力を使います。

現在のラックの電力
120 kW
チップ
72 GPUs, 36 CPUs
トレイ
18 compute, 9 switch
直流バスバー
up to 1,400 A at about 50 V
重さ
about 1.4 t
チップに届く前の損失
roughly a tenth, as heat
ファン
small tray fans, spinning fast

04

わずか数マイクロ秒の距離

大規模なAIの処理は、多数のGPUに分割して実行されます。そのためチップどうしは、絶えずデータをやりとりしています。ラックの中でチップをつなぐのはNVLinkで、スイッチトレイを経由する銅線の接続です。GPU1基あたり1.8TB/s、ラック全体では130TB/sのデータを送受信できます。TB/sはテラバイト毎秒のことで、1秒間に1兆バイトを意味します。

ラックとラックのあいだでは、ネットワークスイッチがデータを中継します。各列の端には、リーフスイッチが1台ずつあります。どのリーフスイッチも、すべてのスパインスイッチと接続されています。スパインは背骨という意味で、ネットワークの中心にあたるスイッチです。そのため、どのラックからどのラックへも、リーフ、スパイン、リーフの3回の中継で届きます。このモデルでは、スパインスイッチを2台、リーフスイッチを各列に1台だけ描いています。実際のホールには、これよりはるかに多くのスイッチがあります。

Arista社の7060X6のような高速なスイッチを1台通ると、約700ナノ秒の遅延が加わります。1ナノ秒は10億分の1秒です。ガラスの光ファイバーの中では、光が1km進むのに約5マイクロ秒かかります。1マイクロ秒は100万分の1秒です。そのため、データがホールを端から端まで横切っても、数マイクロ秒しかかかりません。光ファイバーの引き込み口からスイッチを経てラックへ、緑の破線が流れるようすを確認してください。

最も大きな遅延が生じるのは、利用者までの区間です。1,000km離れた都市まで光ファイバーで往復すると、約10ミリ秒かかります。100km先の都市なら約1ミリ秒です。これは光ファイバーを通る時間だけの値で、実際にはソフトウェアの処理時間が加わります。距離を切り替えて比較できます。

ラック内のNVLink
1.8 TB/s per GPU, 130 TB/s in all
スイッチ1台を通る時間
about 700 ns
光ファイバー中の光
about 4.9 µs per km
ホールの端から端まで
about 2.6 µs, three switches and the fibre
利用者との往復
about 9.8 ms, fibre alone

05

熱を外へ逃がす

エネルギーはすでに熱に変わっており、これを取り除かなければなりません。各チップの上には、コールドプレート(水冷プレート)が取り付けられています。内部を水が流れる金属のブロックです。Nvidiaは基調講演で、水は約25℃でラックに入り、約45℃で出ていくと説明しました。このモデルでは、全負荷のラックで水温がちょうど20度上がるように、ポンプの流量を設定しています。

温まった水は、ラックの側面を縦に走る配管、マニホールドに集まります。そこから列に沿って、冷却水分配装置(CDU)へ送られます。CDUの中で、熱はもうひとつの水の回路に移ります。建物全体を循環する、施設側の冷却水です。2つの水が混ざることはありません。施設側の水は、ラック側の水より約5度低い温度で流れています。そのため、約20℃で届く必要があります。CDUの一例がCoolIT社のCHx2000で、1台で2MWの熱を移せます。設置面積は約1.2m²です。このモデルでは、列ごとに1台ずつ置いています。

熱を屋上まで運ぶのは、施設側の配管です。20℃の水は、夏の日の気温より低いことが少なくありません。そこでまずチラーが、水から熱をくみ上げます。次にドライクーラーが高温のコイルに外気を当て、熱は温かい空気として施設の外へ出ていきます。ここでは冷却の回路がすべて閉じているため、水はほとんど消費されません。一方、多くの施設では冷却塔を使っています。水を蒸発させて冷やす方式です。米国のデータセンターが2023年に敷地内で使った水は、約660億リットルにのぼります。

「空冷」を選ぶと、ラックが従来型の空冷式に切り替わります。ファンが各ラックの前面から冷たい空気を吸い込み、背面のホットアイルへ吐き出します。ホットアイルは2つの列にはさまれた通路で、温まった空気がここに集まります。その熱は、空調機が同じ施設側の冷却水へ移します。空気が運べる熱は水よりはるかに少ないため、1kWあたり1時間に約272m³の空気が必要です。熱を捨てずに活用する施設もあります。オーデンセやストックホルムでは、データセンターの熱が住宅の暖房に役立てられています。

ラック通過時の温度上昇
the water leaves 20 degrees warmer
施設側の冷却水
about 20 °C, 5 degrees below the rack loop
CDU 1台
2 MW of heat on about 1.2 m²
計算量あたりの水の使用量(米国)
about 0.36 L per kWh
米国のデータセンター(2023年)
about 66 billion litres used on site

06

水冷が有利な理由

次に、同じホールを空冷のラックで満たした場合を考えます。このモデルでは1台あたり10kWなので、ホール全体の電力はおよそ12分の1になります。空気で冷やす限り、これを大きく増やすことはできません。実際、空冷ラックの上限は約20から35kWです。120kWの熱を空気で運び出すには、ラック1台に1時間あたり約32,600m³の空気を通す必要があります。

ラックの横の机には、ノートパソコンが置かれています。充電器の定格は40Wなので、全負荷のラック1台はこの充電器3,000個分に相当します。1年間全負荷で動かすと、ラック1台の電力使用量は米国の家庭で約100世帯分、EUなら約270世帯分になります。ENIACは、初期の電子計算機のひとつです。1945年には150kWの電力を使っていて、このラック1台より少し多い程度でした。重さは約27トンで、部屋をひとつ占めるほどの大きさでした。

施設どうしを比較するときは、PUEという指標も使います。power usage effectivenessの略で、日本語では電力使用効率といいます。施設全体の電力を、コンピューターの電力で割った値です。損失のない理想的な施設なら、ちょうど1になります。業界の平均は約1.5です。つまり、電力の約35%はコンピューターまで届いていません。Googleの全施設の平均は、2025年に1.09でした。冷却や損失に回る電力は、わずか8%です。

「比較する施設」の切り替えで変わるのは比較の相手で、ラックの冷却方式は変わりません。空冷と液冷のPUEを分けて示した研究がないため、このモデルでは冷却方式とPUEを結びつけていません。どちらを選んでも、エネルギーの行き着く先は同じで、最後は屋上から出ていく温かい空気になります。

全負荷のラック1台
120 kW
その熱を運ぶのに必要な空気
32,640 m³/h
家庭の年間使用量に換算
about 97 US or 270 EU homes
ノートパソコンの充電器
3,000 at 40 W each
PUE
1.54, industry average
計算に使われない電力
35% of site power