01
Strom hinein, Wärme hinaus
Ein Rechenzentrum ist ein Gebäude voller Computer, auf denen Websites, Apps und KI laufen. Sein Grundprinzip ist einfach: Strom fließt hinein, Wärme geht hinaus. Der Strom kommt über eine Hochspannungsleitung an, im Umspannwerk wird die Spannung gesenkt. Neben der Serverhalle stehen Reihen von Dieselgeneratoren. Auf dem Dach der Halle kühlt eine Kältemaschine Wasser, ähnlich wie ein großer Kühlschrank. Rückkühler geben die Wärme an die Außenluft ab.
In der Halle stehen die Racks: hohe Stahlschränke, dicht bestückt mit Computern. Die Halle im Modell fasst 192 Racks in 16 Reihen. Diese Aufteilung ist frei gewählt, denn echte Hallen gibt es in allen Größen. Laufen alle Racks unter Volllast, brauchen die Computer zusammen etwa 23 MW. Hinzu kommen die Kühlung und die Verluste auf dem Weg. Ein durchschnittlicher Standort bezieht deshalb etwa 35 MW aus dem Netz. Wie die besten Standorte das unterbieten, zeigt das letzte Kapitel.
Alle Rechenzentren der Welt zusammen haben 2024 etwa 415 TWh Strom verbraucht. Das sind etwa 1,5 Prozent des weltweiten Stromverbrauchs. Die Internationale Energieagentur rechnet bis 2030 mit etwa 945 TWh. Die größten Anlagen heißen Hyperscale-Rechenzentren. Ende 2024 gab es 1.136 davon. Google eröffnete sein erstes Rechenzentrum 2006 in The Dalles in Oregon.
Die leuchtende Markierung zeigt, wo sich die Energie im jeweiligen Moment der Wiedergabe befindet: bernsteinfarben, solange sie als Strom fließt, und rot, sobald sie zu Wärme geworden ist. In Wirklichkeit bewegt sich Energie nicht in einzelnen Portionen. Verfolgt man aber eine kleine Menge, wird sichtbar, wohin die gesamte Energie geht. Der Strom erreicht einen Chip in weniger als einer Mikrosekunde. Die Wärme braucht danach etwa eine Minute, bis sie über das Dach abgegeben wird. Deshalb zeigt die Wiedergabe den schnellen Teil in Zeitlupe und den langsamen im Zeitraffer. Die Uhr zeigt die Zeiten des Modells, keine Messwerte.
- Racks im Modell
- 192, in 16 rows
- Leistung für die Computer
- 23.0 MW
- Leistung aus dem Netz
- about 35.5 MW at a PUE of 1.54
- Alle Rechenzentren weltweit
- about 415 TWh in 2024, 1.5% of the world's electricity
02
Strom, der nie ausfallen darf
Der Strom erreicht das Gelände über die Hochspannungsleitung. Bei hoher Spannung lässt er sich mit geringen Verlusten über weite Strecken übertragen. Im Umspannwerk senken Transformatoren die Spannung, und kleinere Transformatoren nahe der Halle senken sie ein weiteres Mal. Jeder Transformator gibt etwa 98 bis 99 Prozent der Energie weiter. Die Spannungen im Modell sind ein Beispiel. Jeder Standort legt seine eigenen fest.
Danach folgt die Schaltanlage, eine ganze Wand aus großen Schaltern. Sie verteilt den Strom und trennt jeden Abschnitt ab, in dem ein Fehler auftritt. Anschließend durchläuft der Strom die USV mit ihren Batterien. USV steht für unterbrechungsfreie Stromversorgung. Fällt das Netz aus, übernehmen die Batterien sofort. Sie können die Halle einige Minuten lang versorgen, in der Regel 5 bis 15. Von dort führt der Schienenverteiler den Strom in die Halle und an den Reihen entlang. Er besteht aus dicken Metallschienen in einem langen Gehäuse.
Batterien verschaffen nur Zeit. Die eigentliche Reserve sind die Dieselgeneratoren. Sicherheitsvorschriften verlangen, dass sie innerhalb von 10 Sekunden übernehmen. In der Praxis dauert es zwischen 10 und 60 Sekunden. Ein solches Aggregat ist der Cat 3516C von Caterpillar. Er liefert etwa 1,8 MW, wiegt etwa 17 Tonnen und verbrennt bei Volllast etwa 466 Liter Diesel pro Stunde. Größere Ausführungen kommen auf etwa 2,5 MW.
Drücken Sie „Netz abschalten“, um den Ernstfall zu proben. Die Batterien versorgen die Halle, während die Generatoren anlaufen. Dann übernehmen die Generatoren, und die Batterien werden wieder geladen. Im Modell kehrt das Netz nach 20 Sekunden zurück, und die Generatoren fahren herunter. Diese Dauer ist eigens für die Übung gewählt. Rechenzentren werden danach eingestuft, wie gut sie Störungen verkraften: Ein Standort der Stufe Tier III lässt sich im laufenden Betrieb warten, einer der Stufe Tier IV arbeitet auch bei einem Fehler weiter. Dennoch gingen 2025 noch 45 Prozent der schweren Ausfälle auf Stromprobleme zurück.
- Beispiel für die Spannungsstufen
- medium voltage, then 415 V AC, then about 50 V DC
- Generatoren übernehmen
- within 10 s by code, 10 to 60 s at real sites
- Überbrückung durch Batterien
- typically 5 to 15 minutes
- Ein Dieselgenerator
- about 1.8 MW, about 17 t
- Diesel bei Volllast
- about 466 litres an hour
- Schwere Ausfälle durch Stromprobleme
- 45% in 2025
03
Blick in ein Rack mit 120 kW
Das Ziel des Stroms ist ein Rack vom Typ Nvidia GB200 NVL72. Es enthält 72 GPUs, die Chips, die die Rechenarbeit für die KI leisten. Dazu kommen 36 CPUs, die alles Übrige steuern. Die Chips sitzen in 18 Recheneinschüben, flachen Modulen, die sich ins Rack schieben lassen. Dazwischen verbinden 9 Switch-Einschübe alle 72 GPUs miteinander. Die Reihenfolge der Einschübe ist im Modell frei gewählt.
Der Strom fließt oben und unten ins Rack. Dort sitzen sechs Netzteil-Einschübe. Sie wandeln den Wechselstrom (AC) der Halle in Gleichstrom (DC) mit etwa 50 V um. Die DC-Stromschiene besteht aus dicken Kupferschienen an der Rückseite des Racks. Sie versorgt jeden Einschub und führt bis zu 1.400 A. Bei etwa 50 V sind das etwa 70 kW, deutlich weniger als die 120 kW des Racks. Deshalb hat die Stromschiene im Modell eine obere und eine untere Hälfte. Jede Hälfte wird von drei Netzteil-Einschüben gespeist. Die tatsächliche Aufteilung ist nicht veröffentlicht.
Unter Volllast braucht das Rack etwa 120 kW, HPE gibt für seine Version 132 kW an. Rund ein Zehntel des Stroms aus dem Netz geht verloren, bevor er das Rack erreicht: als Wärme in den Transformatoren, in der USV und in den Netzteil-Einschüben. Das Rack wiegt rund 1,4 Tonnen, etwa so viel wie ein mittelgroßes Elektroauto. Viele Hallen haben einen Doppelboden, unter dem Kabel verlaufen und Luft strömt. Ein üblicher Doppelboden ist nicht für so viel Gewicht auf so kleiner Fläche ausgelegt. KI-Hallen brauchen deshalb einen tragfähigeren Boden.
In einer GPU schaltet der Strom winzige Transistoren ein und aus, und so rechnet der Chip. Bei dieser Arbeit bleibt keine Energie gespeichert: Nahezu die gesamte Energie wird sofort zu Wärme, und zwar im Chip selbst. Der Chip unter der Lupe zeigt einen Chip in zehnfacher Vergrößerung. Seine Maße sind gezeichnet, nicht gemessen. Kleine Einschublüfter kühlen weiterhin die Netzwerkkarten und den Datenspeicher. Schalten Sie auf „Leerlauf“, um die Last sinken zu sehen. Im Modell braucht ein Rack auch im Leerlauf noch 30 Prozent seiner vollen Leistung.
- Aktuelle Rackleistung
- 120 kW
- Chips
- 72 GPUs, 36 CPUs
- Einschübe
- 18 compute, 9 switch
- DC-Stromschiene
- up to 1,400 A at about 50 V
- Gewicht
- about 1.4 t
- Verluste bis zum Chip
- roughly a tenth, as heat
- Lüfter
- small tray fans, spinning fast
04
Nur wenige Mikrosekunden entfernt
Große KI-Aufgaben werden auf viele GPUs verteilt. Deshalb tauschen die Chips ständig Daten aus. Im Rack nutzen sie dafür NVLink: Kupferverbindungen, die durch die Switch-Einschübe laufen. Jede GPU kann 1,8 TB/s senden und empfangen, das ganze Rack 130 TB/s. TB/s steht für Terabyte pro Sekunde, also eine Billion Byte in jeder Sekunde.
Zwischen den Racks laufen die Daten über Netzwerk-Switches. Am Ende jeder Reihe sitzt ein Leaf-Switch. Jeder Leaf ist mit jedem Spine-Switch verkabelt, dem Rückgrat in der Mitte. So erreicht jedes Rack jedes andere über drei Stationen: Leaf, Spine, Leaf. Das Modell zeigt zwei Spines und einen Leaf pro Reihe. Echte Hallen haben weit mehr.
Ein schneller Switch wie der 7060X6 von Arista verzögert die Daten um etwa 700 Nanosekunden. Eine Nanosekunde ist eine Milliardstelsekunde. In der Glasfaser braucht Licht etwa 5 Mikrosekunden für einen Kilometer. Der Weg quer durch die Halle dauert deshalb nur wenige Mikrosekunden, also Millionstelsekunden. Achten Sie auf die grünen Striche: Sie laufen vom Glasfaseranschluss durch die Switches bis zum Rack.
Die größte Verzögerung entsteht auf dem Weg zum Nutzer. Hin und zurück durch die Glasfaser zu einer Stadt in 1.000 km Entfernung brauchen die Daten etwa 10 Millisekunden. Bei einer Stadt in 100 km Entfernung ist es etwa eine Millisekunde. Das ist allein die Laufzeit in der Glasfaser. Die Verarbeitung in der Software kommt noch hinzu. Wählen Sie eine Entfernung zum Vergleich.
- NVLink im Rack
- 1.8 TB/s per GPU, 130 TB/s in all
- Verzögerung pro Switch
- about 700 ns
- Licht in der Glasfaser
- about 4.9 µs per km
- Quer durch die Halle
- about 2.6 µs, three switches and the fibre
- Zum Nutzer und zurück
- about 9.8 ms, fibre alone
05
Die Wärme muss hinaus
Die Energie liegt nun als Wärme vor und muss abgeführt werden. Auf jedem Chip sitzt eine Kühlplatte, ein Metallblock, durch den Wasser fließt. In einem Vortrag nannte Nvidia die Temperaturen: Das Wasser tritt mit etwa 25 °C ins Rack ein und verlässt es mit etwa 45 °C. Im Modell ist der Durchfluss der Pumpen so eingestellt, dass ein Rack unter Volllast das Wasser um genau diese 20 Grad erwärmt.
Der Verteiler besteht aus Rohren an der Seite des Racks. Er leitet das warme Wasser die Reihe entlang zur Kühlmittel-Verteileinheit, kurz CDU (vom englischen Coolant Distribution Unit). Dort geht die Wärme in einen zweiten Kreislauf über, der das ganze Gebäude versorgt: den Gebäudekreislauf. Das Wasser der beiden Kreisläufe vermischt sich nie. Im Gebäudekreislauf ist das Wasser etwa 5 Grad kälter. Es muss also mit etwa 20 °C ankommen. Eine CDU wie die CHx2000 von CoolIT überträgt 2 MW Wärme und braucht dafür etwa 1,2 m² Stellfläche. Im Modell hat jede Reihe eine eigene.
Die Kühlwasserleitungen bringen die Wärme hinauf aufs Dach. An vielen Sommertagen ist es draußen wärmer als 20 °C. Deshalb entzieht die Kältemaschine dem Wasser zuerst Wärme. Dann blasen die Rückkühler Außenluft über heiße Rohrschlangen, und die Wärme verlässt das Gelände als warme Luft. Hier sind alle Kreisläufe geschlossen, deshalb wird nur sehr wenig Wasser verbraucht. Viele Standorte setzen stattdessen auf Kühltürme. Sie kühlen, indem sie Wasser verdunsten lassen. Rechenzentren in den USA haben 2023 vor Ort etwa 66 Milliarden Liter Wasser verbraucht.
Wählen Sie „Luftkühlung“, und das Modell zeigt luftgekühlte Racks, die herkömmliche Bauweise. Lüfter saugen vorn kühle Luft in jedes Rack und blasen sie hinten wieder hinaus, in einen Warmgang. So heißt der Gang zwischen zwei Rackreihen, in dem sich die warme Luft sammelt. Anschließend nehmen Umluftkühlgeräte der Luft die Wärme ab und geben sie an dasselbe Wasser im Gebäudekreislauf weiter. Luft nimmt viel weniger Wärme auf als Wasser. Für jedes kW sind deshalb etwa 272 m³ Luft pro Stunde nötig. Manche Standorte nutzen ihre Abwärme: In Odense und Stockholm tragen Rechenzentren zur Beheizung von Wohnungen bei.
- Temperaturanstieg im Rack
- the water leaves 20 degrees warmer
- Wasser im Gebäudekreislauf
- about 20 °C, 5 degrees below the rack loop
- Eine CDU
- 2 MW of heat on about 1.2 m²
- Wasserbedarf fürs Rechnen, USA
- about 0.36 L per kWh
- US-Rechenzentren, 2023
- about 66 billion litres used on site
06
Wasser schlägt Luft
Füllen Sie nun dieselbe Halle mit luftgekühlten Racks. Im Modell braucht jedes davon 10 kW. Die ganze Halle kommt damit nur auf etwa ein Zwölftel der Leistung. Mehr lässt sich mit Luft kaum erreichen: In der Praxis liegt die Grenze für ein luftgekühltes Rack bei etwa 20 bis 35 kW. Um 120 kW mit Luft abzuführen, müssten jede Stunde etwa 32.600 m³ Luft durch einen einzigen Schrank strömen.
Neben dem Rack steht ein Laptop auf einem Schreibtisch. Sein Netzteil ist für 40 W ausgelegt. Ein Rack unter Volllast entspricht also 3.000 solchen Netzteilen. Läuft ein Rack das ganze Jahr unter Volllast, verbraucht es so viel Strom wie etwa 100 Haushalte in den USA oder 270 in der EU. Der ENIAC war einer der ersten elektronischen Computer. 1945 brauchte er 150 kW, etwas mehr als dieses eine Rack. Er wog etwa 27 Tonnen und füllte einen ganzen Raum.
Rechenzentren vergleicht man auch über ihre PUE. Die Abkürzung steht für das englische Power Usage Effectiveness, auf Deutsch Energieverbrauchseffektivität. Sie ergibt sich aus der Leistung des gesamten Standorts geteilt durch die Leistung der Rechner. Ein perfekter Standort käme also auf 1. Im Branchenschnitt liegt die PUE bei etwa 1,5. Das bedeutet: Etwa 35 Prozent des Stroms kommen nie bei einem Rechner an. Googles Rechenzentren kamen 2025 im Schnitt auf 1,09. Für Kühlung und Verluste bleiben damit nur 8 Prozent.
Diese Auswahl legt nur fest, mit welchem Standort Sie vergleichen. Wie das Rack gekühlt wird, ändert sie nicht. Keine Studie gibt die PUE für Luft- und Flüssigkühlung getrennt an. Deshalb verknüpft das Modell die PUE nicht mit der Kühlart. Unabhängig von Ihrer Wahl endet der Weg der Energie immer gleich: als warme Luft über dem Dach.
- Ein Rack unter Volllast
- 120 kW
- Luftbedarf für diese Wärme
- 32,640 m³/h
- Jahresverbrauch
- about 97 US or 270 EU homes
- Laptop-Netzteile
- 3,000 at 40 W each
- PUE
- 1.54, industry average
- Nicht fürs Rechnen
- 35% of site power