01
Електрика на вході, тепло на виході
Дата-центром, або центром обробки даних, називають будівлю, повну комп’ютерів. На них працюють сайти, застосунки й штучний інтелект (ШІ). Цикл роботи дата-центру простий: усередину надходить електрика, назовні виходить тепло. Живлення приходить лінією електропередачі, а на підстанції напругу знижують. Біля машинної зали стоять ряди дизель-генераторів. На даху зали працює чилер: він охолоджує воду, як великий холодильник. Сухі охолоджувачі віддають тепло зовнішньому повітрю.
У залі стоять стійки, високі сталеві шафи, заповнені комп’ютерами. У цій моделі їх 192, у 16 рядах. Таке планування умовне, бо справжні зали бувають будь-якого розміру. Коли всі стійки працюють на повному навантаженні, комп’ютери споживають близько 23 МВт. Якщо додати охолодження й втрати на шляху, типовий дата-центр бере з електромережі близько 35 МВт. Як із цим справляються найкращі дата-центри, показано в останньому розділі.
У 2024 році всі дата-центри світу разом спожили близько 415 ТВт·год електроенергії. Це приблизно 1,5 відсотка всієї електроенергії у світі. Міжнародне енергетичне агентство очікує, що до 2030 року ця цифра зросте приблизно до 945 ТВт·год. Найбільші дата-центри називають гіпермасштабними. Наприкінці 2024 року їх налічувалося 1 136. Свій перший дата-центр Google відкрив 2006 року в місті Те-Далс, штат Орегон.
Світна позначка показує, де перебуває енергія в кожен момент відтворення. Бурштиновий колір означає електрику, червоний означає тепло. Насправді енергія не рухається окремими порціями. Але якщо простежити за невеликою її часткою, стає зрозуміло, куди йде вся енергія. До чипа електрика доходить менш ніж за мікросекунду, а теплу потім потрібно близько хвилини, щоб вийти крізь дах. Тому відтворення розтягує швидку частину шляху й стискає повільну. Годинник показує час моделі, а не результат вимірювань.
- Стійки в моделі
- 192, in 16 rows
- Живлення комп’ютерів
- 23.0 MW
- Споживання з електромережі
- about 35.5 MW at a PUE of 1.54
- Усі дата-центри світу
- about 415 TWh in 2024, 1.5% of the world's electricity
02
Живлення без права на перерву
Електроенергія надходить лінією електропередачі під високою напругою. Так її можна передавати на великі відстані з невеликими втратами. Підстанція та її трансформатори знижують напругу, а ближче до зали менші трансформатори знижують її ще раз. Кожен із них передає далі приблизно від 98 до 99 відсотків енергії. Напруги тут наведено для прикладу: кожен дата-центр вибирає власні.
Далі стоїть розподільний пристрій, ціла стіна великих вимикачів. Вони скеровують живлення й відключають будь-яку ділянку, що вийшла з ладу. Потім струм проходить через ДБЖ, тобто джерело безперебійного живлення, і його акумулятори. У разі відмови електромережі акумулятори одразу перебирають навантаження. Вони можуть живити залу кілька хвилин, зазвичай від 5 до 15. Звідти шинопровід, товсті металеві шини в довгому коробі, веде живлення в залу й далі вздовж рядів.
Акумулятори лише дають запас часу. Справжній резерв забезпечують дизель-генератори. За нормами безпеки вони мають перебрати навантаження не пізніше ніж за 10 секунд, а в реальних дата-центрах на це йде від 10 до 60 секунд. Один такий агрегат, Cat 3516C від Caterpillar, видає близько 1,8 МВт і важить близько 17 тонн. На повному навантаженні він спалює близько 466 літрів дизельного пального за годину. Більші версії цієї моделі досягають приблизно 2,5 МВт.
Натисніть «Вимкнути електромережу», щоб провести навчання. Поки генератори запускаються, залу живлять акумулятори. Потім навантаження перебирають генератори, а акумулятори заряджаються. У моделі електромережа повертається через 20 секунд: цю тривалість вибрано для навчання. Після цього генератори поступово зупиняються. Дата-центри поділяють на рівні за тим, наскільки добре вони витримують збої. Об’єкт рівня Tier III можна обслуговувати без зупинки, а об’єкт рівня Tier IV працює далі навіть у разі несправності. Попри це, у 2025 році проблеми з живленням спричинили 45 відсотків серйозних збоїв.
- Ступені напруги, для прикладу
- medium voltage, then 415 V AC, then about 50 V DC
- Перехід на генератори
- within 10 s by code, 10 to 60 s at real sites
- Час роботи акумуляторів
- typically 5 to 15 minutes
- Один дизель-генератор
- about 1.8 MW, about 17 t
- Пальне за повного навантаження
- about 466 litres an hour
- Серйозні збої через живлення
- 45% in 2025
03
Усередині стійки на 120 кВт
Живлення надходить до стійки Nvidia GB200 NVL72. У ній 72 графічні процесори, або GPU: саме вони виконують обчислення для ШІ. Ще 36 центральних процесорів, або CPU, керують усім іншим. Усі вони розміщені на 18 обчислювальних лотках, пласких висувних модулях у корпусі стійки. Між ними стоять 9 комутаційних лотків, які з’єднують усі 72 GPU між собою. Порядок лотків у моделі умовний.
Струм надходить у стійку згори й знизу, до шести блоків живлення. Вони перетворюють змінний струм зали на постійний напругою близько 50 В. Уздовж задньої стінки стійки проходить шина постійного струму, товсті мідні смуги. Вона подає на кожен лоток струм до 1 400 А. Але за напруги близько 50 В це лише близько 70 кВт, значно менше за 120 кВт, які споживає стійка. Тому в моделі шина має верхню й нижню половини, і кожну живлять три блоки. Як цей поділ влаштовано насправді, не оприлюднено.
На повному навантаженні стійка споживає близько 120 кВт, а HPE для своєї версії вказує 132 кВт. Приблизно десята частина енергії з електромережі втрачається ще до стійки. Вона виділяється як тепло в трансформаторах, ДБЖ і блоках живлення. Стійка важить приблизно 1,4 тонни, майже як електромобіль середнього класу. У багатьох залах є фальшпідлога: піднята підлога, під якою проходять кабелі й повітря. Звичайна фальшпідлога не розрахована на таку вагу на малій площі, тому залам для ШІ потрібна міцніша.
Усередині GPU електрика вмикає й вимикає крихітні транзистори, і так виконуються обчислення. Обчислення не накопичують енергію: майже вся вона одразу перетворюється на тепло, просто в чипі. На вставці «Чип зблизька» один чип збільшено в 10 разів, а розміри показано умовно, не за вимірами. Малі вентилятори лотків усе одно потрібні: вони охолоджують мережеві карти й накопичувачі. Перемкніть на «Простій», щоб побачити, як падає навантаження. У моделі навіть стійка в режимі простою споживає 30 відсотків своєї повної потужності.
- Потужність стійки зараз
- 120 kW
- Чипи
- 72 GPUs, 36 CPUs
- Лотки
- 18 compute, 9 switch
- Шина постійного струму
- up to 1,400 A at about 50 V
- Вага
- about 1.4 t
- Втрати на шляху до чипа
- roughly a tenth, as heat
- Вентилятори
- small tray fans, spinning fast
04
На відстані кількох мікросекунд
Великі завдання ШІ розподіляють між багатьма GPU, тож чипи постійно обмінюються даними. Усередині стійки для цього служить NVLink: мідні з’єднання, що проходять через комутаційні лотки. Кожен GPU може надсилати й отримувати 1,8 ТБ/с, а вся стійка пропускає 130 ТБ/с. ТБ/с означає терабайт за секунду, тобто трильйон байтів щосекунди.
Між стійками дані йдуть через мережеві комутатори. У кінці кожного ряду стоїть комутатор доступу. Кожен із них з’єднаний з усіма магістральними комутаторами, які стоять посередині й утворюють ядро мережі. Тож від будь-якої стійки до будь-якої іншої дані доходять за три переходи: комутатор доступу, магістральний і знову комутатор доступу. У моделі показано два магістральні комутатори й по одному комутатору доступу на ряд, а в справжніх залах їх набагато більше.
Швидкий комутатор, як-от Arista 7060X6, додає близько 700 наносекунд затримки. Наносекунда дорівнює мільярдній частці секунди. У скляному оптоволокні світло долає кілометр приблизно за 5 мікросекунд. Тож передача через усю залу триває лише кілька мікросекунд, тобто мільйонних часток секунди. Зелені штрихи показують, як дані йдуть від вводу оптоволокна через комутатори до стійки.
Найбільша затримка виникає на шляху до користувача. Передача оптоволокном до міста за 1 000 км і назад триває близько 10 мілісекунд. Для міста за 100 км це близько 1 мілісекунди. Тут враховано лише час в оптоволокні. Програмне забезпечення додає власну затримку. Виберіть відстань і порівняйте.
- NVLink у стійці
- 1.8 TB/s per GPU, 130 TB/s in all
- Прохід через комутатор
- about 700 ns
- Світло в оптоволокні
- about 4.9 µs per km
- Через усю залу
- about 2.6 µs, three switches and the fibre
- До користувача й назад
- about 9.8 ms, fibre alone
05
Як відводять тепло
Тепер енергія стала теплом, і його треба відвести. На кожному чипі закріплено охолоджувальну пластину: металевий блок, крізь який тече вода. У своїй презентації Nvidia повідомила, що вода надходить у стійку з температурою близько 25 °C, а виходить нагрітою приблизно до 45 °C. У моделі насос подає стільки води, щоб повністю навантажена стійка нагрівала її саме на ці 20 градусів.
Збоку стійки проходить колектор, тобто система труб. Він відводить теплу воду вздовж ряду до блока розподілу теплоносія, скорочено CDU. Там тепло переходить у другий контур, спільний для всієї будівлі. Вода з цих контурів ніколи не змішується. У контурі будівлі вода приблизно на 5 градусів холодніша, тож подавати її треба з температурою близько 20 °C. Один такий блок, CHx2000 від CoolIT, передає 2 МВт тепла й займає близько 1,2 м² підлоги. У моделі на кожен ряд припадає один такий блок.
Труби контуру будівлі відводять тепло на дах. Улітку надворі часто тепліше за 20 °C, тож спершу чилер відбирає у води тепло. Потім сухі охолоджувачі обдувають гарячі змійовики зовнішнім повітрям, і тепло виходить назовні з нагрітим повітрям. Тут усі контури замкнені, тож води витрачається дуже мало. Багато дата-центрів натомість використовують градирні, які охолоджують, випаровуючи воду. У 2023 році дата-центри США витратили на самих об’єктах близько 66 мільярдів літрів води.
Виберіть «Повітряне», щоб замінити стійки на традиційні, з повітряним охолодженням. Вентилятори втягують прохолодне повітря в кожну стійку спереду й видувають його ззаду, у гарячий коридор. Так називають прохід між двома рядами, де збирається тепле повітря. Далі кондиціонери передають це тепло в ту саму воду контуру будівлі. Повітря вбирає набагато менше тепла, ніж вода, тож на кожен кіловат потрібно близько 272 м³ повітря за годину. Деякі дата-центри використовують своє тепло: в Оденсе й Стокгольмі воно допомагає обігрівати житло.
- Нагрів у стійці
- the water leaves 20 degrees warmer
- Вода в контурі будівлі
- about 20 °C, 5 degrees below the rack loop
- Один CDU
- 2 MW of heat on about 1.2 m²
- Вода на обчислення, США
- about 0.36 L per kWh
- Дата-центри США, 2023 рік
- about 66 billion litres used on site
06
Чому вода ефективніша
Тепер заповніть ту саму залу стійками з повітряним охолодженням. У моделі кожна з них споживає 10 кВт, тож потужність усієї зали падає приблизно в 12 разів. Повітряне охолодження не здатне на значно більше. На практиці межа для стійки з повітряним охолодженням становить приблизно від 20 до 35 кВт. Щоб відвести 120 кВт повітрям, крізь одну шафу щогодини мало б проходити близько 32 600 м³ повітря.
Біля стійки на столі стоїть ноутбук. Його зарядний пристрій розрахований на 40 Вт, тож одна стійка за повного навантаження відповідає 3 000 таких пристроїв. Якщо стійка працюватиме так цілий рік, вона спожиє стільки електроенергії, скільки приблизно 100 домівок у США або 270 у ЄС. ENIAC був одним із перших електронних комп’ютерів. У 1945 році він споживав 150 кВт, трохи більше, ніж ця стійка. Важив він близько 27 тонн і займав цілу кімнату.
Дата-центри порівнюють ще й за коефіцієнтом ефективності використання енергії, або PUE (від англійського power usage effectiveness). Щоб його отримати, потужність усього дата-центру ділять на потужність комп’ютерів. Тож в ідеального дата-центру PUE дорівнював би 1. Середній PUE в галузі становить близько 1,5. Це означає, що приблизно 35 відсотків енергії так і не доходять до комп’ютерів. Дата-центри Google у 2025 році мали в середньому 1,09, тож на охолодження й втрати в них ішло лише 8 відсотків.
Цей перемикач змінює дата-центр для порівняння, а не спосіб охолодження стійки. Жодне дослідження не наводить PUE окремо для повітряного й рідинного охолодження, тому модель їх між собою не пов’язує. Хоч би що ви вибрали, шлях енергії закінчується однаково: теплим повітрям над дахом.
- Одна стійка за повного навантаження
- 120 kW
- Повітря, щоб відвести це тепло
- 32,640 m³/h
- Стільки ж споживають за рік
- about 97 US or 270 EU homes
- Зарядні пристрої ноутбуків
- 3,000 at 40 W each
- PUE
- 1.54, industry average
- Іде не на обчислення
- 35% of site power