01
Entra eletricidade, sai calor
Um data center é um prédio cheio de computadores que rodam sites, aplicativos e IA. Seu ciclo de funcionamento é simples: entra eletricidade, sai calor. A energia chega por uma linha de transmissão, e a subestação reduz a tensão. Ao lado do salão dos computadores ficam fileiras de geradores a diesel. No telhado, um chiller resfria a água, como uma grande geladeira, e os dry coolers transferem o calor para o ar externo.
Dentro do salão ficam os racks, armários altos de aço cheios de computadores. O salão deste modelo tem 192 racks em 16 fileiras. Essa disposição é própria do modelo, já que os salões reais têm todos os tamanhos. Com todos os racks a plena carga, os computadores consomem cerca de 23 MW. Somando o resfriamento e as perdas no caminho, um data center médio precisa de cerca de 35 MW da rede. O último capítulo mostra como os mais eficientes conseguem gastar menos.
Juntos, os data centers do mundo consumiram cerca de 415 TWh de eletricidade em 2024. Isso equivale a cerca de 1,5% de toda a eletricidade usada no planeta. A Agência Internacional de Energia prevê que esse número chegue a cerca de 945 TWh até 2030. Os maiores são chamados de data centers de hiperescala, e no fim de 2024 havia 1.136 deles. O Google abriu seu primeiro data center em 2006, em The Dalles, no Oregon.
O marcador luminoso mostra onde está a energia em cada momento da animação: cor de âmbar enquanto é eletricidade, vermelho depois que se transforma em calor. A energia não se desloca em porções isoladas, mas acompanhar uma pequena quantidade dela mostra para onde vai o total. A eletricidade chega a um chip em menos de um microssegundo. O calor, depois, leva cerca de um minuto para sair pelo telhado. Por isso, a animação alonga a parte rápida e comprime a lenta. O relógio mostra o tempo do modelo, não uma medição.
- Racks neste modelo
- 192, in 16 rows
- Potência dos computadores
- 23.0 MW
- Potência que vem da rede
- about 35.5 MW at a PUE of 1.54
- Todos os data centers do mundo
- about 415 TWh in 2024, 1.5% of the world's electricity
02
Energia que não pode faltar
A eletricidade chega pela linha de transmissão em alta tensão, o que permite levá-la por longas distâncias com poucas perdas. Na subestação, os transformadores reduzem a tensão, e transformadores menores a reduzem de novo perto do salão. Cada um repassa cerca de 98 a 99% da energia. As tensões mostradas aqui são um exemplo: cada data center escolhe as suas.
Depois vêm os painéis de manobra, uma parede de grandes chaves elétricas que distribuem a energia e isolam qualquer parte que falhe. Em seguida, a energia passa pelo nobreak, também chamado de UPS, e por suas baterias. Se a rede cair, as baterias assumem imediatamente e mantêm o salão funcionando por alguns minutos, em geral de 5 a 15. Dali, o barramento blindado, feito de barras grossas de metal dentro de um invólucro comprido, leva a energia para o salão e ao longo das fileiras.
As baterias apenas ganham tempo. A verdadeira reserva são os geradores a diesel. As normas de segurança exigem que eles assumam a carga em até 10 segundos, e na prática os data centers levam de 10 a 60. Um desses grupos geradores, o Cat 3516C, da Caterpillar, fornece cerca de 1,8 MW e pesa cerca de 17 toneladas. A plena carga, queima cerca de 466 litros de diesel por hora. Versões maiores do mesmo modelo chegam a cerca de 2,5 MW.
Aperte Cortar a energia para fazer um simulado. As baterias sustentam o salão enquanto os geradores dão partida. Depois, os geradores assumem a carga, e as baterias são recarregadas. Neste modelo, a rede volta após 20 segundos, um intervalo escolhido para o simulado, e os geradores são desligados aos poucos. Os data centers são classificados pela forma como lidam com falhas: um data center Tier III pode passar por manutenção sem ser desligado, e um Tier IV continua funcionando mesmo durante um defeito. Ainda assim, problemas de energia causaram 45% das paradas graves em 2025.
- Um exemplo de níveis de tensão
- medium voltage, then 415 V AC, then about 50 V DC
- Entrada dos geradores
- within 10 s by code, 10 to 60 s at real sites
- Duração das baterias
- typically 5 to 15 minutes
- Um grupo gerador
- about 1.8 MW, about 17 t
- Diesel a plena carga
- about 466 litres an hour
- Paradas graves por falha de energia
- 45% in 2025
03
Por dentro de um rack de 120 kW
A energia segue para um rack Nvidia GB200 NVL72. Ele abriga 72 GPUs, os chips que fazem os cálculos da IA, e 36 CPUs, os chips que gerenciam todo o resto. Eles ficam em 18 bandejas de computação, gavetas finas que deslizam para dentro do rack. Entre elas, 9 bandejas de switch interligam as 72 GPUs. A ordem das bandejas aqui é própria do modelo.
A energia entra por cima e por baixo do rack, em seis fontes de alimentação. Elas convertem a corrente alternada (CA) do salão em corrente contínua (CC), a cerca de 50 V. O barramento CC, um conjunto de barras grossas de cobre na parte de trás do rack, alimenta todas as bandejas com até 1.400 A. A cerca de 50 V, isso equivale a cerca de 70 kW, bem menos que os 120 kW do rack. Por isso, neste modelo, o barramento tem uma metade superior e uma inferior, cada uma alimentada por três fontes. A divisão real não foi divulgada.
A plena carga, o rack consome cerca de 120 kW, e a HPE informa 132 kW para a sua versão. Cerca de um décimo da energia que sai da rede se perde antes de chegar ao rack, dissipada como calor nos transformadores, no nobreak e nas fontes de alimentação. O rack pesa cerca de 1,4 tonelada, quase o mesmo que um carro elétrico de porte médio. Muitos salões têm piso elevado, com cabos e ar passando por baixo. Um piso elevado comum não foi feito para suportar tanto peso numa área tão pequena, por isso os salões de IA precisam de um piso mais resistente.
Dentro de uma GPU, a eletricidade liga e desliga transistores minúsculos para fazer os cálculos. Esse trabalho não retém nada da energia: quase toda ela se transforma em calor imediatamente, dentro do próprio chip. O chip ampliado mostra um chip 10 vezes maior, com dimensões apenas ilustrativas. Os pequenos ventiladores das bandejas ainda resfriam as placas de rede e o armazenamento. Escolha Ocioso para ver a carga cair. Neste modelo, um rack ocioso ainda consome 30% da sua potência a plena carga.
- Potência do rack agora
- 120 kW
- Chips
- 72 GPUs, 36 CPUs
- Bandejas
- 18 compute, 9 switch
- Barramento CC
- up to 1,400 A at about 50 V
- Peso
- about 1.4 t
- Perdas antes do chip
- roughly a tenth, as heat
- Ventiladores
- small tray fans, spinning fast
04
A poucos microssegundos de distância
As grandes tarefas de IA são divididas entre muitas GPUs, por isso os chips trocam dados o tempo todo. Dentro do rack, eles usam o NVLink, conexões de cobre que passam pelas bandejas de switch. Cada GPU pode enviar e receber 1,8 TB/s, e o rack inteiro, 130 TB/s. TB/s significa terabytes por segundo, ou um trilhão de bytes a cada segundo.
De um rack para outro, os dados passam por switches de rede. Na ponta de cada fileira fica um switch leaf. Cada leaf se conecta a todos os switches spine, a espinha dorsal da rede, no centro do salão. Assim, qualquer rack alcança qualquer outro em três saltos: leaf, spine, leaf. O modelo mostra dois spines e um leaf por fileira, mas os salões reais têm muito mais.
Um switch rápido, como o 7060X6 da Arista, acrescenta cerca de 700 nanossegundos. Um nanossegundo é um bilionésimo de segundo. Na fibra óptica, que é feita de vidro, a luz leva cerca de 5 microssegundos para percorrer um quilômetro. Assim, atravessar o salão leva apenas alguns microssegundos, ou milionésimos de segundo. Observe os traços verdes que partem da entrada da fibra, passam pelos switches e chegam ao rack.
O maior atraso está no caminho até o usuário. Pela fibra, a ida e volta até uma cidade a 1.000 km leva cerca de 10 milissegundos. Para uma cidade a 100 km, cerca de 1 milissegundo. Essa conta considera apenas a fibra, e o software acrescenta o seu próprio tempo. Escolha uma distância para comparar.
- NVLink dentro do rack
- 1.8 TB/s per GPU, 130 TB/s in all
- Passagem por um switch
- about 700 ns
- Luz na fibra óptica
- about 4.9 µs per km
- De ponta a ponta do salão
- about 2.6 µs, three switches and the fibre
- Ida e volta até o usuário
- about 9.8 ms, fibre alone
05
Como o calor é retirado
Agora a energia é calor, e esse calor precisa ser retirado. Sobre cada chip há uma placa fria, um bloco de metal com água circulando por dentro. Numa apresentação, a Nvidia informou que a água entra no rack a cerca de 25 °C e sai a cerca de 45 °C. O modelo ajusta a vazão da bomba para que um rack a plena carga aqueça a água nesses mesmos 20 graus.
O coletor, um conjunto de tubos na lateral do rack, leva a água quente pela fileira até a unidade de distribuição de resfriamento, ou CDU, na sigla em inglês. Ali, o calor passa para um segundo circuito: a água do prédio, que circula pelo edifício inteiro. As duas águas nunca se misturam. A água do prédio trabalha cerca de 5 graus mais fria, por isso precisa chegar a cerca de 20 °C. Uma CDU, a CHx2000 da CoolIT, transfere 2 MW de calor e ocupa cerca de 1,2 m² de piso. Neste modelo, cada fileira tem a sua.
A tubulação do prédio leva o calor até o telhado. A 20 °C, a água está mais fria que o ar em muitos dias de verão, então o chiller primeiro retira calor dela. Depois, os dry coolers sopram ar externo sobre serpentinas quentes, e o calor deixa o data center na forma de ar morno. Aqui, todos os circuitos são fechados, por isso o consumo de água é muito baixo. Muitos data centers usam, em vez disso, torres de resfriamento, que funcionam pela evaporação de água. Em 2023, os data centers dos EUA consumiram cerca de 66 bilhões de litros de água no próprio local.
Escolha Ar para trocar os racks por modelos resfriados a ar, a abordagem tradicional. Ventiladores puxam ar frio pela frente de cada rack e o expelem pela traseira, num corredor quente: o espaço entre duas fileiras onde o ar quente se acumula. Os climatizadores então transferem o calor desse ar para a mesma água do prédio. O ar retém muito menos calor que a água, por isso cada kW exige cerca de 272 m³ de ar por hora. Alguns data centers aproveitam esse calor: em Odense e em Estocolmo, eles ajudam a aquecer residências.
- Aumento de temperatura no rack
- the water leaves 20 degrees warmer
- Água do prédio
- about 20 °C, 5 degrees below the rack loop
- Uma CDU
- 2 MW of heat on about 1.2 m²
- Água por unidade de computação, EUA
- about 0.36 L per kWh
- Data centers dos EUA, 2023
- about 66 billion litres used on site
06
Por que a água ganha
Agora encha o mesmo salão de racks resfriados a ar. Neste modelo, cada um consome 10 kW, então o salão inteiro opera com cerca de 12 vezes menos potência. O ar não permite ir muito além disso: na prática, um rack resfriado a ar chega no máximo a cerca de 20 a 35 kW. Para retirar 120 kW apenas com ar, seria preciso fazer passar cerca de 32.600 m³ de ar por um único armário a cada hora.
Ao lado do rack, há um notebook sobre uma mesa. O carregador dele é de 40 W, então um rack a plena carga equivale a 3.000 desses carregadores. Funcionando a plena carga durante um ano, um rack consome tanta eletricidade quanto cerca de 100 casas nos EUA, ou 270 na União Europeia. O ENIAC foi um dos primeiros computadores eletrônicos. Em 1945, ele consumia 150 kW, um pouco mais que este rack sozinho. Pesava cerca de 27 toneladas e ocupava uma sala inteira.
Os data centers também são comparados pelo PUE, sigla em inglês para eficiência no uso de energia. Ele é a potência total do data center dividida pela potência dos computadores, então um data center perfeito teria PUE igual a 1. A média do setor fica em torno de 1,5, o que significa que cerca de 35% da energia nunca chega a um computador. Em 2025, a média de todos os data centers do Google foi de 1,09. Apenas 8% da energia foi para o resfriamento e as perdas.
Este seletor muda o data center usado na comparação, não a forma de resfriar o rack. Nenhum estudo informa o PUE separadamente para o resfriamento a ar e a líquido, por isso o modelo não relaciona um ao outro. Qualquer que seja a escolha, o percurso da energia termina da mesma forma: como ar morno acima do telhado.
- Um rack a plena carga
- 120 kW
- Ar para levar esse calor
- 32,640 m³/h
- Casas abastecidas por um ano
- about 97 US or 270 EU homes
- Carregadores de notebook
- 3,000 at 40 W each
- PUE
- 1.54, industry average
- Não chega aos computadores
- 35% of site power