Power, Cooling & Infrastructure : Aspects Pratiques du Hardware IA

Le hardware d’IA moderne est extrêmement performant, mais cette performance a un prix : une consommation électrique et une production de chaleur considérables. Un GPU H100 consomme jusqu’à 700W, soit autant qu’un radiateur électrique portable. Multiplié par 8 dans un serveur, on atteint 5,6kW, sans compter le CPU, la RAM et les autres composants.

Comprendre et gérer ces aspects est essentiel pour :

• Planifier l’infrastructure électrique : éviter les surcharges et pannes
• Dimensionner le refroidissement : prévenir la surchauffe et le throttling
• Estimer les coûts opérationnels : l’électricité représente souvent 30-50% du TCO
• Respecter les contraintes physiques : un datacenter ne peut pas toujours accueillir n’importe quelle densité

Consommation Électrique

TDP des Composants Principaux

Le TDP (Thermal Design Power) représente la puissance thermique maximale que le système de refroidissement doit évacuer. Pour les GPU, on parle aussi de TGP (Total Graphics Power).

GPU Datacenter (2025) :

GPU Consumer/Pro :

Pour un comparatif détaillé de ces GPU et leurs caractéristiques, consultez notre guide complet.

CPU :

• AMD Threadripper PRO 7995WX : 350W (96 cœurs)
• Intel Xeon Platinum 8480+ : 350W (56 cœurs)
• AMD EPYC 9654 : 360W (96 cœurs)
• Consumer (Ryzen 9 7950X) : 170W (16 cœurs)

Calcul de la Consommation Totale

Pour calculer la consommation d’un système, il faut additionner tous les composants :

Exemple : Workstation IA

GPU (RTX 4090)       : 450W
CPU (Ryzen 9 7950X)  : 170W
Carte mère + RAM     : 50W
SSD NVMe (x2)        : 10W
Ventilateurs + Pompe : 20W
────────────────────────
Total                : 700W
Avec marge 20%       : 840W
→ PSU recommandée    : 1000W

Exemple : Serveur 8x H100

GPU (8x H100 SXM)     : 5 600W
CPU (2x Xeon)         : 700W
RAM (2TB DDR5)        : 200W
NVMe + Networking     : 100W
Ventilateurs          : 100W
──────────────────────────
Total                 : 6 700W
Avec marge 20%        : 8 040W
→ PSU nécessaire      : 2x 4000W (redondant)

Coûts Électriques

Le coût de l’électricité varie selon les pays et les contrats, mais voici des ordres de grandeur :

Prix moyen de l’électricité (2025) :

• France : 0,18€/kWh (particuliers), 0,12€/kWh (professionnels)
• Allemagne : 0,32€/kWh
• États-Unis : 0,12$/kWh (moyenne nationale)
• Datacenter : 0,05-0,10€/kWh (contrats industriels)

Pour un calcul détaillé de l’impact de l’électricité sur le TCO, consultez notre article dédié.

Coûts annuels (usage 24/7) :

Formule : Coût annuel = Puissance (kW) × 24h × 365j × Prix kWh

Note importante : Ces calculs supposent une utilisation à 100% du TDP en continu. En pratique, l’utilisation moyenne est souvent de 70-90% selon les workloads.

Efficacité Énergétique

L’efficacité se mesure en FLOPS/Watt ou en tokens/kWh pour les LLM.

Comparatif efficacité énergétique :

L4 : champion de l’efficacité pour l’inférence grâce à son architecture Ada optimisée et son TDP réduit.

Alimentation (PSU)

Dimensionnement de l’Alimentation

Règle d’or : Ne jamais charger une PSU à plus de 80% de sa capacité nominale pour :

• Prolonger sa durée de vie
• Maintenir l’efficacité optimale
• Conserver une marge de sécurité

Calcul :

PSU requise = Consommation totale / 0,8

Exemple : Système 700W
PSU requise = 700W / 0,8 = 875W
→ Choisir 1000W ou 1200W

Certifications 80 Plus

Les certifications 80 Plus garantissent un rendement minimum :

Recommandations :

• Workstation : Minimum Gold (Platinum conseillé)
• Serveur : Minimum Platinum (Titanium pour gros volumes)

Impact financier :

Système 1000W, 24/7, 0,12€/kWh

PSU Gold (90%) :
- Consommation réelle : 1111W
- Perte : 111W
- Coût annuel pertes : 117€

PSU Titanium (94%) :
- Consommation réelle : 1064W
- Perte : 64W
- Coût annuel pertes : 67€

Économie Titanium vs Gold : 50€/an
Sur 5 ans : 250€

Redondance pour Serveurs

Les serveurs critiques utilisent des PSU redondantes (N+1 ou 2N) :

Configuration N+1 : 2 PSU, chacune capable d’alimenter 100% du système

• Si une PSU tombe en panne, l’autre prend le relais
• Standard pour serveurs de production

Configuration 2N : Double alimentation complète

• Deux circuits électriques indépendants
• Pour infrastructure critique (datacenters Tier III/IV)

Exemple serveur 8x H100 :

• Consommation : 8 000W
• Configuration : 2x PSU 4 000W (N+1)
• Chaque PSU à 50% en fonctionnement normal (efficacité optimale)
• Failover automatique en cas de panne

PDU pour Racks

Les PDU (Power Distribution Unit) distribuent l’électricité dans les racks :

Types de PDU :

• Basic : distribution simple, pas de monitoring
• Metered : affichage consommation totale
• Switched : contrôle on/off par prise (remote)
• Intelligent : monitoring par prise, alertes, SNMP

Capacités courantes :

• Standard : 3,6 kW (16A @ 230V)
• High-density : 7,2 kW (32A @ 230V)
• Very high-density : 17,3 kW (3-phase 400V)

Refroidissement

Air Cooling (Refroidissement à Air)

Fonctionnement : Ventilateurs dissipent la chaleur via des radiateurs (heatsinks).

Avantages :

• Simple et fiable
• Coût faible
• Maintenance aisée
• Pas de risque de fuite

Limites :

• TDP maximum : ~350W par GPU en pratique
• Devient bruyant au-delà de 300W
• Efficacité diminue avec température ambiante élevée

Types de design :

1. Blower (souffleur) :

   • Air expulsé hors du boîtier
   • Idéal pour multi-GPU rapprochés
   • Plus bruyant mais thermiques stables

2. Open-air (ventilateurs axiaux) :

   • 2-3 ventilateurs sur radiateur
   • Meilleure performance si bon airflow boîtier
   • Chaleur dispersée dans le boîtier

3. Flow-through (serveurs) :

   • Flux d’air avant → arrière
   • Ventilateurs puissants (delta, noctua industrial)
   • Très bruyant (60+ dB)

Recommendations workstation :

• RTX 4090 : Boîtier avec bon airflow, 3+ fans 140mm
• RTX 4070 Ti : Moins exigeant, boîtier standard OK
• Température cible : < 80°C en charge
• Bruit acceptable : < 45 dB

Liquid Cooling (Refroidissement Liquide)

Fonctionnement : Liquide caloporteur (eau + additifs) transporte la chaleur vers un radiateur.

Types de systèmes :

1. AIO (All-in-One) :

   • Système pré-rempli et scellé
   • Installation simple (comme un ventirad)
   • Principalement pour CPU
   • Fiabilité élevée (pas de maintenance)
   • Prix : 100-300€

2. Custom Loop :

   • Circuit personnalisé : waterblock GPU + CPU, radiateur, pompe, réservoir
   • Performances maximales
   • Maintenance régulière (vidange annuelle)
   • Prix : 500-1500€
   • Esthétique (RGB, tubing coloré)

3. Direct-to-Chip (Datacenter) :

   • Refroidissement direct des puces (GPU, CPU, VRAM)
   • Systèmes industriels (CoolIT, Asetek)
   • Silencieux et efficace
   • Prix : 2 000-10 000€ par serveur

Avantages :

• TDP supporté : 500W+ par composant
• Températures réduites (10-20°C de moins qu’air)
• Moins de bruit (ventilateurs radiateurs à faible régime)
• Permet overclocking agressif

Inconvénients :

• Coût supérieur
• Risque de fuite (minime si bien installé)
• Maintenance nécessaire (custom loop)
• Installation plus complexe

Quand utiliser :

• GPU > 350W (RTX 4090, A100 SXM)
• Overclocking
• Environnement silencieux requis
• Serveurs haute densité

Immersion Cooling

Fonctionnement : Hardware complètement immergé dans un liquide diélectrique (non conducteur).

Liquides utilisés :

• 3M Novec : fluide fluoré, point d’ébullition 49°C
• Huiles minérales : plus économiques
• Hydrocarbures synthétiques : compromis performance/coût

Types d’immersion :

1. Single-phase (monophasique) :

   • Liquide reste liquide
   • Circulation avec pompes et échangeur de chaleur
   • Plus simple et fiable

2. Two-phase (diphasique) :

   • Liquide bout au contact des composants chauds
   • Vapeur condense en haut de la cuve
   • Très efficace mais complexe

Avantages :

• Efficacité thermique extrême : TDP 1000W+ par GPU
• PUE < 1,05 (vs 1,3-1,6 pour air)
• Densité maximale : 100+ kW par rack vs 20 kW en air
• Silence total : pas de ventilateurs
• Fiabilité : moins de poussière, vibrations, corrosion
• Overclocking : potentiel max

Inconvénients :

• Coût initial élevé : 50k€+ par rack
• Maintenance spécialisée
• Liquides coûteux (Novec : 100-300€/L)
• Incompatibilité certains composants (ventilateurs, disques durs)

Adoption :

• Datacenters HPC (supercomputers)
• Cryptocurrency mining (historiquement)
• Entreprises IA (Crusoe Energy, Submer)
• Peu adapté aux petites installations

Comparatif des Solutions

Infrastructure Datacenter

Racks et Densité

Types de racks :

1. Standard (19 pouces) :

   • Hauteur : 42U (1U = 44,45mm)
   • Largeur : 600mm
   • Profondeur : 1000-1200mm
   • Capacité thermique : 15-20 kW (air cooling)

2. High-Density :

   • Dimensions similaires
   • Refroidissement optimisé
   • Capacité thermique : 30-40 kW

3. Open Compute Project (OCP) :

   • Racks 21 pouces
   • Optimisés efficacité énergétique
   • Adopté par Meta, Microsoft, Google

Calcul densité :

Serveur 8x H100 : 8U, 8 kW
Rack 42U : 5 serveurs max = 40U, 40 kW
→ Nécessite refroidissement haute densité

Gestion du Flux d’Air

Hot Aisle / Cold Aisle : Configuration standard des datacenters

[Rangée Racks] ← Cold Aisle (air froid) → [Rangée Racks]
     ↑↓                                          ↑↓
 Hot Aisle (air chaud)                    Hot Aisle

Principes :

• Cold aisle : face avant des serveurs, air froid
• Hot aisle : face arrière, air chaud expulsé
• Isolation des allées (portes, rideaux) pour maximiser efficacité

Containment (confinement) :

• Cold aisle containment : enfermer les allées froides
• Hot aisle containment : enfermer les allées chaudes (plus efficace)
• Amélioration PUE : 10-30%

Climatisation Datacenter

Systèmes de refroidissement :

1. CRAC (Computer Room Air Conditioning) :

   • Unités de climatisation dédiées datacenter
   • Débit d’air élevé, contrôle humidité
   • Capacités : 10-100 kW par unité
   • Redondance N+1 ou 2N

2. CRAH (Computer Room Air Handler) :

   • Similaire CRAC mais utilise eau réfrigérée externe
   • Plus efficace énergétiquement

3. In-Row Cooling :

   • Unités de refroidissement entre les racks
   • Chemins d’air courts = plus efficace
   • Idéal haute densité

4. Rear-Door Heat Exchangers :

   • Échangeur monté sur porte arrière rack
   • Refroidit air chaud immédiatement
   • Solution compacte

Free Cooling : Utiliser air extérieur quand température permet

• Direct : air extérieur filtré directement
• Indirect : échangeur air-air
• Économies : 30-60% sur refroidissement
• Nécessite climat favorable

PUE (Power Usage Effectiveness)

Définition : Métrique d’efficacité énergétique des datacenters

PUE = Énergie totale datacenter / Énergie équipements IT

Exemple :
- Consommation IT : 100 kW
- Refroidissement : 35 kW
- Éclairage, UPS, etc. : 10 kW
- Total : 145 kW
→ PUE = 145 / 100 = 1,45

Valeurs typiques :

• Mauvais : PUE > 2,0
• Moyen : PUE 1,5-2,0
• Bon : PUE 1,2-1,5
• Excellent : PUE < 1,2
• Optimal théorique : PUE = 1,0 (impossible)

PUE des grands datacenters (2024) :

• Google : 1,10 (moyenne globale)
• Microsoft : 1,18
• Meta : 1,09
• AWS : 1,2 (estimé)

Améliorer son PUE :

1. Free cooling quand possible
2. Hot/cold aisle containment
3. Augmenter température consigne (27°C vs 21°C)
4. Refroidissement liquide/immersion
5. Optimiser distribution électrique
6. Variateurs de vitesse ventilateurs

Alimentation et Redondance

Tiers de disponibilité (Uptime Institute) :

Composants redondants :

• UPS (Onduleurs) : Batterie de secours (5-15 min)
• Générateurs diesel : Backup longue durée (jours)
• ATS (Automatic Transfer Switch) : Bascule automatique
• Dual power feeds : 2 alimentations électriques indépendantes

Monitoring et Gestion

Métriques à Surveiller

Hardware :

• Température (GPU, CPU, VRAM, VRM)
• Consommation électrique (watts, ampères)
• Vitesse ventilateurs (RPM)
• Fréquences (GPU clock, memory clock)
• Utilisation (GPU %, CPU %)

Infrastructure :

• Température ambiante (cold aisle, hot aisle)
• Humidité relative (40-60% idéal)
• Débit d’air (CFM)
• Consommation totale (PDU)
• PUE en temps réel

Outils de Monitoring

GPU (NVIDIA) :

# nvidia-smi : monitoring basique
nvidia-smi -l 1  # Refresh chaque seconde

# nvitop : interface améliorée
pip install nvitop
nvitop

# DCGM (Data Center GPU Manager)
# Pour monitoring production multi-GPU
dcgmi diag -r 3  # Diagnostic complet

GPU (AMD) :

# rocm-smi
rocm-smi -t  # Températures
rocm-smi -u  # Utilisation

Système :

# Sensors (températures système)
sensors

# Power consumption
sudo turbostat --interval 5

# Monitoring global
htop, btop, glances

Sensors et Monitoring Physique

Types de sensors :

• Température : Thermocouples, thermistances
• Humidité : Hygromètres capacitifs
• Flux d’air : Anémomètres
• Puissance : PDU intelligentes, pinces ampèremétriques

Placement optimal :

• Entrée/sortie de chaque rack
• Cold aisle (3 points : bas, milieu, haut)
• Hot aisle (idem)
• Près des CRAC/CRAH

IPMI et BMC

IPMI (Intelligent Platform Management Interface) :

• Gestion serveurs hors bande (out-of-band)
• Fonctionne même si OS down
• Accès KVM remote
• Monitoring sensors hardware

BMC (Baseboard Management Controller) :

• Puce dédiée sur carte mère serveur
• Implémente IPMI
• Accès via ethernet dédié

Fonctionnalités :

• Redémarrage à distance
• Monitoring températures, voltages, fans
• Console série remote
• Montage ISO virtuel
• Logs matériels

Exemples d’interfaces :

• Dell : iDRAC
• HPE : iLO
• Supermicro : IPMI

Prometheus + Grafana

Stack de monitoring standard :

1. Prometheus : Collecte et stockage métriques
2. Grafana : Visualisation et dashboards
3. Exporters : Collecteurs de métriques
   • node_exporter : métriques système
   • nvidia_gpu_exporter : métriques GPU
   • dcgm-exporter : métriques NVIDIA datacenter
4. Alertmanager : Gestion alertes

Exemple configuration :

# prometheus.yml
scrape_configs:
  - job_name: 'gpu-servers'
    static_configs:
      - targets:
        - 'server1:9100'  # node_exporter
        - 'server1:9445'  # dcgm-exporter

Alertes utiles :

• GPU température > 85°C
• GPU utilisation < 10% (idle coûteux)
• Consommation > seuil
• Ventilateur en panne
• Free VRAM < 10%

Bonnes Pratiques

1. Documentation :

   • Diagrammes infrastructure
   • Inventaire hardware (serial numbers)
   • Procédures maintenance
   • Contacts support

2. Maintenance préventive :

   • Nettoyage filtres à air (mensuel)
   • Vérification thermal paste (annuel)
   • Test UPS et générateurs (mensuel)
   • Firmware updates

3. Sécurité :

   • IPMI/BMC sur VLAN dédié
   • Authentification forte
   • Logs centralisés
   • Contrôle d’accès physique

4. Capacity planning :

   • Surveiller croissance consommation avec des outils de monitoring
   • Anticiper besoins refroidissement
   • Budget expansion

Conclusion

La gestion de l’énergie et du refroidissement est un aspect crucial et souvent sous-estimé du hardware IA. Un serveur 8x H100 consomme autant qu’une dizaine de foyers et nécessite une infrastructure adaptée.

Points clés à retenir :

1. Consommation :

   • Calculer précisément les besoins (GPU + CPU + overhead)
   • Anticiper les coûts électriques (peuvent dépasser le coût hardware sur 5 ans)
   • Choisir PSU efficaces (Platinum minimum)

2. Refroidissement :

   • Air cooling : jusqu’à 350W/GPU
   • Liquid cooling : 350-700W/GPU
   • Immersion : > 700W/GPU, datacenters haute densité

3. Infrastructure :

   • PUE cible < 1,3 (< 1,2 si possible)
   • Redondance selon criticité (Tier II minimum en production)
   • Hot/cold aisle containment obligatoire

4. Monitoring :

   • Surveillance 24/7 des métriques critiques
   • Alertes automatiques
   • Documentation et procédures à jour

La transition vers des modèles IA toujours plus grands (GPT-5, etc.) va accentuer ces défis. Les datacenters du futur devront probablement adopter massivement le refroidissement liquide ou par immersion pour gérer les densités de puissance croissantes.

Pour aller plus loin :

• Découvrez comment optimiser et monitorer votre infrastructure
• Comparez les différents GPU et leur consommation
• Calculez l’impact sur votre budget avec le TCO complet
• Explorez les solutions cloud pour éviter ces contraintes
• Apprenez à concevoir des architectures système adaptées
• Préparez votre infrastructure pour le fine-tuning