C'est donc une combinaison de facteurs incluant la profitabilité, la disponibilité de l'énergie, et des considérations géostratégiques qui pourrait infléchir la course folle à l'impuissance
Entre 2016 et la fin 2020, les trajectoires de consommations énergétiques des data centers semblaient bien maîtrisées autour de 200 Twh (hors bitcoin). Mais une inflexion s’est produite. L’IEA estime que la consommation aurait pris un nouvel élan pour atteindre 460 terawatt-hours (TWh) en 2022. Les projections pour 2030 se situent dans une fourchette entre 600 Twh et plus de 1000 Twh, en incluant les cryptomonnaies.
Même si la croissance des data centers est antérieure à l’éclosion de chat GPT, l’IA générative a accéléré les investissements et présente déjà les contours d’une bulle. Dans un même mouvement les cryptomonnaies ont retrouvé en 2024 une dynamique forte (environ 20% de la consommation des data centers).
Voyons pourquoi l’IA générative est pointée du doigt,
Une IA générative gloutonne en énergie
En premier lieu, les larges modèles de langage, pour être créés, doivent être « entraînés » par des quantités considérables de données. Chaque naissance de modèle est extrêmement coûteuse. GPT-3 aurait nécessité 1,3 Gwh et GPT4 plus de 50 Gwh ! Le coût d’entrainement est très lié à la taille du modèle (10 fois plus) et quantité de données à entraîner.
Une véritable frénésie de construction de modèles s’est emparée de la Tech. Sur le dernier trimestre 2024, près de 80 000 milliards de mots (tokens) ont été entrainés. Nous avançons depuis début 2024 à un rythme relativement constant à l’entrainement de 20 modèles majeurs et 10000 modèles dérivés par mois (estimations sur https://lifearchitect.ai/models-table/).
Pourtant, on estime qu’un modèle comme GPT4 aurait déjà absorbé une partie significative des connaissances utiles écrites disponibles. A titre d’exemple, la librairie du congrès pourrait être de 9000 milliards de tokens alors que les plus gros modèles de leur côté seraient entrainés avec plus de 20000 milliards de tokens. Pourquoi faut-il alors entraîner de nouveaux modèles ?
D’une part ces nouveaux modèles intègrent le son et l’image (on parle d’IA multi modale) et produisent du raisonnement plus complexe. Ils deviennent ainsi plus précis au fur et à mesure que les cas d’usage se précisent.
D’autre part, comme on ne sait toujours pas très bien comment ces modèles fonctionnent (ce sont des boîtes noires), les acteurs adoptent une approche empirique et créent toujours plus de modèles, même pour embarquer des modifications mineures.
Aujourd’hui, de nombreuses startups drainent des financements qui alimentent cette inflation d’entraînement, avec pour but de trouver « le meilleur » modèle.
La deuxième partie de l’IA générative qui est consommatrice est le processus d’interrogation, appelée inférence. Une requête textuelle peut nécessiter 3wh, soit déjà 10 fois plus qu’une requête standard Google. Dans le futur, une minute de production de vidéo (résultant d’une requête multimodale) pourrait demander plus de 100 wh ! Donc une partie de la puissance de calcul des data centers sera liée à l’interrogation des modèles. Différentes analyses estiment que 70-80% de l’énergie pourraient être dépensée pour l'inférence.
L’annonce par Donald Trump du projet Stargate visant à construire pour 500 milliards de dollars de capacité de calcul aux états unis affirme que les champions de l’IA générative seront ceux qui possèderont les plus grandes capacités de calcul pour plus de modèles (et contrôler l’accès aux connaissances) et plus d’inférence (et bénéficier de l’utilisation la plus sophistiquée). La France a de son côté annoncé 109 Milliards, à la veille du Sommet international sur l'IA de Paris.
Les facteurs limitant la croissance
La société NVidia fournit la majorité des puces utilisée par l’IA générative. La croissance de NVidia a subi une inflation début 2023 (peu après la sortie de chat GPT) et désormais double tous les ans. On estime qu’en 2023 la société aurait produit plus de 3,7 millions de puces pour data centers dont des centaines de milliers seraient (700 000 ?) parmi les plus puissantes H100. Cela représenterait environ 20 Twh de consommation en incluant l’environnement, à peu près le double de l’année précédente. La production de microprocesseurs a été tout de suite identifiée comme un goulot d’étranglement. Elle est aussi gérée comme un asset stratégique alimenté par la rivalité Chine-Etat Unis, et les versions vendues en chine ne sont pas les plus avancées. Les principaux clients d’Nvidia sur ce segment sont les hyperscalers (Amazon, Facebook, Google), ils visent à terme de développer leurs propres puces, ce qui devrait faire baisser les tensions.
La capacité de production électrique risque de devenir un autre facteur limitant. Suivant une étude du cabinet McKinsey la demande des data centers devrait représenter 30-40% des nouvelles capacités d’ici 2030. Cela s’inscrit dans un contexte de demande croissante d’énergie électrique préférentiellement à base d’électricité décarbonée : chauffage électrique, voiture électrique, électrolyse.
Enfin des problématiques spécifiques vont se poser comme la facilité de construire les data centers (autorisations, disponibilité des équipements de conditionnement) ou la possibilité de raccordement au grid électrique. En Irlande les data centers représentent 21% de la consommation électrique, ce qui a conduit, EirGrid, l’opérateur irlandais, à suspendre la construction de nouveaux centres de données près de Dublin.
Les utilisateurs de data centers se tournent vers des solutions plus autonomes et envisagent même de s’adosser à des Small Nuclear Reactor (SNR), les réacteurs nucléaires miniatures encore en phase de conception.
Les data centers consomment également beaucoup d’eau pour se refroidir ce qui peut devenir aussi problématique. Un Data center de taille moyenne consomme 1 millions de litres d’eau par jour, ce qu’il faut approximativement pour irriguer environ 70 hectares de cultures.
Une suite incertaine
Le développement des datacenters entre désormais en concurrence avec celui d’autres infrastructures vitales (transports, logement). La première limitation de la croissance des data centers pourrait ainsi venir du manque d’infrastructures électriques. Les SNR, s’ils voient le jour, ne seront pas opérationnels avant 15 ans.
De plus devant l’incertitude des sources de revenus de l’IA générative, les acteurs cherchent des modèles plus économes, ce qui pourrait aussi limiter l’explosion redoutée. L’inférence en particulier peut se faire sur des processeurs moins gourmands que l’entrainement. Et plus les modèles sont petits moins l’inférence est couteuse. Certains remettent également en cause la course aux grands modèles, et militent pour des architectures plus distribuées.
Cette recherche de sobriété occupe aussi les acteurs Chinois qui n’ont pas accès aux puces NVIDIA les plus puissantes. Une première réponse est peut-être donnée début 2025 par la société Chinoise DeepSeek. Elle a annoncé un robot conversationnel aussi performant que les meilleurs modèles américains pour un coût d’entrainement de seulement 6 millions de dollars contre des centaines de millions pour ceux de la tech américaine.
C’est donc une combinaison de facteurs incluant la profitabilité, la disponibilité de l’énergie et des considérations géostratégiques qui pourrait infléchir la course folle à la puissance. Finalement la rationalité business pousserait à un apaisement énergétique plus soutenable, avec une IA plus smart à la clé.
https://www.iea.org/reports/electricity-2024/executive-summary
https://www.mckinsey.com/industries/electric-power-and-natural-gas/our-insights/the-role-of-power-in-unlocking-the-european-ai-revolution
