Les infrastructures d'IA se dirigent vers des centres de données plus petits et distribués

Les infrastructures d'IA évoluent alors que les organisations explorent des alternatives aux grands centres de données centralisés, les installations distribuées et à plus petite échelle attirant l'attention pour certaines charges de travail.

Certains experts ont déclaré que l'entraînement des modèles d'IA ne nécessite pas toujours de grands centres de données centralisés, et que des sites plus petits ou des environnements en périphérie peuvent être utilisés à la place. Une étude de l'EPFL a révélé que bien que l'entraînement avancé des modèles d'IA nécessite encore une puissance de calcul substantielle, de nombreux systèmes d'IA opérationnels peuvent fonctionner sur des machines existantes, des serveurs régionaux ou des environnements en périphérie sans dépendre d'installations hyperscale.

Des approches d'entraînement distribué, telles que DiLoCo, ont été rapportées pour réduire la surcharge de communication en partitionnant les charges de travail sur plusieurs clusters de centres de données plutôt qu'en utilisant une seule grande installation. Cette méthode peut diminuer les exigences de communication jusqu'à 500 fois, selon The Economist.

Des développements d'entreprises comme DeepSeek en Chine ont montré que les modèles linguistiques peuvent atteindre des performances similaires à celles des systèmes établis comme GPT tout en utilisant moins de puissance de calcul. Cela a conduit à un examen plus approfondi de la nécessité d'une infrastructure à grande échelle pour un déploiement efficace de l'IA.

Ce que les chiffres montrent

• Les racks d'IA peuvent peser jusqu'à 5 000 livres, dépassant de nombreuses limites de charge au sol
• Un centre de données d'un gigawatt pourrait coûter environ 80 milliards de dollars, selon le PDG d'IBM
• Passer à une capacité de centre de données de 20 à 30 gigawatts pourrait nécessiter jusqu'à 1,5 trillion de dollars

Les centres de données hérités font souvent face à des défis pour supporter le matériel IA en raison du poids lourd des racks d'IA, qui peuvent dépasser les limites structurelles de nombreux établissements existants. Bien que certains anciens centres de données puissent être modernisés pour accueillir des charges de travail IA, les experts ont déclaré que la plupart devraient être complètement reconstruits pour répondre aux exigences du matériel IA moderne.

Les centres de données en périphérie et micro-centres de données, qui sont des installations plus petites situées plus près des sources de données, sont utilisés pour réduire la latence et soutenir les applications IA front-end. Ces mini-centres de données peuvent offrir rentabilité, résilience et sécurité, mais peuvent également contribuer aux déchets électroniques et dépendre de sources d'énergie à forte émission de carbone à moins que des mesures spécifiques ne soient prises.

Selon le responsable IA et climat chez Hugging Face, des modèles d'IA plus petits et personnalisés fonctionnant localement peuvent atteindre des performances comparables à celles de modèles plus grands tout en utilisant moins de ressources. Cette approche pourrait réduire le besoin d'une infrastructure étendue dans certaines applications.

Réaction de l'industrie

Le PDG de SAP, Christian Klein, a déclaré que la demande de nouveaux centres de données en Europe reste limitée, et a suggéré que la région devrait privilégier le secteur des logiciels d'IA plutôt que d'élargir l'infrastructure physique.

Le PDG d'IBM, Arvind Krishna, a remis en question la faisabilité financière d'investir dans d'énormes centres de données IA, soulignant les coûts élevés associés à la construction et à l'extension de telles installations.

* Cet article est basé sur des informations publiquement disponibles au moment de la rédaction.