On le sait, les LLM aussi massifs que ChatGPT nécessitent des infrastructures énormes : il en coûterait 700 000 dollars par jour en frais de fonctionnement selon une nouvelle étude SemiAnalysis.
ChatGPT… Cette IA conversationnelle lancée en décembre dernier a tout simplement transformé le monde en moins de quatre mois. Selon les dernières estimations, l’IA d’OpenAI compterait désormais 200 millions d’utilisateurs actifs par mois. Depuis son lancement, l’IA d’OpenAI aurait répondu à plus de 4 milliards d’interrogations.
Cette IA enthousiasme les internautes, inquiète bien des humains, et transforme bien des processus. Elle fait surtout couler beaucoup d’encre et titille la curiosité de certains engendrant toutes sortes d’études sur son impact sociétal et écologique.
Certaines études affirment ainsi que les systèmes d’apprentissage IA seraient à eux seuls responsables de 99% des émissions totales des datacenters soit 238 tCO2 (en prenant en compte le fonctionnement électrique mais aussi la fabrication des serveurs et leur refroidissement). Un pourcentage qui semble pourtant très exagéré. Une autre étude affirme que l’entraînement de ChatGPT aurait englouti 700 000 Litres d’eau.
Une nouvelle étude essaye d’évaluer combien coûte à OpenAI/Microsoft le fonctionnement de ChatGPT. Selon SemiAnalysis, ChatGPT utiliserait 28.936 GPU pour servir les internautes (un chiffre de source inconnue). Il en coûterait ainsi 694 444 dollars par jour pour opérer le service. Chaque interrogation est estimée à 0,36 centime.
Le problème de toutes ces études, c’est qu’elles s’appuient sur des approximations, voire des affabulations. Ni OpenAI, ni Microsoft n’ont véritablement rendu publiques avec précision les infrastructures utilisées pour son apprentissage et pour le fonctionnement de ses inférences au quotidien. La plupart des enquêtes s’appuient donc soit sur les spécifications connues de l’un des HPC Azure (10.000 GPU et plus de 285.000 cœurs de calcul), soit sur des extrapolations tirées d’autres travaux IA documentés.
En outre, ces études ne prennent pas en compte les optimisations permanentes réalisées par les équipes de développement pour améliorer le fonctionnement des modèles.
Bref, il faut prendre toutes ses informations avec beaucoup de précautions. Il sera d’ailleurs intéressant de voir comment le succès d’OpenAI et l’introduction de BingAI impactent les coûts opérationnels de Microsoft. Vu les chiffres annoncés par toutes ces études, ça devrait quand même se voir quelque part dans les résultats.
puis