Adoptant une approche HPCaaS, le Met Office va dépenser 1,8 milliard de dollars dans un supercalculateur conçu par Microsoft (sur une base HPE Cray EX) exploitant notamment les services d’analyse de données d’Azure.
La prédiction météorologique est une science qui fait appel à des jeux massifs de données et nécessite des puissances de calcul phénoménales que seuls les supercalculateurs HPC peuvent procurer. Le gouvernement britannique va financer à hauteur de 1,8 milliard de dollars le prochain supercalculateur du Met Office, l’équivalent britannique de notre « Météo France ».
Ce qui peut surprendre dans cette annonce, c’est que la conception de ce supercalculateur n’a pas été directement confiée à des spécialistes comme HPE (qui a racheté Cray en 2019 pour 1,3 milliard de dollars) ou Atos (et son architecture BullSequana qui anime le dernier HPC européen par exemple) mais à Microsoft !
En effet, voir Microsoft emporter un tel marché n’est pas fréquent et l’éditeur n’est pas perçu comme un acteur du monde HPC. À tort. Car depuis plus de deux ans, la firme défend sa vision de HPC dans le cloud en poursuivant deux approches : assembler dynamiquement des ressources HPC dans Azure à base d’instances spécialisées dans le calcul (Azure HBv2 à base d’AMD « Rome », Azure NVv4 à base de GPU NVidia, Azure NDv2 à base de NVidia V100 Tensor Core) ou exploiter les services Azure au-dessus de nœuds Cray (avec stockage Cray ClusterSor) dédiés mais totalement managés.
L’éditeur a en effet signé un partenariat avec Cray dès 2017. La même année, il avait également acquis Cycle Computing, l’un des leaders de l’orchestration afin d’ajouter dans Azure des services de scheduling typiques du monde HPC.
Depuis Microsoft a progressivement construit une équipe d’experts HPC autour de pointures renommées comme Nidhi Chappell (ancien patron du HPC chez Intel), Andrew Jones, Erin Chapple, ou Evan Burness.
Le nouveau superordinateur du Met Office sera divisé en 4 « quadrants » résilients composés chacun d’un supercalculateur HPE Cray EX intégré à Azure. L’ensemble sera doté de 1,5 million de cœurs CPU AMD Epyc (de génération Milan) pour atteindre les 60 PetaFLOPS ce qui en fait le HPC dédié au climat et à la météorologie le plus puissant de la planète (et le 7 ème ou 8 ème HPC mondial si l’on se base sur le dernier classement TOP500).
À cette puissance de traitement, s’ajoute un service de stockage de 4 Exaoctets (soit 4.096 Po ou encore 4 millions de To) fourni par Microsoft.
Le système entrera en opération en Juillet 2022 et sera régulièrement mis à niveau (avec les dernières générations de processeurs AMD) dans les 10 années à venir.
Il sera alimenté à 100% en énergie renouvelable. Bien que 6 fois plus puissant que l’actuel HPC du MET, ce nouveau système devrait ainsi permettre d’économiser 7.415 tonnes de CO2 dès sa première année d’exploitation.
Rappelons que Microsoft a également construit un HPC dans Azure pour OpenAI (afin d’héberger leur réseau neuronal GPT-3) mais aussi de façon plus temporaire pour l’université de Duke (dans le cadre de la recherche sur le Covid-19) ou encore dans le cadre de l’initiative COVID Moonshot.
L’annonce n’est pas une surprise. En février dernier, Atos, en compétition sur ce dossier, avait intenté une action en justice contre le Met Office et le gouvernement britannique estimant avoir été injustement écarté et que les lois sur la passation des marchés publics avaient été violées. Microsoft avait alors été explicitement nommé, ce qui laissait penser que le Met Office avait bien choisi l’éditeur américain pour ses futurs besoins en HPC. Le secrétaire d’Etat à la stratégie économique, énergétique et industrielle du Royaume Uni et l’Office météorologique avaient rejeté toutes les allégations portées contre eux par Atos, arguant que les propositions de l’ESN française ne répondaient pas à leurs exigences. L’injonction a été levée par la Haute Cour britannique en mars dernier.