Le HPC peut aussi se concrétiser dans le cloud. À l’occasion de sa conférence Build 2020, 100% virtualisée cette année, l’éditeur annonce avoir assemblé un supercalculateur dans le Top 5 mondial pour satisfaire aux besoins d’OpenAI.

Ces derniers mois, Satya Nadella présentait Azure comme l’ordinateur mondial (The World’s Computer). Cet ordinateur mondial est en train de se doter de capacités de calculs HPC spécialisées dans l’IA pour servir les besoins d’OpenAI.

Rappelons qu’en juillet dernier, OpenAI et Microsoft avaient signé un partenariat dans lequel Microsoft investissait 1 milliard de dollars pour soutenir la recherche d’OpenAI notamment dans la création d’une intelligence artificielle générale (autrement dit non spécialisée à une tâche ou un domaine donné).

Un superordinateur dans le Top 5

À l’occasion de la Build, Microsoft et OpenAI annoncent avoir conjointement conçu un supercalculateur dans Azure dont les caractéristiques le placent dans le Top 5 des superordinateurs les plus puissants de la planète (Top500.org). Ce système comporte 285 000 cœurs CPU, 10 000 cœurs GPU et un bus d’interconnexion des nœuds à 400 gigabits par seconde !

« L’objectif d’OpenAI n’est pas seulement de poursuivre ses percées dans la recherche en intelligence artificielle, mais également de concevoir et de développer de puissantes technologies IA que d’autres personnes peuvent utiliser » explique Sam Altman, CEO d’OpenAI. « Le supercalculateur développé en partenariat avec Microsoft a été conçu pour accélérer ce cycle. Les systèmes à très grande échelle sont une composante essentielle à l’élaboration de modèles plus puissants ».

L’ère des modèles massifs

Parallèlement à OpenAI, Microsoft Research travaille aussi sur ces nouveaux « modèles IA super massifs » qui peuvent apprendre en analysant par exemple des milliards d’ouvrages pour absorber toutes les nuances d’un langage, la diversité des concepts et des contextes. Connus sous le nom de « Microsoft Turing Models » ou encore « Turing-NLG », ils commencent à être utilisés par Microsoft en production pour animer l’intelligence de Bing, Office 365 et Dynamics 65.

Microsoft précise que pour les entreprises qui veulent pousser plus loin leurs ambitions en IA sans toutefois avoir besoin d’un supercalculateur dédié comme dans le cas d’OpenAI : « Azure AI offre un environnement d’exécution puissant basé sur le même ensemble d’accélérateurs IA et de réseau que le supercalculateur. Et Microsoft met aussi à disposition les outils nécessaires à l’apprentissage de modèles IA massifs par le biais de ces clusters, de façon distribuée et optimisée ».

Microsoft a par ailleurs annoncé que ses « Turing Models » seraient prochainement publiés en open source ainsi que tout ce qu’il faut pour les entraîner dans Azure Machine Learning. L’éditeur a également présenté une nouvelle version de DeepSpeed, son nouveau moteur open source de Deep Learning. Désormais, DeepSpeed supporte des modèles avec plus de 100 milliards de paramètres.

Pour terminer, signalons également que durant la Build, Microsoft a également annoncé une nouvelle version d’Azure ML dénommée « Responsible ML » qui permet d’obtenir de l’explicabilité aux prédictions et décisions résultantes de l’application du Machine Learning.