Selon différentes sources, Microsoft développerait un nouveau modèle LLM gigantesque dénommé « MAI-1 ». Une information partiellement confirmée par le CTO de Microsoft.
En matière d’IA, Microsoft est sur tous les fronts. On connait bien évidemment son partenariat avec OpenAI qui dépasse largement les 10 milliards de dollars. On connait également l’intérêt porté par l’éditeur aux développements de la startup française Mistral AI. Après avoir adopté le modèle Mistral Large, Microsoft a d’ailleurs confirmé cette semaine la disponibilité sur Azure AI de Mistral Small, un modèle adapté aux usages nécessitant efficience et très faible latence.
Enfin, on connaît également les travaux menés en parallèle par Microsoft Research qui ont notamment conduit à la publication en open source des SLM « Phi » (dont la version 3 vient de sortir) réputés là aussi pour leur efficacité.
Il y a quelques semaines, Microsoft créait une nouvelle « Division IA » en récupérant une partie des talents de la startup Inflection AI.
De quoi, forcément, alimenter les rumeurs. Et la dernière en date veut que l’éditeur soit en train de finaliser un modèle LLM à plus de 500 milliards de paramètres, modèle jouant dans la même catégorie que Claude 3, GPT-4 et Gemini Ultra.
Un LLM « Microsoft » mais OpenAI reste l’atout n°1
Pour couper court à toutes élucubrations sur une éventuelle volonté pour Microsoft de s’éloigner d’OpenAI, le CTO de l’éditeur, Kevin Scott, a pris la plume sur LinkedIn confirmant l’existence de « MAI » mais rappelant qu’il ne s’agissait pas du premier LLM de Microsoft puisque le projet Turing explorait ce domaine depuis plus de deux ans.
Il a tenu à rappeler que « Microsoft construit des supercalculateurs pour entrainer des modèles. Notre partenaire OpenAI utilise ces supercalculateurs pour entraîner des modèles qui repoussent les frontières de l’IA. Puis, ensemble, nous mettons ces modèles à disposition via différents produits et services pour en faire bénéficier le plus grand nombre. Nous aimons cet arrangement et cela fait maintenant près de cinq ans que nous procédons ainsi. Chaque superordinateur que nous construisons pour Open AI est beaucoup plus grand que celui qui l’a précédé, et chaque modèle fondation qu’ils entraînent est beaucoup plus puissant que ses prédécesseurs. Nous continuerons à suivre cette voie, … pendant de nombreuses années encore. L’impact croissant de notre travail commun n’est pas près de s’arrêter. »
Une façon de rappeler à tous que ce n’est pas parce que Microsoft Research et la nouvelle Division IA continuent de développer des modèles (comme cela est le cas depuis bien plus d’une décennie) en nom propre que le partenariat Microsoft/OpenAI doit en aucune manière être remis en question.
Un LLM secret chez OpenAI ?
La rumeur « MAI » intervient alors que le petit monde de l’IA s’interroge encore sur l’apparition depuis une semaine, sur le site de recherche LMSYS, d’un nouveau modèle dénommé « gpt-2 chatbot » d’origine anonyme mais qui semble pourtant bien provenir d’OpenAI. Certains pensent qu’il pourrait s’agir de « GPT 4.5 », la prochaine itération du LLM d’OpenAI. Une information qui semble avoir été démentie par Sam Altman lors d’une conférence à l’université d’Harvard. Son intervention néanmoins énigmatique laisse à penser qu’il s’agit bien d’un modèle OpenAI mais pas de GPT 4.5 ou GPT 5. Il s’agirait plutôt d’un modèle expérimental s’appuyant sur de nouvelles techniques d’apprentissage et d’optimisation. Les réponses de Sam Altman étaient suffisamment évasives pour finalement n’éclairer personne.
Depuis cette agitation, le modèle a disparu de LMSYS qui explique l’avoir retiré « en raison d’un trafic excessif » mais « de rester à l’écoute de sa prochaine plus large diffusion ». On devrait rapidement en savoir plus. Peut-être lors de la conférence Microsoft Build dans une douzaine de jours…
À lire également :
Avec Phi-3, Microsoft améliore encore ses modèles Gen IA de poche
Microsoft crée une division IA gérée par des anciens de Deepmind et Inflection
Voice Engine d’OpenAI imite votre voix en 15 secondes…
Stargate le méga computer d’OpenAI et Microsoft
OpenAI répond ouvertement aux accusations d’Elon Musk
OpenAI développerait un moteur de recherche Web basé sur ses IA
puis