A l’occasion de sa conférence « .NEXT 2024 » qui se tient cette semaine à Barcelone, Nutanix lance la version 2 de son infrastructure IA « clés en main », GPT-in-a-Box, fruit de nouveaux partenariats avec NVidia et Hugging Face. Implémenter des modèles IA en interne n’a jamais semblé aussi facile !
Annoncées à l’occasion de la conférence .NEXT, les collaborations de Nutanix avec NVidia et Hugging Face ouvrent de nouvelles perspectives et choix en termes de déploiement de l’IA. Grâce à l’intégration des microservices d’inférence des plateformes NVidia NIM et du catalogue Hugging Face sur l’infrastructure Nutanix « GPT-in-a-Box« , les entreprises pourront désormais s’affranchir des clouds publics pour entrainer, personnaliser, mais surtout déployer et inférer leurs modèles IA en toute sécurité et en toute simplicité.
Simplifier le déploiement de l’IA au-delà du cloud public
Selon l’étude State of Enterprise AI commanditée par Nutanix et réalisée le cabinet Vanson Bourne, 90% des entreprises ont fait de l’IA une priorité. Mais elles sont freinées dans leur démarche par le manque de compétences, des préoccupations autour de la sécurité des données et une nécessaire modernisation des infrastructures pour accueillir les nouvelles applications.
Plus de la moitié cherche également des solutions efficaces pour transférer les informations entre l’interne, le cloud public et l’informatique déportée en magasin ou en usine, autrement dit sur l’egde. Globalement, les acteurs du cloud public proposent des solutions à toutes ces problématiques mais toutes les entreprises n’ont pas forcément envie -ou la possibilité – de s’appuyer sur les offres des hyperscalers pour déployer leurs IA, que leurs choix soient motivés par des raisons de sécurité des données ou encore de couts.
Nutanix a bien conscience que tous les modèles, notamment les très grands modèles, ne seront généralement pas entraînés en local. Cela a souvent plus de sens de le faire dans le Cloud parce que c’est une opération « one-shot » qui nécessite un important pic de ressources. C’est aussi en partie vrai pour le « fine-tuning » même s’il peut être essentiel pour certaines entreprises de le faire en local ne serait-ce que pour préserver la confidentialité de ce « fine tuning », scénario dans lequel GPT-in-a-Box a alors tout son sens.
En revanche, l’exécution en local des inférences et du RAG ont bien plus d’attrait d’abord pour respecter la conformité et la confidentialité des données ou pour satisfaire des contraintes de latence à l’Edge mais aussi en termes de coûts. Car ce sont ces traitements IA (inférences et RAG) qui sont les plus intensément utilisés et sur lesquels l’exécution locale peut s’avérer plus économique qu’une exécution cloud.
Une alternative IA aux clouds publics à déployer en interne
En s’associant à NVidia, Nutanix répond précisément à cette problématique. En enrichissant sa plateforme GPT-in-a-Box des microservices NVidia NIM, Nutanix propose une alternative aux plateformes IA des clouds publics. Baptisée GPT-in-a-Box 2.0, la nouvelle solution permet aux entreprises d’entrainer et déployer une vaste gamme de modèles d’IA, qu’ils soient open source ou personnalisés, en interne et en tirant profit des GPU NVidia (Nutanix prévoit d’étendre sa plateforme aux GPU AMD et Intel à l’avenir).
Et comme Nutanix reste le grand spécialiste des déploiements d’infrastructure au plus près des utilisateurs, GPT-in-a-Box 2.0 peut non seulement servir à centraliser l’entraînement des modèles dans les datacenters (et à terme dans le cloud), mais surtout à simplifier et rentabiliser le déploiement d’inférences en local et à l’edge, en magasin ou en usine par exemple, en évitant au passage des transferts de données couteux et qui engendrent des latences.
Accessible via des « interfaces de programmation standard » et exposant les modèles sous forme d’APIs suivant les standards définis par OpenAI, GPT-in-a-Box 2.0 devrait également « réduire la complexité souvent associée à l’adoption de solutions IA en éliminant le besoin de compétences techniques avancées » selon Nutanix.
L’ajout du catalogue d’Hugging Face
Techniquement, la plateforme GPT-in-a-Box 2.0 repose sur des containers. Son architecture a ainsi permis très simplement à Nutanix d’y ajouter le support des microservices (et du catalogue de modèles) de la plateforme NVidia NIM.
Mais cette dernière n’est pas le seul catalogue de modèles intégré. Grâce à un partenariat technologique avec Hugging Face, GPT-In-Box 2.0 intègre un sous-ensemble validé et optimisé des modèles les plus en vogue du service Hugging Face.
L’accord technologique permet à Nutanix d’embarquer sur sa plateforme le moteur d’inférence des modèles d’Hugging Face mais également de déterminer quels sont les modèles les plus intéressants et les plus pertinents à embarquer dans GPT-in-a-Box.
D’un point de vue pratique, une fois la plateforme GPT-in-a-Box 2.0 installée et opérationnelle, il suffit pour un développeur ou un administrateur de choisir un modèle correspondant à ses besoins parmi les catalogues NVidia NIM ou Hugging Face. Le modèle est alors téléchargé et installé en un clic. Il peut alors être directement testé depuis l’interface conviviale de Nutanix. La plateforme expose ensuite l’API de ce modèle en fournissant son URL interne et génère des clés d’accès. Les applications n’ont plus alors qu’à appeler le modèle à l’aide de l’URL et d’une clé sans avoir à être réécrites (puisque l’appel du modèle suit la même syntaxe que l’API d’OpenAI qui s’impose désormais comme un standard de fait pour tous les modèles). Difficile de faire plus simple.
Optimiser le contrôle et la sécurité des données
Nutanix estime que GPT-in-a-Box répond avant tout aux besoins des petites et moyennes structures qui n’ont pas forcément les moyens de s’offrir le cloud ou d’investir dans une infrastructure IA complexe et d’autant plus coûteuse qu’elle suppose le recrutement de compétences rares et donc chères. Mais GPT-in-a-Box 2.0 convient aussi parfaitement à toutes les entreprises qui ont des contraintes de souveraineté ou qui ne souhaitent simplement pas mettre des données sensibles dans le cloud. D’autant que la plateforme Nutanix propose aussi des fonctions avancées de stockage et de sécurité des données et que les nouvelles fonctionnalités de GPT-in-a-Box 2.0 incluent l’automatisation du déploiement des inférences sur l’edge avec un contrôle d’accès granulaire, garantissant une sécurité renforcée des modèles d’IA.
puis