Très populaire dans l’univers des HPC, le système de fichiers hautement parallélisé et open source Lustre est désormais disponible dans Azure sous forme de services managés.
L’univers HPC (High Performance Computing) du calcul intensif est très présent dans l’univers Azure. D’abord parce que ce sont effectivement des systèmes HPC montés dans Azure qui animent l’apprentissage des IA génératives d’OpenAI et de Microsoft. Ensuite parce que depuis plusieurs années déjà Microsoft construit des HPC dans Azure qui figurent dans le TOP 50 des HPC (le fameux classement Top500.org). Le premier d’entre eux « Azure Explorer-WUS3 » figure en 11 ème du TOP500 avec ses 54 Pétaflops. Mais on trouve d’autres HPC Azure dans ce classement dont le « Azure Voyager-EUS2 » en 16 ème position ou les « Azure Pioneer » (dont un est hébergé en Europe) de la 42 ème à la 45 ème place.
Et dans l’univers du HPC, un système de fichiers est plus populaire que les autres : LUSTRE. Ce dernier a été conçu pour fournir un système de fichiers distribué fonctionnant sur des centaines de serveurs pour offrir des capacités de l’ordre du pétaoctet sans altérer ni la performance ni la sécurité de l’ensemble. « Avec la récente croissance explosive observée dans l’IA générative et le besoin d’un stockage à haut débit qui évite aux cœurs GPU une coûteuse attente de données, Lustre connaît une nouvelle croissance dans son adoption. Les clients de nombreuses industries exploitant des HPC recherchent une infrastructure transparente de bout en bout englobant le calcul, le stockage et la mise en réseau, qui soit à la fois rapide à déployer et facile à utiliser » explique les ingénieurs Azure.
Azure Managed Lustre est un nouveau service Azure pour déployer et consommer un stockage Lustre sans se préoccuper de l’implémentation. Azure se targue d’avoir mis en place un système de clusters indépendants qui éliminent le problème de « voisin bruyant » qui affecte la plupart des implémentations « on prem » de Lustre. Cette solution peut monter à l’échelle pour atteindre plusieurs Petaoctets de stockage et utiliser Azure Blob Storage comme un Tier secondaire. La solution est évidemment prise en charge par Azure HPC Services, par Azure ML et par AKS (Azure Kubernetes Services). Microsoft propose des packages clients Azure Managed Lustre pour différentes Distro Linux mais le service est aussi pris nativement en charge par les images HPC sous Ubuntu et sous Alma 8.7.
puis