Comment mesurer les performances d’une infrastructure répartie dans le cloud ? La question est simple, la réponse particulièrement complexe. Projet destiné à la fois aux chercheurs, aux développeurs de hardware et aux entreprises « Cloud natives », DCPerf est un développement interne de Meta. Cette suite de benchmarks est spécialement conçue pour mesurer les performances des workloads déployés à grande échelle dans les clouds des hyperscalers. Meta vient d’ouvrir son accès à tous en publiant le code source de DCPerf en open source.
Dans un billet de blog, l’équipe de Meta en charge du projet revient sur les particularités des workloads hyperscale et cloud, qui se distinguent nettement de ceux du calcul haute performance (HPC) ou des environnements d’entreprise traditionnels. Cette spécificité exige des approches de conception et d’évaluation des performances particulières. D’où la nécessité de mettre au point des benchmarks spécialisés comme DCPerf.
DCPerf imite les applications cloud hyperscale du monde réel, offrant aux fournisseurs de hardware, aux développeurs de logiciels back-end et aux hyperscalers un outil novateur pour évaluer de nouveaux produits et réaliser des projections de performance. La suite de Benchmark a été batie en capturant les caractéristiques critiques de workloads en production afin d’offrir au travers de ces tests une vision réaliste du comportement de l’infrastructure Cloud.
Compatible avec diverses architectures (x86, ARM), DCPerf prend déjà en compte des technologies avancées de conception de processeurs et accélérateurs, comme les « chiplets » ou les réseaux RoCE par exemple. « Nous avons utilisé plusieurs nouvelles techniques pour assurer la représentativité des tests de performance, allant des caractéristiques microarchitecturales de bas niveau du matériel aux profils d’utilisation des applications et des bibliothèques, afin d’analyser les charges de travail en production et de capturer les caractéristiques importantes de ces charges dans DCPerf » expliquent les créateurs du projet.
Ces tests visent à simplifier et accélérer la conception et l’optimisation du matériel et des logiciels sur les futures plateformes de serveurs ainsi qu’à améliorer l’efficacité des déploiements en production des hyperscalers.
Bien que DCPerf se montre particulièrement efficace pour évaluer et optimiser les performances CPU, la latence mémoire, et, dans une moindre mesure, la bande passante mémoire et la consommation d’énergie, son utilité pour les évaluations réseau et stockage reste pour l’instant limitée selon les workloads. D’où l’idée de publier ces Benchmarks en open source afin de permettre à une communauté d’experts de les enrichir. « Notre objectif est de créer un outil de référence collaboratif et ouvert pour évaluer les performances … des infrastructures hyperscale. En tant que suite de tests de performance open source, DCPerf a le potentiel de devenir une méthode standard dans l’industrie, » ajoutent les responsables du projet.
puis