Pour démontrer la performance et la scalabilité de sa solution d’Object Storage, OpenIO a déployé sa technologie logicielle de stockage sur un cluster de plus de 350 serveurs physiques, mis à disposition par Criteo.
Le benchmark a permis de franchir le cap symbolique du térabit, et même de le dépasser avec un débit utile constaté de 1,372 Tbps. S’il s’agissait de transférer numériquement l’intégralité de la plus grande bibliothèque du monde – celle du Congrès américain, riche de plus de 22 millions d’ouvrages imprimés – l’opération pourrait être bouclée en moins d’une minute (d’après une estimation de l’Université de Berkeley, qui évalue le poids total à 10 To).
Cette performance, réalisée dans les conditions de la production, consacre le design du logiciel de stockage en mode objet développé par OpenIO, pensé pour les nouveaux usages des données, en particulier l’exploitation massive des données par des algorithmes d’IA sur des clusters Big Data / HPC.
« Quand on évoque les performances d’un système de stockage, il y a 3 dimensions à prendre en compte, explique Laurent Denel, CEO et cofondateur d’OpenIO. La capacité de stockage, la bande passante atteignable en lecture/écriture et enfin le temps d’accès aux données, autrement appelé la latence. » Pour les données non structurées, qui représentent aujourd’hui l’essentiel des données détenues par les entreprises, la question de la capacité et celle de la bande passante sont prépondérantes. Il faut non seulement pouvoir « scaler » sa plateforme, mais également écrire et consommer les données avec un débit optimal, sans quoi les calculs lancés sur les jeux de données sont ralentis ou interrompus, et le temps de chargement des données entre chaque tâche de calcul devient un frein à leur exploitation. Étant donné le coût, souvent facturé à la minute, d’un supercalculateur (ou plus couramment d’un cluster de calcul de type Hadoop) le débit offert par un système de stockage ne peut plus être une question secondaire.
Criteo a mis à disposition plus de 350 machines de son infrastructure, tout juste rackées dans l’un de leurs datacenters (Amsterdam), mais pas encore mises en production. Une opportunité inestimable pour OpenIO, car ce cluster constitué de serveurs de stockage standards (2 CPU Intel Xeon Gold 6140, 384 Go de RAM, 1 disque SSD pour le système, 15 disques SATA de 8 To) permet d’atteindre un ordre de grandeur à partir duquel on peut parler d’« hyperscale ».