Comment comparer les performances réelles des différents ordinateurs quantiques désormais disponibles sur le marché et mesurer les améliorations des modèles à venir ? Il faut des benchmarks assez universels et des mesures reproductibles. IBM propose pour cela un nouveau bench quantique…

Depuis désormais plus de trois ans, différents acteurs du marché revendiquent à tour de rôle le développement d’un ordinateur « le plus puissant ». Mais comment vérifier de telles affirmations et mesurer les progrès réalisés entre deux générations ? IBM a beaucoup œuvré pour populariser l’idée que compter le nombre de Qubits ne suffisait pas. L’éditeur proposait d’ailleurs depuis quelque temps une nouvelle mesure, le Volume Quantique, censée traduire la performance réelle d’un ordinateur quantique au-delà de son nombre de Qubits. Mais cette notion de « Volume Quantique » a elle-même vite été dépassée : si la dernière machine quantique d’IBM affichait un VQ de 64, IonQ estimait de son côté que sa nouvelle machine dépassait les 4 millions… La différence d’échelle démontrant bien les limites du concept Volume Quantique.

IBM révise désormais sa copie et explique qu’en matière de comparaison quantique il faut différencier trois éléments : l’échelle, la qualité, et la vitesse de traitement. L’échelle est représentée par le nombre de Qubits. La qualité est représentée par le Volume Quantique. La vitesse de traitement est un élément qui n’avait jusqu’ici jamais été véritablement mesuré de façon utile. Pour la mesurer, IBM introduit un Benchmark et une nouvelle unité de mesure : le CLOPS pour Circuit Layer Operations per Second. Le CLOPS mesure la rapidité avec laquelle un processeur quantique peut exécuter un circuit quantique (autrement dit un calcul quantique).

Appliquées aux ordinateurs quantiques IBM, ces mesures se traduisent de la façon suivante :
– En termes d’échelle : le dernier monstre d’IBM, Hummingbird, possède 65 Qubits. L’Eagle attendu en toute fin d’année ou au début de l’année prochaine possèdera 127 Qubits.
– En termes de qualité : IBM affiche désormais un QV de 128 sur plusieurs de ces systèmes accessibles via le cloud.
– En termes de vitesse : sa machine actuelle la plus puissante est chronométrée à 1.400 CLOPS.

« À mesure que l’informatique quantique évolue et commence à s’attaquer à des problèmes concrets, nous devons accorder une plus grande attention à la quantité de travail que les systèmes informatiques quantiques peuvent faire dans une unité de temps donnée. Nous nous attendons à ce que les charges de travail réelles impliquent des interactions quantiques-classiques : un programme complet invoquera un processeur quantique comme un accélérateur pour certaines tâches, ou un algorithme nécessitera plusieurs appels à un processeur quantique. Par conséquent, le système d’exécution qui permet une communication quantique-classique efficace sera essentiel pour atteindre des performances élevées. Nous avons intégré cette interaction classique/quantique en cours d’exécution dans notre proposition pour le référentiel CLOPS » expliquent les chercheurs d’IBM dans leur publication.

Le Benchmark CLOPS prend ainsi en compte plusieurs éléments de la stack « matériel + logiciel » à commencer par le taux de répétition du processeur quantique (pour obtenir des résultats fiables, il faut relancer un circuit quantique plusieurs fois), la vitesse à laquelle les portes quantiques (instructions des processeurs quantiques) s’exécutent, le temps de compilation, le temps nécessaire pour générer les instructions de contrôle sur l’environnement d’exécution classique, et le taux de transfert des données entre toutes les unités (classiques/quantiques).

CLOPS d’IBM n’est pas le seul benchmark de l’univers quantique. Atos a développé son propre Benchmark, le Q-Score s’appuyant sur un problème combinatoire. L’intérêt de son Q-Score est qu’il permet non seulement de comparer des machines quantiques entre elles, mais aussi des machines quantiques avec des émulateurs et même des machines quantiques avec des supercalculateurs.