GLUE, acronyme de General Language Understanding Evaluation, est un benchmark élaboré par les universités de New York et Washington permettant d’évaluer la performance des modèles de Deep Learning dédiés à la reconnaissance du langage naturel. Autrement dit, GLUE mesure la capacité d’une IA à comprendre le sens d’une question et à en fournir la réponse la plus éclairée possible en prenant en compte les contextes ainsi que l’analyse des sentiments.

Les créateurs d’IA peuvent à tout moment soumettre leurs travaux à ce benchmark et ainsi mesurer leurs progrès mais aussi se comparer aux autres.

L’Alibaba DAMO Academy, le centre de recherche et d’expérimentation d’Alibaba, annonce avoir réalisé une « percée majeure » dans les capacités automatiques de lecture (machine-reading) et de compréhension du langage naturel des intelligences artificielles.

Son nouveau modèle NLP se classe ainsi en tête du classement GLUE publié le 3 mars dernier. Le modèle d’Alibaba a également surpassé de manière significative les meilleurs scores obtenus par l’être humain, marquant une étape importante dans le développement de systèmes robustes de compréhension du langage naturel.

Le modèle NLP de DAMO est déjà déployé dans l’écosystème d’Alibaba afin d’améliorer les capacités AI de ses chatbots dédiés aux services clients et aux outils de recherche de la marketplace d’Alibaba.

Par ailleurs, il a aussi permis de réaliser une analyse de données anonymes sur les soins de santé. Le modèle est en effet utilisé pour l’analyse textuelle de dossiers médicaux anonymes et d’enquêtes épidémiologiques faites le Centers for Disease Control and Prevention (CDC) dans différentes villes de Chine pour lutter contre le COVID-19.

Google arrive en seconde position suivi du moteur NLP de Baidu et de celui de Microsoft Research.

Pour en savoir plus :
Le classement GLUE Mars 2020
Le modèle de Machine Learning ALIBABA StructBERT