Miser sur l’open source et des LLM hébergés permet de répondre aux défis de confidentialité et de contextualisation de l’IA générative en entreprise. Voici pourquoi et surtout comment…
Les nouveaux services tiers de grands modèles de langage (LLM, Large Language Models), tels que ChatGPT et Bard, connaissent un véritable engouement. Leur succès fulgurant a su convertir les sceptiques de l’IA générative en fervents adeptes et leur adoption a battu tous les records avec des centaines de millions d’utilisateurs dans le monde en quelques mois.
Avec un potentiel dans pratiquement tous les secteurs d’activité, nous ne sommes qu’aux prémices d’une nouvelle ère de l’IA générative. Toutefois, malgré les indéniables avantages, les entreprises doivent également s’interroger sur les risques et inconvénients que son utilisation comporte.
La confidentialité des données : source d’inquiétude
La confidentialité des données est une préoccupation essentielle pour toutes les entreprises. La protection des données représentent un défi croissant dans le contexte de l’évolution rapide des technologies et des innovations qui sont alimentées par ces données.
Les applications SaaS d’IA générative comme ChatGPT sont un parfait exemple des types d’avancées technologiques qui exposent les individus et les organisations à des risques en matière de protection de la confidentialité. Les applications tierces peuvent stocker et traiter des informations sensibles de l’entreprise, qui pourraient être exposées en cas de violation de données ou d’accès non autorisé.
LLMs : des limites contextuelles
L’un des défis majeurs auxquels font face les modèles LLM réside dans leur manque de compréhension contextuelle des questions spécifiques aux entreprises. Des modèles tels que GPT-4 et BERT sont formés sur d’immenses quantités de texte disponibles publiquement sur Internet, couvrant une grande diversité de sujets et de domaines. Cependant, ils n’ont pas accès aux bases de connaissances propres aux entreprises, ni aux sources de données propriétaires. Par conséquent, lorsque des questions spécifiques à une entreprise leur sont posées, les LLMs peuvent fournir deux types de réponses courantes : des réponses « hallucinées » ou des réponses factuelles mais déconnectées du contexte.
Ces « hallucinations » sont le résultat de la tendance des modèles LLM à générer des informations fictives qui semblent réelles. Ce qui rend difficile de les distinguer des faits réels, c’est qu’elles sont habilement mélangées avec des informations véridiques. Par exemple, dans le contexte des politiques de remboursement internes à une entreprise, si un collaborateur pose une question sur les frais de voyages, un modèle LLM générique lui proposera des réponses apparemment raisonnables, mais qui ne correspondent pas forcément à ce que l’entreprise applique réellement. Cela souligne la nécessité d’être prudent lors de l’utilisation de ces modèles pour des questions très spécifiques à l’entreprise.
Alors, comment relever ces défis ?
Pour garantir la confidentialité, des LLM hébergés en interne
Une option pour garantir la confidentialité des données consiste à utiliser des LLM développés et hébergés directement par l’entreprise. Toutefois, si former un modèle LLM à partir de zéro peut sembler une solution attrayante, son coût est néanmoins prohibitif. Open AI, par exemple, a estimé le coût de la formation de GPT-4 à plus de 100 millions de dollars.
La bonne nouvelle, c’est que la communauté open source travaille sans relâche. Chaque jour, de nouveaux LLM développés par diverses équipes de recherche et organisations sont publiés sur HuggingFace, construits à partir de techniques et d’architectures de pointe, en tirant parti de l’expertise collective de l’ensemble de la communauté de l’IA. HuggingFace rend également trivial l’accès à ces modèles open source pré-entraînés. De nouvelles et puissantes alternatives ouvertes continuent d’être proposées à un rythme rapide, comme MPT-7B de MosaicML ou Vicuna.
Ces modèles open source permettent aux entreprises d’héberger leurs solutions d’IA en interne en limitant les coûts de recherche, d’infrastructure et de développement. Cela signifie également que les interactions avec ce modèle sont conservées en interne, éliminant ainsi les problèmes de confidentialité associés aux solutions LLM SaaS.
Ajouter le contexte de l’entreprise aux LLM
La limitation contextuelle n’est pas l’apanage des entreprises. OpenAI, par exemple, propose une offre payante pour intégrer vos données dans leur service, mais cela a des implications évidentes en matière de confidentialité. En outre, en exploitant des technologies open source telles que Ray ou LangChain, les développeurs peuvent affiner les modèles linguistiques à l’aide de données spécifiques à l’entreprise, améliorant ainsi la qualité des réponses grâce au développement d’une compréhension spécifique et au respect du ton souhaité. Le modèle est ainsi en mesure de comprendre les requêtes, de fournir de meilleures réponses et de gérer habilement les nuances du langage.
Une autre solution puissante aux limitations contextuelles est l’utilisation d’architectures telles que Retrieval-Augmented Generation (RAG). Cette approche combine des capacités génératives avec la possibilité de récupérer des informations d’une base de connaissances en utilisant des bases de données vectorielles telles que Milvus, alimentées par les documents de l’entreprise. En intégrant une base de connaissances, les LLM peuvent accéder à des informations spécifiques au cours du processus de génération.
Grâce aux avantages de l’open source, les entreprises peuvent créer et héberger des LLM parfaitement compétents dans leur domaine, développés pour exceller dans des cas d’utilisation spécifiques plutôt que d’être généralisés pour être assez bons dans tous les domaines.
____________________________
Par Sanida Tang, Solution Engineers Manager chez Cloudera
puis