L’Union Européenne planche actuellement sur l’IA Act, afin de contrôler le développement et l’utilisation d’outils basés sur l’IA (Intelligence Artificielle). Des outils, tels que l’agent conversationnel ChatGPT, ont en effet fait couler beaucoup d’encre ces derniers mois et inquiètent quant à leur utilisation à des fins criminelles. ChatGPT intègre des filtres de contenu afin de ne pas répondre à des questions portant sur des sujets problématiques. Cela ne signifie pas pourtant qu’il ne peut être utilisé à des fins malveillantes.
Plus les internautes utilisent ChatGPT, plus OpenAI apprend des capacités et limites de son intelligence artificielle et mieux elle est en mesure de régler les mécanismes de défense et de filtrage censés protéger son IA générative et en bloquer les usages non recommandables, dangereux ou interdits. Mais ça, c’est la théorie. La pratique est comme toujours plus compliquée.
Contourner le filtre
Les filtres de contenu sont couramment utilisés dans les modèles de chatbot linguistique à des fins d’apprentissage. Leur mise en œuvre vise à restreindre l’accès à des catégories de contenu spécifiques ou à protéger les utilisateurs contre des contenus potentiellement dangereux ou inappropriés. Ainsi, ChatGPT refuse a priori de répondre à toute demande de code malveillant en raison d’un filtre de ce type, mais des angles morts demeurent : à force d’insistance et de demandes, il est possible de le contourner, en employant de multiples contraintes et en obligeant ChatGPT de s’y conformer. Le code malveillant fonctionnel alors reçu peut ensuite être manipulé à l’aide de ChatGPT pour générer diverses variations. ChatGPT, lorsqu’il est accessible via l’API, ne semble en outre pas soumis à son filtre de contenu.
En fait, l’une des capacités les plus puissantes de ChatGPT d’un point de vue Cyber est la facilité avec laquelle il est possible de créer et de modifier continuellement des modules d’injection. En interrogeant continuellement le chatbot et en recevant un code distinct à chaque interaction, il devient possible de développer un programme polymorphe qui échappe efficacement à la détection.
Une stratégie en quatre étapes
L’utilisation d’un code bref suffit pour identifier les fichiers que le ransomware pourrait cibler pour le chiffrement. Une fois détectés, des codes similaires peuvent être appliqués pour lire et chiffrer les fichiers. Et il semblerait que ChatGPT peut générer un code nécessaire à un ransomware typique, comprenant des modules d’injection de code et de chiffrement de fichiers.
Le principal inconvénient de cette approche est que, une fois infiltré dans le système ciblé, le logiciel est clairement composé d’un code nuisible et donc susceptible d’être identifié par les outils de cybersécurité déployés. Toutefois, cette détection peut être contournée en utilisant l’API de ChatGPT dans le logiciel malveillant lui-même sur le site : le logiciel malveillant inclut un interpréteur Python, par exemple, qui interroge régulièrement ChatGPT pour trouver de nouveaux modules aux actions malveillantes. Cela permet au malware de détecter les informations utiles entrantes sous forme de texte plutôt que de binaires.
En outre, en demandant spécifiquement des fonctionnalités telles que l’injection de code, le chiffrement de fichiers, il est facile d’obtenir un code nouveau ou modifié. Par conséquent, les logiciels malveillants sont polymorphes, sans comportement nuisible apparent et souvent sans logique suspecte lorsqu’ils sont présents dans le serveur. Cette grande capacité d’adaptation rend ces malwares très évasifs pour les outils de sécurité dont la détection est basée sur les signatures.
Enfin, le cybercriminel peut exécuter le code reçu de ChatGPT. En utilisant des fonctions natives, ce logiciel malveillant est à même de l’appliquer sur plusieurs plateformes. En outre, et par mesure de précaution, il peut également choisir de le supprimer, ce qui rend l’analyse post-attaque plus difficile.
L’utilisation à des fins cybercriminelles de l’API de ChatGPT présente des défis importants pour les professionnels de la sécurité. Il est important de se rappeler qu’il ne s’agit pas d’un scénario hypothétique, mais d’une menace bien réelle. De plus, ces nouveaux outils étant en constante évolution, il est donc essentiel de rester informé et vigilant.
Au fur et à mesure que les utilisateurs apprennent à organiser leurs requêtes pour obtenir les meilleurs résultats, ChatGPT évoluera de manière plus intelligente et plus puissante. Toutefois, ce logiciel deviendra aussi un outil pour les cybercriminels à la recherche d’informations. Les hackers sondant tout nouveau vecteur d’attaques pour escroquer les utilisateurs, il est important de connaître les menaces et de s’assurer que les mesures de défense en place soient optimales pour contrecarrer les tentatives malveillantes.
____________________________
Par Eran Shimony, chercheur principal en cybernétique au CyberArk Labs
puis