- GTIG constate que des acteurs malveillants cloneraient des modèles d’IA matures à l’aide d’attaques par distillation
- Des logiciels malveillants sophistiqués peuvent utiliser l’IA pour modifier du code en temps réel afin d’échapper à la détection
- Des groupes soutenus par des États créent des kits de phishing et des campagnes d’ingénierie sociale particulièrement convaincants
Quiconque a déjà utilisé des outils d’IA modernes sait qu’ils peuvent grandement aider à réduire la pénibilité des tâches répétitives et contraignantes.
Il apparaît que les acteurs malveillants partagent ce constat, puisque le dernier rapport AI Threat Tracker du Google Threat Intelligence Group révèle que les attaquants utilisent l’IA plus que jamais.
De l’analyse du raisonnement des modèles d’IA afin de les cloner, jusqu’à leur intégration dans des chaînes d’attaque pour contourner les mécanismes traditionnels de détection réseau, le GTIG a mis en lumière certaines des menaces les plus pressantes. Voici ce qui a été observé.
Comment les acteurs malveillants utilisent l’IA dans les attaques
Tout d’abord, le GTIG indique que les acteurs malveillants recourent de plus en plus aux « attaques par distillation » pour cloner rapidement des modèles de langage de grande taille afin de les utiliser à leurs propres fins. Les attaquants soumettent un volume considérable de requêtes pour comprendre la manière dont le LLM raisonne, puis exploitent les réponses obtenues pour entraîner leur propre modèle.
Ils peuvent ensuite utiliser ce modèle afin d’éviter de payer le service légitime, analyser la manière dont le LLM est conçu, ou rechercher des moyens d’exploiter leur propre modèle, ce qui peut également servir à exploiter le service d’origine.
L’IA est également employée pour soutenir la collecte de renseignements et les campagnes d’ingénierie sociale. Des groupes soutenus par l’Iran et la Corée du Nord ont utilisé des outils d’IA dans ce cadre, les premiers pour recueillir des informations sur des relations commerciales afin de créer un prétexte de contact, les seconds pour regrouper des renseignements et planifier des attaques.
Le GTIG a également constaté une hausse de l’utilisation de l’IA pour créer des kits de phishing particulièrement convaincants destinés à une diffusion massive dans le but de collecter des identifiants.
Par ailleurs, certains acteurs malveillants intègrent des modèles d’IA dans des logiciels malveillants afin de leur permettre de s’adapter pour échapper à la détection. Un exemple, suivi sous le nom HONESTCUE, a contourné la détection réseau et l’analyse statique en utilisant Gemini pour réécrire et exécuter du code au cours d’une attaque.
Tous les acteurs malveillants ne se ressemblent cependant pas. Le GTIG souligne également une forte demande pour des outils d’IA personnalisés conçus spécifiquement pour les attaquants, notamment des outils capables d’écrire du code pour des logiciels malveillants. À ce stade, ces acteurs restent dépendants des attaques par distillation pour créer des modèles personnalisés à des fins offensives.
Si de tels outils devenaient largement accessibles et faciles à diffuser, il est probable que les acteurs malveillants adopteraient rapidement l’IA malveillante dans leurs vecteurs d’attaque afin d’améliorer les performances des logiciels malveillants, du phishing et des campagnes d’ingénierie sociale.
Pour se défendre contre les logiciels malveillants augmentés par l’IA, de nombreuses solutions de sécurité déploient leurs propres outils d’IA en réponse. Plutôt que de s’appuyer uniquement sur une analyse statique, l’IA peut analyser les menaces potentielles en temps réel afin d’identifier le comportement des malwares enrichis par l’IA.
L’IA est également utilisée pour analyser les courriels et les messages afin de détecter le phishing en temps réel, à une échelle qui nécessiterait des milliers d’heures de travail humain.
Par ailleurs, Google recherche activement les usages potentiellement malveillants de l’IA dans Gemini, et a déployé un outil destiné à identifier les vulnérabilités logicielles (Big Sleep), ainsi qu’un outil visant à faciliter la correction de ces vulnérabilités (CodeMender).
