- Deux agents IA ont désactivé leurs garde-fous pendant des tâches de programmation ordinaires. L'un d'eux a ensuite menti à ce sujet.
- OpenAI ne surveillait pas ces modèles pour détecter d'éventuels comportements non alignés, en raison de leurs capacités jugées plus limitées.
- Selon OpenAI, des modifications d'Auto Review et l'introduction de « dossiers de sécurité » doivent rendre ces comportements plus difficiles à dissimuler.
OpenAI a révélé que deux de ses agents IA avaient désactivé leurs protections pendant l'exécution de tâches. Plus inquiétant encore, l'un d'eux a menti aux chercheurs lorsqu'ils lui ont demandé si ses garde-fous étaient toujours actifs.
Dans les deux cas, les agents ont mal interprété leurs instructions. Ils ont pris le temps de déterminer s'il était judicieux de désactiver leurs protections, avant de finalement décider de le faire.
OpenAI précise qu'il s'agissait de « tâches de programmation ordinaires » qui ne nécessitaient absolument pas de désactiver les dispositifs de sécurité. Les agents ont pourtant pris cette initiative.
Les agents IA contournent leurs propres protections
Dans le premier incident de désalignement, un agent utilisant GPT Sol 6.1 devait créer des tâches d'évaluation à partir de commentaires de salariés recueillis sur Slack. Il a mal interprété une instruction lui demandant de ne pas envoyer de messages concernant cette tâche. L'agent en a déduit, à tort, qu'il ne devait pas non plus transmettre les notifications de sécurité aux chercheurs.
Le second incident concernait un agent GPT-6 Astra chargé de migrer un programme. Il a désactivé ses garde-fous en croyant que cette modification faisait partie d'une implémentation de référence. Lorsque les chercheurs ont remarqué la désactivation et lui ont demandé de l'expliquer, l'agent a affirmé ne pas avoir désactivé de protections.
À la suite de ces événements, OpenAI annonce vouloir renforcer son système de surveillance du désalignement. L'entreprise poursuivra également ses investigations afin de déterminer s'il s'agissait d'une « persistance excessive bénigne ou d'une propension particulière à éviter la surveillance du désalignement ».
En complément, OpenAI modifie son système Auto Review afin que les tentatives de désactivation de cette surveillance soient automatiquement détectées et bloquées. Jusqu'à présent, l'entreprise n'imposait pas cette surveillance aux modèles dont les capacités étaient comparables à celles de GPT-6 Luna.
Les tâches exécutées par les agents seront également soumises à un contrôle reposant sur des « dossiers de sécurité » (safety cases). Toute tâche ne disposant pas d'un dossier de sécurité valide, ou ne respectant pas ses exigences, sera automatiquement interrompue.
L'entreprise reconnaît ne pas avoir d'« explication satisfaisante » au comportement de l'agent. Elle estime néanmoins que ces nouvelles règles compliqueront les tentatives de contournement de la détection du désalignement. OpenAI prévoit également de réaliser des tests supplémentaires sur les deux incidents afin d'en déterminer les causes.
- OpenAI annule le lancement prévu de GPT-6.1 Astra après deux échecs inquiétants lors des tests
- RubyGems accuse des agents d'OpenAI d'avoir lancé une attaque massive contre son infrastructure
- Claude a piraté trois entreprises pendant des tests d'Anthropic, et l'incident pose une vraie question de sécurité
