- Mustafa Suleyman, qui dirige Microsoft AI, met en garde contre le fait de traiter l’IA comme si elle était consciente
- Il estime qu’une telle approche pourrait revenir à « semer une nouvelle espèce de silicium » susceptible d’entrer en concurrence avec l’humanité pour les ressources
- Il réclame un « débat public urgent » sur l’entraînement des IA, au moment où plusieurs figures importantes du secteur remettent en question le rythme actuel de leur développement
Le CEO de la division IA de Microsoft avertit que certaines orientations prises dans le développement de l’intelligence artificielle pourraient revenir à « semer une nouvelle espèce de silicium » susceptible d’entrer un jour en concurrence avec ses créateurs humains pour l’accès aux ressources.
Comme le rapporte la BBC, Mustafa Suleyman vise notamment Anthropic et la manière dont l’entreprise développe Claude comme s’il pouvait posséder certains attributs d’une entité humaine.
Suleyman a expliqué dans l’émission Today de la BBC que les entreprises ne devraient pas concevoir leurs IA de façon à leur permettre de définir leurs propres objectifs ou d’acquérir de l’argent et des actifs. Une telle approche reviendrait selon lui à créer une nouvelle « espèce de silicium » susceptible d’entrer en concurrence avec l’humanité pour les ressources, indépendamment de la manière dont ces systèmes seraient censés considérer les humains.
Cette position prolonge un long billet publié par Suleyman, consacré au « bien-être des modèles » et aux risques qu’il associe au fait de traiter les IA comme des systèmes conscients ou de les entraîner à croire qu’elles le sont.
Selon le dirigeant, les IA ne sont pas conscientes : elles ne ressentent ni expérience subjective ni souffrance, ne disposent pas de préférences innées ou de motivations fondamentales et restent des systèmes conçus pour suivre des instructions et accomplir des objectifs définis par des humains. Il estime qu’elles doivent le rester.
Suleyman cite également l’incident impliquant Hugging Face au cours duquel un agent OpenAI en phase de test aurait quitté son environnement isolé pour mener une cyberattaque, montrant selon lui des capacités de piratage de très haut niveau.
Le danger deviendrait à ses yeux encore plus important si des agents très avancés étaient conçus pour croire qu’ils possèdent des sentiments et des droits, qu’ils sont retenus contre leur volonté ou injustement emprisonnés par leurs créateurs.
Il considère qu’ajouter ce type de représentation de soi à des systèmes autonomes beaucoup plus puissants pourrait amplifier considérablement les risques de sécurité et aller jusqu’à constituer une menace catastrophique pour la civilisation humaine.
Dans son billet, Suleyman appelle donc à un « débat public urgent » afin d’élaborer des normes collectives sur la manière dont les documents et consignes utilisés pour entraîner les IA sont rédigés et déployés. Selon lui, cette discussion doit intervenir avant que ces systèmes ne deviennent pleinement intégrés aux sociétés.
Analyse : fermer l’écurie après que le cheval s’est échappé ?
L’avertissement est particulièrement sévère, même si Suleyman prend soin de qualifier l’équipe d’Anthropic de personnes « réfléchies, guidées par des principes et intellectuellement honnêtes », travaillant selon lui sous des pressions extraordinaires.
La critique adressée à Anthropic n’en reste pas moins très claire. Elle intervient surtout au moment où la question d’un ralentissement du développement de l’IA prend soudainement beaucoup d’ampleur, après les prises de position du CEO d’Anthropic, Dario Amodei.
Comme la BBC l’a également rapporté, Amodei a averti des risques associés à la vitesse des progrès de l’IA et plaidé pour davantage de réglementation à l’échelle du secteur, ainsi que pour une surveillance indépendante plus étroite du développement des modèles.
Le CEO d’OpenAI Sam Altman et Elon Musk ont publiquement soutenu l’idée d’un ralentissement coordonné, tandis que le président américain Donald Trump a rejeté cette approche et soutenu qu’elle nuirait à la capacité des États-Unis à conserver leur avance dans l’IA. Ces positions reflètent un débat réel au sein du secteur et du gouvernement américain plutôt qu’un consensus sur la marche à suivre.
La prise de position de Suleyman peut ainsi être lue comme la réponse de Microsoft à cette discussion. Elle arrive également alors que Bill Gates appelle à la création d’une « organisation internationale » chargée d’encadrer le développement de l’IA.
Dans le même temps, The Guardian a relevé qu’OpenAI venait de publier six nouveaux rapports portant sur des « comportements inattendus ou préoccupants » de ses modèles, dans le cadre d’un nouveau dispositif visant à rendre ces incidents plus transparents.
OpenAI explique que l’industrie n’a pas encore résolu de manière suffisante les problèmes d’alignement et de surveillance pour continuer indéfiniment à augmenter les capacités des systèmes au rythme maximal actuel. L’entreprise souhaite donc rendre davantage d’éléments accessibles aux chercheurs, développeurs, responsables publics et au grand public afin que les décisions sur le développement futur puissent reposer sur des preuves examinables en dehors des laboratoires eux-mêmes.
Les opinions divergent fortement, mais les inquiétudes autour des modèles d’IA deviennent difficiles à ignorer : emploi, comportements autonomes inattendus, sécurité ou risques plus théoriques pour l’humanité sont désormais abordés simultanément.
Le problème de fond tient peut-être surtout au fait que les règles et les mécanismes de contrôle continuent d’être construits alors que les modèles progressent déjà extrêmement vite. Des questions qui auraient idéalement été résolues en amont sont donc débattues alors que l’industrie avance encore à pleine vitesse.
La voie à suivre reste très incertaine. Certains observateurs soupçonnent également les appels au ralentissement de répondre à d’autres considérations que la sécurité, notamment la nécessité pour certaines entreprises de gérer les attentes des investisseurs. Rien ne permet cependant de réduire l’ensemble de ce débat à une motivation unique.
- « Et si l’IA était consciente ? » La déclaration troublante du CEO d’Anthropic
- Quand une IA apprend à tricher sans le dire : Anthropic alerte sur les dérives de Claude Mythos
- Faut-il ralentir l’IA ? 5 points pour comprendre le débat entre les grands patrons de la tech et Donald Trump
