Des IA « voyous » tueront-elles des milliards de gens ?


Par Moon of Alabama – Le 29 septembre 2026

C’était un jour de pluie quand j’ai rencontré Bill Gates. C’était fin 1999, lors d’un événement Microsoft à Seattle. Nous avons eu une brève discussion au sujet d’une acquisition. Mon impression fut qu’il était un gars intelligent, mais pas si intelligent. Plus tard dans la journée, il a donné une conférence. Sa présentation PowerPoint a rapidement tourné à l’écran bleu. Il était embarrassé et impuissant.

Gates sait une ou deux choses sur la façon de tirer profit d’un monopole sur les logiciels. Vu sous cet angle, sa récente demande de réglementation en affirmant que l’IA pourrait « causer un milliard de morts » pourrait même avoir du sens :

Dans une interview accordée à NBC Meet the Press, Gates a déclaré que les développeurs d’IA devraient être tenus de mettre en œuvre des garanties et des systèmes de surveillance, arguant que l’autorégulation volontaire de l’industrie ne suffit pas.

« Nous avons besoin que les forces de l’ordre et les politiciens entrent dans la discussion sur les garanties et la surveillance », a déclaré Gates au média. « Et cela devrait être obligatoire ».

Le monde à Gates : Nous avons déjà des lois qui interdisent de faire de mauvaises choses. Nous avons également des organismes d’application de la loi. Nous avons des tribunaux et des juges qui pénalisent les gens qui font de mauvaises choses.

Tuer un milliard de personnes, c’est mal. C’est interdit pour de bonnes raisons. Les tentatives de le faire sont criminelles. Les gens qui essaient iront en prison.

Prétendre que l’IA pourrait tuer un milliard de personnes, c’est comme prétendre que le feu pourrait tuer un milliard de personnes. Bien sûr que ça pourrait. Pourtant ce n’est pas le cas.

Après quelques tentatives non autorisées de pénétrer dans des bases de données et des sites Web non publics, il y a eu des discussions dérangeantes sur les « agents IA voyous« .

Il n’existe pas d’agent IA « voyou« . Il n’y a que des logiciels déterministes, écrits et lancés par des humains, qui se basent sur de Grands Modèles de langage.

Pour comprendre comment cela fonctionne, regardons à l’intérieur :

Un harnais d’agent d’IA est l’infrastructure logicielle qui s’enroule autour d’un Grand modèle de langage (LLM) et lui permet d’agir sur des tâches, pas seulement de répondre aux invites. Le modèle raisonne sur un problème et décide quoi faire ensuite. Le harnais le connecte aux outils, systèmes, environnements de mémoire et d’exécution nécessaires pour effectuer ces actions.

Agent = Modèle + Harnais

Considérez le modèle comme le « cerveau » qui génère le raisonnement et les décisions. Le harnais est tout ce qui l’entoure et aide l’agent à fonctionner de manière sûre et fiable, y compris :

Outils : API, exécution de code, recherche, bases de données et applications métier

Mémoire : Contexte antérieur, préférences de l’utilisateur et historique du flux de travail

Espace de travail : Fichiers, données, environnements et systèmes auxquels l’agent peut accéder

Garde-fous : Autorisations, politiques, approbations et surveillance

Sans harnais, un modèle peut répondre à des questions, mais il ne peut pas exécuter de code de manière fiable, appeler des API, accéder à des fichiers, se souvenir de travaux antérieurs ou effectuer seul des flux de travail en plusieurs étapes.

Un agent d’IA, quelque soit sa tache, ne peut et ne s’introduira dans un site Web que si son harnais (et l’ordinateur sur lequel « l’agent » s’exécute) ne l’empêche pas de le faire.

Quiconque a programmé ce harnais (ou mal gérer le système sous-jacent) est au moins négligent dans son devoir. C’est cette personne qui est responsable de la mauvaise conduite des agents. C’est cette personne qui, le cas échéant, devrait aller en prison.

Il existe un moyen très simple d’empêcher les agents IA d’OpenAI ou Anthropic de devenir des « voyous« . Pénaliser durement les PDG de ces sociétés, Sam Altman et Dario Amadei, à chaque fois que leurs agents le font.

Les systèmes d’IA ne pensent pas, ne ressentent pas, ne veulent pas ou ne comprennent pas. Ils ne peuvent pas devenir des « voyous« .

Dis : « je suis vivant ». > Je suis vivant. Oh mon Dieu

Prétendre qu’ils le puissent est idiot.

Moon of Alabama

Traduit par Wayan, relu par Hervé, pour le Saker Francophone.

   Envoyer l'article en PDF