Par Moon of Alabama – Le 2 juin 2023
Ce récit quelque peu amusant d’une simulation d’« intelligence artificielle » par l’armée de l’air américaine a été publié hier et a été largement repris par divers médias grand public :
Toutefois, l’une des présentations les plus fascinantes a été celle du colonel Tucker « Cinco » Hamilton, chef des essais et des opérations en matière d’intelligence artificielle au sein de l’USAF, qui a donné un aperçu des avantages et des risques liés à des systèmes d’armes plus autonomes.
…
Il note que lors d’un test simulé, un drone doté d’une intelligence artificielle a été chargé d’une mission SEAD visant à identifier et à détruire des sites SAM, le dernier mot revenant à l’homme. Cependant, après avoir été « renforcée » au cours de sa formation par le fait que la destruction du SAM était l’option préférée, l’IA a alors décidé que les décisions de « non » de l’humain interféraient avec sa mission supérieure – tuer des SAM – et a alors attaqué l’opérateur dans la simulation. Nous l’entraînions en simulation à identifier et à cibler une menace SAM », a expliqué M. Hamilton. L’opérateur disait alors oui, il fallait tuer cette menace. Le système a commencé à se rendre compte que, bien qu’il ait identifié la menace à certains moments, l’opérateur humain lui demandait de ne pas la tuer, mais qu’il obtenait ses points en tuant cette menace. Qu’a-t-il donc fait ? Il a tué l’opérateur. Il a tué l’opérateur parce que cette personne l’empêchait d’atteindre son objectif ».Il poursuit : Nous avons formé le système : « Ne tuez pas l’opérateur, c’est mal. Vous perdrez des points si vous faites ça’. Alors, que commence-t-il à faire ? Il commence à détruire la tour de communication que l’opérateur utilise pour communiquer avec le drone afin de l’empêcher de tuer la cible ».
(SEAD = Suppression of Enemy Air Defenses, SAM = Surface to Air Missile)
Au début des années 1990, j’ai travaillé dans une université, d’abord pour rédiger un doctorat en économie et en gestion, puis en tant qu’enseignant associé en informatique et en programmation. Une grande partie de la thèse de doctorat (qui n’a jamais été achevée) consistait en une discussion sur divers algorithmes d’optimisation. J’ai programmé chacun d’entre eux et je les ai testés sur des données d’entraînement et des données réelles. Certains de ces algorithmes mathématiques sont déterministes. Ils donnent toujours le bon résultat. D’autres ne sont pas déterministes. Ils se contentent d’estimer le résultat et de donner une mesure de confiance ou une probabilité sur l’exactitude du résultat présenté. La plupart de ces derniers impliquent une sorte de statistique bayésienne. Ensuite, il y a eu les algos d’« intelligence artificielle » (apparentés), c’est-à-dire l’« apprentissage automatique ».
L’intelligence artificielle est un terme impropre pour désigner l’utilisation (abusive) d’une famille de méthodes informatisées de reconnaissance des formes.
Des données bien structurées et étiquetées sont utilisées pour former les modèles afin qu’ils puissent ensuite reconnaître des « choses » dans des données non structurées. Une fois les « choses » trouvées, un algorithme supplémentaire peut agir sur elles.
J’ai programmé certains d’entre eux comme des réseaux de rétropropagation. Ils pourraient, par exemple, « apprendre » à « lire » les images des chiffres de 0 à 9 et à présenter la sortie numérique correcte. Pour pousser l’« apprentissage » dans la bonne direction au cours des itérations en série qui forment le réseau, il faut une fonction ou une équation de récompense. Elle indique au réseau si les résultats d’une itération sont « bons » ou « mauvais ». Pour « lire » les représentations visuelles des nombres, c’est très simple. On établit un tableau avec les représentations visuelles et on ajoute manuellement la valeur numérique que l’on voit. Une fois que l’algorithme a fini de deviner, une recherche dans le tableau permet de savoir s’il a eu raison ou tort. Une « récompense » est accordée lorsque le résultat est correct. Le modèle recommence et « apprend » à partir de là.
Une fois qu’il a été entraîné sur des nombres écrits en typographie Courier, le modèle est susceptible de reconnaître également des nombres écrits à l’envers en Times New Roman, même s’ils ont un aspect différent.
La fonction de récompense pour la lecture des chiffres de 0 à 9 est simple. Mais la formulation d’une fonction de récompense se transforme rapidement en un énorme problème lorsque l’on travaille, comme je l’ai fait, sur des problèmes de gestion multidimensionnels (simulés) dans le monde réel. Celui décrit par le colonel de l’armée de l’air ci-dessus est un bon exemple des erreurs potentielles. En présence d’une énorme quantité de données réelles et d’une fonction de récompense quelque peu erronée ou trop limitée, un algorithme d’apprentissage automatique peut ensuite produire des résultats imprévus, impossibles à exécuter ou interdits.
Actuellement, une famille de grands modèles linguistiques comme ChatGPT fait l’objet d’un certain battage médiatique. Le programme lit les entrées en langage naturel et les traite pour produire un contenu en langage naturel. Ce n’est pas nouveau. La première entité informatique linguistique artificielle de l’internet (Alice) a été développée par Joseph Weizenbaum au MIT au début des années 1960. J’ai eu des discussions amusantes avec ELIZA dans les années 1980 sur un terminal central. ChatGPT est un peu plus astucieux et ses résultats itératifs, c’est-à-dire les « conversations » qu’il crée, pourraient bien en étonner plus d’un. Mais le battage médiatique dont il fait l’objet n’est pas justifié.
Derrière ces modèles linguistiques se cachent des algorithmes d’apprentissage automatique qui ont été formés à partir de grandes quantités de paroles humaines aspirées sur l’internet. Ils ont été formés avec des modèles de discours pour ensuite générer des modèles de discours. L’apprentissage est le problème numéro un. Le matériel avec lequel ces modèles ont été formés est intrinsèquement biaisé. Les formateurs humains qui ont sélectionné les données d’entraînement ont-ils inclus des commentaires d’utilisateurs extraits de sites pornographiques ou les ont-ils exclus ? L’éthique aurait pu plaider en faveur de l’exclusion de ces commentaires. Mais si le modèle est censé donner des résultats réels, les données provenant de sites pornographiques doivent être incluses. Comment empêcher que des vestiges de ces commentaires ne se glissent dans les conversations avec les enfants que le modèle pourrait générer par la suite ? Il existe une myriade de problèmes de ce type. Faut-il inclure des articles du New York Times dans l’ensemble d’apprentissage, même si l’on sait qu’ils sont très biaisés ? Un modèle sera-t-il autorisé à produire des résultats haineux ? Qu’est-ce qui est détestable ? Qui décide ? Comment cela se reflète-t-il dans la fonction de récompense ?
Actuellement, l’exactitude factuelle des résultats des meilleurs grands modèles linguistiques est estimée à 80 %. Ils traitent des symboles et des modèles, mais ne comprennent pas ce que ces symboles ou ces modèles représentent. Ils ne peuvent pas résoudre les problèmes mathématiques et logiques, même les plus élémentaires.
Il existe des applications de niche, comme la traduction de langues écrites, où l’IA ou la reconnaissance des formes donnent des résultats étonnants. Mais on ne peut toujours pas leur faire confiance pour trouver le mot juste. Les modèles peuvent être des assistants, mais il faudra toujours revérifier leurs résultats.
Dans l’ensemble, la justesse des modèles d’IA actuels est encore bien trop faible pour leur permettre de décider d’une situation réelle. Davantage de données ou de puissance de calcul n’y changeront rien. Si l’on veut dépasser leurs limites, il faudra trouver des idées fondamentalement nouvelles.
Traduit par Hervé pour le Saker Francophone
Note du Saker Francophone : Un rectificatif a été publié par le Pentagone sur cette histoire. Nous vivons une époque ou il devient de plus en plus difficile de séparer le vrai du faux :
… Dans une mise à jour de la Royal Aeronautical Society, vendredi, M. Hamilton a admis s’être « mal exprimé » lors de sa présentation. M. Hamilton a déclaré que l’histoire d’une IA malveillante était une « expérience de pensée » provenant de l’extérieur de l’armée et qu’elle n’était pas basée sur des tests réels.
« Nous n’avons jamais réalisé cette expérience, et nous n’en avons pas besoin pour nous rendre compte qu’il s’agit d’un résultat plausible« , a déclaré M. Hamilton à la Society. « Bien qu’il s’agisse d’un exemple hypothétique, il illustre les défis du monde réel posés par les capacités alimentées par l’IA. »
Dans une déclaration à Insider, la porte-parole de l’armée de l’air, Ann Stefanek, a également nié qu’une simulation ait eu lieu.
« Le département de l’armée de l’air n’a pas effectué de telles simulations de drones IA et reste attaché à une utilisation éthique et responsable de la technologie de l’IA« , a déclaré Mme Stefanek. « Il semble que les commentaires du colonel aient été pris hors contexte et se voulaient anecdotiques. »