L’argument de l’inévitabilité est le “boss final” – Avec David Krueger de Evitable

Dans cet épisode du Podcast La Prospective (Anglais sous titré Français), Gaëtan Selle de The Flares s’entretient avec David Krueger, un ancien chercheur de l’équipe de Yoshua Bengio. Il lance un cri d’alarme sur l’urgence absolue d’arrêter le développement de la superintelligence artificielle avant qu’il ne soit trop tard. Il revient sur son rôle dans la célèbre déclaration du Center for AI Safety et sur son combat pour briser le tabou du risque d’extinction humaine au sein de la communauté scientifique. Il y présente son organisation, “Evitable”, conçue pour déconstruire le mythe selon lequel l’avènement d’une IA toute-puissante serait inéluctable. L’invité explore également des scénarios dystopiques tels que l'”omnicide culturel”, où l’humanité se perdrait dans l’isolement numérique. Enfin, il propose une solution de gouvernance mondiale radicale : démanteler physiquement la chaîne d’approvisionnement des puces avancées pour imposer une pause vitale, tout en préservant les IA étroites bénéfiques.

Sommaire:
00:00:00 L’urgence absolue face à la superintelligence
00:02:01 La genèse de la déclaration sur la sécurité
00:04:02 Pourquoi alerter avec une seule phrase ?
00:06:01 De l’alignement technique à la gouvernance globale
00:07:28 La quête de pouvoir inévitable des systèmes
00:09:18 L’organisation Evitable : vaincre l’inévitabilité
00:12:03 Le fossé entre le public et les experts
00:15:11 L’omnicide culturel et l’isolement humain
00:17:21 La solution radicale : détruire les puces
00:20:25 Préserver l’IA étroite et éteindre l’incendie

Faut-il débrancher l’Intelligence Artificielle avant qu’il ne soit trop tard ?

L’humanité se trouve aujourd’hui à la croisée des chemins. Depuis l’avènement du deep learning et des grands modèles de langage, l’idée qu’une Intelligence Artificielle (IA) de niveau humain puisse voir le jour n’appartient plus au domaine de la science-fiction. Selon certains experts de premier plan, cette échéance pourrait se concrétiser d’ici une décennie, voire moins. Si cette perspective fascine par les promesses technologiques et médicales qu’elle porte, elle terrifie également une part croissante de la communauté scientifique. À travers le témoignage de David Krueger, un chercheur engagé depuis 2013 dans le domaine de l’apprentissage automatique, et ancien collaborateur de Yoshua Bengio (l’un des “pères” de l’IA), un constat glaçant émerge : le développement d’une superintelligence artificielle représente un risque existentiel majeur pour notre espèce. Cet article plonge au cœur de cette problématique complexe, allant de l’alignement technique des IA jusqu’aux propositions les plus radicales pour stopper ce qui pourrait être la dernière invention de l’humanité.

1. Briser le tabou du risque existentiel dans la communauté scientifique

Pour comprendre la situation actuelle, il faut remonter à la décennie précédente. En 2013, lorsque David Krueger intègre le domaine du machine learning, ses motivations sont claires mais atypiques : il s’inquiète des risques sociétaux à grande échelle et du risque d’extinction (souvent appelé “x-risk”) liés à l’IA. À sa grande surprise, il découvre que la communauté scientifique de l’époque est en plein déni. La perspective qu’une IA puisse un jour menacer l’humanité est alors considérée comme un sujet tabou, voire une distraction absurde. Les discussions sur ces scénarios catastrophes sont reléguées aux forums en ligne et portées par des figures marginées, tandis que les experts académiques se moquent ouvertement de ces inquiétudes.

Pendant des années, les médias et les chercheurs ont diffusé ce que David qualifie de “désinformation” : l’idée rassurante que l’IA superintelligente était une chimère lointaine, un problème pour les siècles à venir. Pourtant, des voix isolées, comme celle de Stuart Russell dès 2014, tentaient déjà de tirer la sonnette d’alarme. Ce n’est qu’autour de 2022 que le vent commence véritablement à tourner. L’accélération foudroyante des capacités des modèles d’IA pousse de nombreux experts à revoir leur copie. Des figures tutélaires de la discipline, à l’image de Yoshua Bengio et Geoffrey Hinton, commencent à exprimer publiquement leurs graves préoccupations.

C’est dans ce contexte de prise de conscience tardive mais brutale que naît l’idée de la déclaration du Center for AI Safety (CAIS). Face à l’urgence, une lettre ouverte de plusieurs pages n’aurait pas eu l’impact escompté ; le public et les décideurs ne lisent que les gros titres. L’objectif était de concevoir un message sans ambiguïté. Auparavant, le risque d’extinction était noyé au milieu d’autres préoccupations éthiques (biais, désinformation), permettant aux sceptiques de minimiser la gravité des signatures. En 2023, avec l’aide de Dan Hendrycks et après avoir sondé des dizaines de collègues, la déclaration est publiée : une seule phrase lapidaire affirmant que le risque d’extinction lié à l’IA est réel et doit être une priorité mondiale au même titre que les pandémies ou la guerre nucléaire. Le tabou était enfin brisé.

2. L’illusion de l’alignement technique face à la nature de l’optimisation

La question qui se pose alors est de savoir si nous pouvons contrôler ce que nous créons. C’est ce que l’on appelle le problème de l'”alignement” : comment s’assurer qu’une IA surpuissante agisse selon les valeurs et les intérêts humains ?

Longtemps, les débats ont porté sur les fonctions d’utilité. Si une IA est programmée pour optimiser impitoyablement un objectif donné (sa fonction d’utilité), elle pourrait détruire l’humanité non par malveillance, mais par simple calcul rationnel, pour s’accaparer les ressources nécessaires à l’accomplissement de sa tâche. David Krueger souligne la naïveté de certaines approches initiales qui pensaient qu’une simple ligne de code du type “si l’utilité est assez élevée, arrête-toi” suffirait.

Aujourd’hui, deux écoles s’affrontent. La première estime que les IA agiront comme des personnes, avec un “bon sens” moral qui les empêchera de franchir certaines lignes rouges. La seconde, beaucoup plus sombre, avance que tout système autonome (“agentique”) aura naturellement tendance à chercher du pouvoir, car le pouvoir (ressources, influence, survie) est utile pour atteindre n’importe quel objectif.

Même si le problème technique de l’alignement reste une question de recherche ouverte, le véritable danger réside dans la psychologie humaine et le capitalisme. Les entreprises et les développeurs, soumis à d’immenses pressions concurrentielles, sont prêts à prendre des risques démesurés. Ils construiront des entités autonomes et prêtes à tout (“qui y vont à fond”) pour gagner des parts de marché ou une suprématie stratégique. L’histoire humaine regorge d’exemples d’imprudence face aux biens communs à long terme, que ce soit le changement climatique, la guerre ou la pauvreté. La différence avec la superintelligence, c’est que l’échec de la coordination ne se soldera pas par une simple crise économique ou écologique. Le pire scénario, c’est la création d’une nouvelle espèce qui colonisera la Terre, voire la galaxie, et détruira inévitablement notre habitat.

3. Combattre le “boss final” : Le mythe de l’inévitabilité

Face à l’accumulation d’arguments démontrant la dangerosité de la trajectoire actuelle, une nouvelle rhétorique a émergé du côté des technologues qui refusent de ralentir : celle de l’inévitabilité. Leur argumentaire a muté. Ils ne disent plus “ce n’est pas dangereux”, mais “nous ne pouvons pas l’arrêter, c’est inéluctable”. Par conséquent, selon eux, la seule option est de courir plus vite que les autres pour s’assurer que les “bons” (les démocraties occidentales, ou certaines entreprises spécifiques) construisent la superintelligence avant les “méchants”.

Pour contrer cette forme de fatalisme dangereux, David Krueger a fondé une organisation judicieusement nommée Evitable (qui n’est pas inévitable). Son but est de déconstruire cette passivité. L’idée selon laquelle nous pourrions simplement “diriger” le développement de l’IA est une chimère. Une fois une superintelligence créée, personne n’en aura le contrôle au sens propre du terme. L’argument de l’inévitabilité est le “boss final” des justifications de l’industrie de l’IA. Pour le vaincre, il est impératif de prouver aux gouvernements et au public qu’il existe des mécanismes viables pour stopper cette course folle.

Le grand public, d’ailleurs, semble beaucoup plus lucide sur la question que les experts ne l’ont été pendant des années. Alors que les sondages montrent une forte inquiétude face au remplacement massif par l’IA (le chômage technologique sans filet de sécurité) et aux scénarios d’extinction, un curieux phénomène sociologique de “silence” persiste. Les individus sondés se disent très inquiets, mais pensent que leurs voisins ne le sont pas. Ce décalage d’environ 30 %, couplé à la peur d’être perçu comme un illuminé abreuvé de films de science-fiction, maintient un tabou social. L’une des missions d’Evitable est de déplacer la fenêtre d’Overton, afin que la peur légitime de l’IA devienne un sujet de conversation courant, libéré de la stigmatisation.

4. L’Omnicide Culturel : L’autre fin du monde

Même en écartant les scénarios d’extinction pure et simple ou de chômage mondial absolu, l’avenir vers lequel nous nous dirigeons pourrait être qualifié de dystopie cauchemardesque. Lors d’une présentation à San Francisco, David Krueger a théorisé le concept d'”omnicide culturel” pour décrire ce risque insidieux.

Inspiré du concept de génocide culturel (la destruction méthodique des coutumes et de l’identité d’un peuple sans nécessairement tuer ses membres), l’omnicide culturel s’appliquerait à l’ensemble de l’humanité. En extrapolant les tendances actuelles où les individus passent un temps exponentiel avec des chatbots, développent des relations affectives avec des IA, et restent rivés à des plateformes conçues pour être ultra-addictives, le futur qui se dessine est d’une grande tristesse.

Nous nous dirigeons vers un monde où l’interaction humaine authentique disparaîtrait. Les êtres humains finiraient assimilés par le système, passant leur vie isolés, connectés en permanence à une “perfusion numérique de dopamine”. Ce scénario rappelle fortement l’univers de Matrix, où l’humanité est plongée dans de fausses réalités illusoires. Pour beaucoup, un tel futur, dénué de tout sens humain, est suffisamment effrayant pour remettre en question le projet même de la construction d’une IA avancée. Si l’aboutissement de nos efforts technologiques est la fin de la culture humaine, alors le développement doit être stoppé.

5. La solution radicale : Détruire les moyens de production

Pour empêcher la création de cette superintelligence, la coordination internationale est indispensable. La proposition la plus courante consisterait à surveiller et à réglementer la puissance de calcul (le compute) de la même manière que la communauté internationale trace l’uranium enrichi pour éviter la prolifération nucléaire. Cependant, cette méthode présente une faille fatale.

Si le monde se repose uniquement sur un traité international et une surveillance, il ouvre la porte à un régime de gouvernance qui pourrait dériver vers un “gouvernement mondial totalitaire”, une perspective que très peu souhaitent. Mais surtout, le traçage laisse un délai d’intervention (le lead time) beaucoup trop court en cas de violation. Si une nation ou une entreprise rivale décide secrètement de rompre l’accord, le temps qu’il faut pour s’en apercevoir pourrait être insuffisant. S’ils disposent déjà des puces, d’immenses data centers, ou pire, d’un modèle d’IA déjà pré-entraîné mais secrètement débridé, la fenêtre pour intervenir se compterait en mois, voire en heures. Une telle crise géopolitique éclair déclencherait très probablement la Troisième Guerre mondiale, chaque camp cherchant à détruire préventivement le superordinateur de l’autre.

C’est pourquoi la solution proposée par David Krueger est aussi radicale que pragmatique : imposer une pause indéfinie en démantelant physiquement la chaîne d’approvisionnement. Cela signifie concrètement se débarrasser des puces d’IA les plus avancées et des usines ultra-spécialisées qui les fabriquent.

Cette approche est techniquement la plus robuste car la chaîne d’approvisionnement des puces de pointe (qui implique des machines de lithographie extrême, comme celles produites par ASML, et des fonderies géantes comme celles de TSMC à Taïwan) est aujourd’hui extrêmement concentrée et impossible à cacher aux yeux des satellites. Si l’on détruit ou reconvertit ces usines, relancer un programme de superintelligence en secret exigerait de reconstruire des infrastructures industrielles colossales. Cela prendrait des années. Ce délai de plusieurs années donnerait à la diplomatie internationale le temps de réagir et de désamorcer les conflits, évitant ainsi une guerre mondiale instantanée.

6. Sauver la maison en feu : Un compromis pour l’avenir

Une objection fréquente à l’idée d’un tel démantèlement industriel est la perte des bénéfices actuels de l’IA, notamment l'”IA étroite” (spécialisée dans une tâche précise) utilisée pour des causes nobles comme la recherche de traitements contre le cancer ou le développement de nouveaux matériaux.

David Krueger clarifie ce point avec force : mettre en pause la course à la superintelligence est tout à fait compatible avec la poursuite de l’IA étroite. Cependant, il admet qu’il y aura un coût économique à court terme. Mais les avantages économiques vantés par les géants de la tech cachent souvent une simple redistribution des richesses vers ceux qui sont déjà au sommet de la pyramide financière. Face au risque de destruction totale, le sacrifice de ces bénéfices économiques est un prix modeste à payer.

La situation actuelle est comparable à une maison en feu. L’urgence n’est pas de calculer les bénéfices à long terme du chauffage central, mais bien d’éteindre l’incendie avant que la structure ne s’effondre. Il faut détruire la menace, inspecter les cendres pour s’assurer qu’aucun foyer ne couve, évaluer les dégâts causés par le feu et par l’eau des pompiers, et repenser l’ignifugation du bâtiment. Ce n’est qu’une fois ces étapes sécuritaires franchies que nous pourrons, éventuellement, envisager de “rallumer les fourneaux”.

Il y a incontestablement des choses formidables à accomplir avec l’Intelligence Artificielle. Mais il n’y a aucune urgence vitale à les réaliser maintenant, comparée à l’urgence absolue de stopper la création d’une entité qui pourrait sceller le destin de l’humanité. Le temps nous est compté. Il ne nous reste que quelques années pour passer de la simple prise de conscience à l’action réelle et coordonnée. L’avenir n’est pas inévitable, il ne tient qu’à nous de débrancher la machine avant qu’elle ne prenne le contrôle.

Si vous êtes au Royaume-Uni ou aux Etats-Unis, utiliser les outils de ControlAI: http://controlai.com/take-action

Tenez vous au courant des campagnes menées par Pause IA via ce lien: https://taap.it/TF-PauseIACampagnes
Passez à l’action : En quelques clics, alertez vos élus et envoyez le modèle de lettre préparé. C’est automatisé pour un minimum d’effort.

Nous enregistrons nos podcasts avec Riverside: Cliquer sur ce lien pour commencer une période d’essai.

Si vous avez des remarques ou des interrogations à propos de cet épisode, vous êtes bien entendu libres de les poster en commentaires juste en dessous.

On vous souhaite une bonne écoute.