L’Alignement de l’IA : Un Défi d’Ingénierie au Stade de l’Alchimie – avec Gabriel Alfour

Dans cet épisode de la Prospective, nous accueillons Gabriel Alfour, CTO de Conjecture, une start-up dédiée à la recherche sur la sûreté de l’IA, et conseiller chez Control AI. Partant d’un constat lucide sur l’échec des approches techniques actuelles, il élargit la notion d’alignement au-delà de l’IA pour en faire un problème d’ingénierie des systèmes intelligents, des marchés financiers aux constitutions politiques. Une discussion approfondie sur les points de non-retour, les dynamiques de la course à l’AGI, et pourquoi nous avons collectivement échoué à concevoir des systèmes alignés sur le bien commun, même avant l’arrivée de l’IA.

Sommaire :

0:00:00 – Peux-tu te présenter et nous expliquer ce qui t’a amené à t’intéresser à la sécurité de l’IA ?

0:02:26 – Peux-tu nous en dire plus sur l’organisation Conjecture, sa mission principale et vos actions ?

0:05:34 – Quel est l’état des lieux des capacités de l’IA aujourd’hui et en quoi cela pose-t-il déjà des risques ?

0:11:20 – Que penses-tu du concept de P(doom) (probabilité d’extinction) et est-il utile pour le débat public ?

0:14:14 – Quelle est ta définition de l’intelligence artificielle générale (AGI) ?

0:16:11 – Souscris-tu au concept de “FOOM” (décollage rapide) où une IA s’auto-améliorerait de manière explosive ?

0:21:35 – Es-tu d’accord avec la thèse d’Eliezer Yudkowsky : “si on la construit, tout le monde meurt” ?

0:30:07 – Tu présentes l’alignement comme un problème d’ingénierie plus large que l’IA (marchés, gouvernements). Peux-tu développer cette idée ?

0:41:55 – Quelle est la relation entre alignement et contrôle, et peut-on vraiment contrôler un système plus intelligent que nous ?

0:51:01 – Que penses-tu de la stratégie des labos d’utiliser des IA pour aider à aligner les IA futures (scalable oversight) ?

1:00:34 – Peux-tu nous expliquer l’agenda de recherche que vous aviez chez Conjecture, notamment l’émulation cognitive ?

1:03:43 – Que faire concrètement ? Faut-il une pause internationale et comment les auditeurs peuvent-ils contribuer ?

L’Alignement de l’IA : Un Défi d’Ingénierie Oublié

Dans un monde technologique en constante accélération, la conversation sur l’intelligence artificielle oscille souvent entre la techno-utopie et l’apocalypse existentielle. Au milieu de ce tumulte, des voix comme celle de Gabriel Alfour, CTO de la startup de sûreté de l’IA Conjecture, proposent une perspective radicalement différente. Pour lui, le problème de l’alignement de l’IA n’est pas une énigme futuriste, mais la manifestation moderne d’un défi d’ingénierie que nos sociétés ont étrangement oublié : comment concevoir des systèmes intelligents, qu’ils soient de silicium ou humains, pour qu’ils servent réellement nos intérêts.

Le Paysage Actuel : Progrès Fulgurants et Risques Imminents

Pour comprendre la profondeur du défi, il faut d’abord mesurer la vitesse du changement. Gabriel Alfour, dont le parcours l’a mené de l’informatique fondamentale à l’entrepreneuriat avant de pivoter vers la sûreté de l’IA après la sortie de GPT-3 en 2020, souligne que les capacités des modèles ont explosé en à peine deux ans. “Là où je voyais ça comme des sujets d’avenir pour les prochaines décennies, c’est devenu un sujet beaucoup plus court-termiste et important,” confie-t-il.

Ce progrès n’est plus abstrait. Dans le domaine de la recherche, des modèles comme GPT-4 apportent des contributions significatives à des articles scientifiques, accomplissant des tâches qu’un chercheur humain jugerait “très intelligentes”. Pour les développeurs, la programmation assistée par l’IA transforme des semaines de travail en quelques heures. Sur le plan créatif, la génération de vidéo, de voix et d’images est devenue non seulement convaincante mais aussi largement accessible. Le clonage de voix, par exemple, est désormais un problème “complètement résolu”, avec des outils fonctionnant directement dans un navigateur web.

Cependant, chaque avancée apporte son lot de risques immédiats. Le plus visible et le plus insidieux est sans doute celui de la “super-persuasion”. Les IA sont devenues si convaincantes que leur influence sur l’espace public est déjà palpable. Gabriel Alfour décrit une expérience personnelle frappante : après une interaction sur Twitter avec une personnalité connue, il a été submergé par une “avalanche de bots”, dont certains imitaient le comportement humain à la perfection pour mieux promouvoir des arnaques.

“Pour moi, le problème de la super-persuasion, c’est qu’il devient très difficile de faire confiance aux gens en ligne. L’opinion devient très facilement manipulable,” explique-t-il. Ce phénomène, déjà exploité pour la fraude, trouve une application encore plus inquiétante dans la sphère politique. Des armées de bots, alimentés par des IA, sont conçues pour polariser les débats, poussant des humains à s’épuiser dans des discussions stériles avec des machines. Nous perdons déjà la bataille de l’information face à des IA relativement simples. Qu’adviendra-t-il lorsque ces systèmes deviendront encore plus sophistiqués ?

Repenser le Risque : Au-delà du “P(doom)”

Face à ces menaces, le discours public se cristallise souvent autour du concept de “P(doom)”, la probabilité subjective d’une catastrophe existentielle causée par l’IA. Pour Gabriel Alfour, ce chiffre est un outil de communication médiocre. “Mon problème principal avec ce concept, c’est qu’il mélange des prédictions de natures très différentes,” analyse-t-il. Il fusionne des questions techniques (les capacités futures des IA), des questions de contrôle (notre aptitude à les maîtriser) et des questions géopolitiques (notre capacité à gérer cette transition collectivement). Personne ne possédant une expertise égale dans tous ces domaines, le “P(doom)” devient un chiffre fourre-tout qui obscurcit plus qu’il n’éclaire.

Plutôt que de débattre d’un pourcentage, il propose de se concentrer sur des concepts plus opérationnels. L’un des plus importants est celui de “l’IA de remplacement”, une IA capable d’accomplir toutes les tâches économiques qu’un humain peut effectuer. L’arrivée d’un tel système marquerait un point de bascule. Selon l’argument d’Eliezer Yudkowsky, une telle IA pourrait, par définition, automatiser la recherche et le développement en IA, puisqu’il s’agit d’une tâche actuellement réalisée par des humains. Elle pourrait alors enclencher une boucle d’auto-amélioration rapide, un “foom” (ou takeoff), la menant à un niveau de superintelligence où l’humanité perdrait tout contrôle.

La question n’est donc pas tant “quel est le risque ?”, mais plutôt “sommes-nous préparés à gérer une telle transition ?”. La réponse, selon Gabriel, est un non retentissant. “Les politiques ne prennent pas du tout la situation au sérieux,” déplore-t-il. “On galère déjà avec les IA des réseaux sociaux qui sont statiques et non-agentiques. Ma prédiction géopolitique est que l’arrivée d’une IA de remplacement ne rendra pas subitement tous les gouvernements compétents.”

Le Cœur de l’Argument : L’Alignement comme Discipline d’Ingénierie

C’est ici que Gabriel Alfour dévoile sa thèse centrale, un changement de paradigme qui replace le problème de l’IA dans une perspective historique bien plus large. L’alignement, soutient-il, n’est pas un problème spécifique à l’IA. C’est une question d’ingénierie des systèmes intelligents que l’humanité affronte depuis des siècles.

“En tant qu’humains, nous créons des systèmes intelligents depuis très longtemps : les tribunaux, les gouvernements, les marchés, les constitutions…” énumère-t-il. Ces structures ne sont pas de simples algorithmes exécutant des instructions. Ce sont des systèmes complexes auxquels on assigne des objectifs (assurer la justice, garantir le bien-être, allouer les ressources) et qui développent leur propre “intelligence” émergente pour les atteindre. La question a toujours été la même : comment concevoir ces systèmes pour qu’ils œuvrent réellement dans notre intérêt collectif ?

Il prend l’exemple des constitutions nées au siècle des Lumières. Leurs auteurs n’étaient pas seulement des philosophes ; ils étaient des ingénieurs. Ils concevaient un système de gouvernance avec un cahier des charges et des contraintes précises : centraliser le pouvoir pour permettre la coordination, mais le diviser pour éviter la tyrannie ; établir un État de droit juste et équitable. Le tout, avec la contrainte technologique d’une information qui voyageait à la vitesse d’un cheval.

“Avec nos mentalités actuelles, n’importe quelle solution qu’on apporterait [à une constitution mondiale] serait mauvaise,” constate Gabriel. Ce pessimisme révèle une vérité troublante : nous avons perdu cette mentalité d’ingénieur. “On a arrêté de voir ce problème comme relevant de l’ingénierie.” Aujourd’hui, les débats sur les marchés ou les gouvernements sont presque exclusivement moraux (“c’est bien” ou “c’est mal”), partisans et court-termistes. L’idée de concevoir un système en fonction de contraintes et d’objectifs à long terme a disparu du discours public.

Ce travers culturel se répercute directement sur notre approche de l’IA. La “sûreté” de l’IA, telle qu’elle est pratiquée par les grands laboratoires, est souvent superficielle. Elle se concentre sur des problèmes de censure (“l’IA ne doit pas dire de choses offensantes”) plutôt que sur la question fondamentale de l’alignement : comment construire un système dont les objectifs profonds sont en harmonie avec un futur humain prospère ? Nous appliquons des rustines morales sur un problème qui exige une conception architecturale rigoureuse.

Les Impasses des Approches Actuelles

Cette absence de fondation conceptuelle rend les stratégies d’alignement actuelles particulièrement fragiles. L’une des idées les plus en vogue dans la Silicon Valley est celle de “l’alignement évolutif” (scalable alignment) : utiliser les IA d’aujourd’hui pour nous aider à aligner les IA, plus puissantes, de demain.

Pour Gabriel Alfour, ce plan est vicié à la base. “Il suppose qu’on part de modèles déjà alignés pour aligner les suivants, mais cette base n’existe pas,” argumente-t-il. “Au contraire, on a une énorme pile de problèmes d’alignement non résolus qui s’accumulent.” Les modèles actuels sont déjà en proie à des contradictions internes (conflit entre être utile et être honnête, tendance à la flagornerie pour plaire à l’utilisateur, etc.). Essayer de construire un édifice d’alignement sur ces fondations instables revient à bâtir sur du sable.

Une autre approche, plus intuitive, consiste à vouloir créer des IA qui nous “aiment”. L’idée est séduisante, car dans nos relations humaines, l’amour peut être un puissant mécanisme d’alignement des valeurs. Mais c’est une impasse. “L’amour est l’un de ces mots très évocateurs, mais quand on essaie de le rendre opérationnel, c’est très compliqué,” explique-t-il. Nous n’avons aucune compréhension mécanique ou scientifique de l’amour. Vouloir l’implémenter dans une IA, c’est confondre un objectif (des résultats bénéfiques) avec une méthode vague et mal comprise. Une IA qui “veut notre bien” sans une compréhension profonde de ce que cela signifie peut être aussi dangereuse qu’un parent toxique ou un ami maladroit doté d’un pouvoir immense.

Enfin, l’obsession pour “l’ouverture de la boîte noire” via l’interprétabilité, bien qu’intellectuellement fascinante, pourrait être une distraction. Savoir précisément ce que pense chaque neurone d’une IA ne résout pas le problème fondamental de son alignement. Comme le souligne Gabriel, “on peut avoir tous les formulaires qui transitent d’un bureau à l’autre dans une bureaucratie. Ça ne rend pas la tâche d’alignement de la bureaucratie plus simple.”

Que Faire ? Un Appel à l’Action et à la Raison

Face à ce diagnostic sévère, que reste-t-il à faire ? Gabriel Alfour ne prêche pas le défaitisme, mais un réalisme actif. La solution ne viendra pas d’une percée technique miraculeuse, mais d’un effort collectif et pluridisciplinaire.

Au niveau international, la première étape est la prudence. “Éviter le développement de la superintelligence est une bonne idée,” affirme-t-il sans détour. Cela implique de réguler, voire d’interdire, les projets qui sont des précurseurs directs de tels systèmes, comme les entraînements de modèles dépassant certains seuils de calcul.

Au niveau civique, il appelle chacun à s’engager. Cela signifie interagir avec nos institutions, contacter nos élus, et faire remonter le sujet au sein des partis politiques, quel que soit leur bord. Le problème est trop important pour être laissé aux seuls technologues.

Au niveau individuel et communautaire, il encourage à rejoindre des initiatives comme son association Control AI ou le projet MicroCommit.io, qui permettent de contribuer de manière concrète, même avec peu de temps, à un effort de coordination.

Mais son conseil le plus fondamental est peut-être le plus simple, et le plus difficile : “ne pas être un connard.” Dans un débat aussi polarisé, la tentation de l’invective est forte. Pourtant, “insulter ceux qui ne sont pas d’accord n’est jamais productif.” La complexité du défi de l’alignement exige une civilité et une rigueur intellectuelle sans faille. Nous devons réapprendre à dialoguer et à construire ensemble.

En fin de compte, le message de Gabriel Alfour est un puissant rappel à l’ordre. Le défi de l’intelligence artificielle n’est pas seulement technologique ; il est culturel et philosophique. Il nous renvoie à notre propre capacité, en tant que civilisation, à concevoir des systèmes complexes qui nous élèvent au lieu de nous détruire. Avant de pouvoir aligner les machines, nous devons peut-être d’abord retrouver les principes d’ingénierie qui nous permettraient de nous aligner nous-mêmes.

Nous enregistrons nos podcasts avec Riverside: Cliquer sur ce lien pour commencer une période d’essai.

Si vous avez des remarques ou des interrogations à propos de cet épisode, vous êtes bien entendu libres de les poster en commentaires juste en dessous.

On vous souhaite une bonne écoute.