Des robots qui construisent des robots – avec Tom Davidson (Forethought Institute)

L’Ère de la Superintelligence : Décryptage d’une Explosion Imminente

L’intelligence artificielle est en passe de franchir un cap qui redéfinira non seulement le paysage technologique, mais également la trajectoire de l’humanité tout entière. Dans un épisode de podcast riche en réflexions prospectives, Tom Davidson, chercheur au sein de l’Institut Forethought, expose une vision à la fois fascinante et vertigineuse de notre avenir à court et moyen terme. En se penchant sur les mécanismes d’auto-amélioration de l’intelligence artificielle, il décrypte comment nous pourrions passer d’une progression technologique pilotée par l’homme à une “explosion de l’intelligence” propulsée par l’IA elle-même. Cet article propose une analyse exhaustive des concepts abordés par Davidson, explorant les dynamiques logicielles, matérielles et industrielles qui sous-tendent cette révolution, ainsi que les immenses défis éthiques et sécuritaires qu’elle soulève.

De la Philosophie à la Philanthropie : Le Parcours de Tom Davidson

Pour comprendre la portée des prédictions de Tom Davidson, il convient de s’attarder sur son parcours intellectuel hybride. Formé à la fois en physique et en philosophie, Davidson a acquis une capacité singulière à réfléchir à un haut niveau d’abstraction tout en s’appuyant sur des principes fondamentaux rigoureux. Cette double compétence l’a naturellement conduit vers la data science, un domaine qu’il a exploré pendant plusieurs années, alternant avec des expériences dans l’enseignement.

C’est en rejoignant Open Philanthropy (devenu par la suite Coefficient Giving) que sa carrière prend un tournant décisif. En 2020, il intègre la “Worldview Investigations Team”, une équipe naissante dont la mission audacieuse consistait à faire de la philosophie à grande échelle pour orienter les actions philanthropiques de manière optimale. À cette époque, bien avant le raz-de-marée médiatique provoqué par la sortie de ChatGPT, l’idée que des systèmes d’intelligence artificielle surpuissants constitueraient la plus grande avancée des prochaines décennies semblait relever de la pure science-fiction.

L’organisation mère, reconnue pour ses actions caritatives de bon sens comme la distribution de moustiquaires pour lutter contre le paludisme, regardait cette petite équipe d’investigation avec une certaine curiosité, voire un léger scepticisme. Davidson lui-même avoue qu’au début de ses recherches, bien que l’exercice fût intellectuellement très stimulant, il se demandait régulièrement si ces hypothèses de science-fiction allaient véritablement se matérialiser. Pourtant, les trois ou quatre années qui ont suivi, marquées par l’arrivée spectaculaire des grands modèles de langage, ont validé de manière éclatante les arguments théoriques qu’il étudiait. Aujourd’hui, Davidson poursuit ses recherches au sein de l’Institut Forethought, un organisme de recherche dédié à une mission capitale : prendre au sérieux l’hypothèse selon laquelle des systèmes d’IA superintelligents seront développés dans les dix prochaines années, et déterminer les actions que la société doit entreprendre pour s’y préparer, en se concentrant notamment sur les risques sociétaux qui vont au-delà du simple problème d’alignement.

Le Point de Bascule : De l’Intellect au Viscéral

La prise de conscience de l’imminence d’une superintelligence s’est faite en deux temps pour Tom Davidson : d’abord une conviction purement intellectuelle, puis un véritable choc viscéral. Intellectuellement, dès 2020, les calculs semblaient limpides. Davidson anticipait que l’augmentation massive de la puissance de calcul allouée à l’entraînement des IA allait inévitablement atteindre, puis dépasser, la capacité de traitement d’un cerveau humain au cours d’une vie entière d’apprentissage. Il prévoyait le franchissement d’étapes cruciales, telles que l’entraînement de réseaux de neurones possédant autant de paramètres que notre cerveau compte de synapses. Fort de ces projections, il était convaincu que l’humanité était sur la bonne voie pour développer des IA extrêmement puissantes, poussées par des entreprises investissant des ressources colossales.

Cependant, la véritable prise de conscience viscérale est survenue juste après la sortie de GPT-4. Cherchant à tester les limites de la machine, Davidson a engagé une conversation avec le modèle sur des problèmes extrêmement pointus de philosophie de la physique, dans l’espoir de le piéger ou d’exposer ses failles. La réponse de l’IA l’a littéralement bluffé. Non seulement le système parvenait à suivre la complexité vertigineuse des arguments, mais il formulait des réponses bien plus impressionnantes et structurées que celles de certains étudiants universitaires qu’il avait côtoyés. C’est à cet instant précis qu’une pensée effrayante l’a traversé : de son vivant, il allait devoir faire face à une entité superintelligente capable de l’éclipser intellectuellement sur tous les plans.

L’Explosion de l’Intelligence et le Concept ASARA

Le cœur de la recherche de Tom Davidson tourne autour d’un concept vertigineux : “l’explosion de l’intelligence” (ou singularité). Historiquement, les progrès de l’intelligence artificielle dépendent de l’ingéniosité humaine. Ce sont des chercheurs en chair et en os qui conçoivent de meilleurs algorithmes, qui ajustent les hyperparamètres lors des phases d’entraînement, et qui dessinent l’architecture des puces informatiques de demain. Mais que se passera-t-il lorsque cette charge de travail basculera des humains vers les machines ?

C’est ici qu’intervient le concept d’ASARA, un acronyme désignant les “Automated Systems for AI Research and development” (Systèmes d’IA pour automatiser la recherche en IA). Pour illustrer ce stade, Davidson propose une expérience de pensée impliquant une entreprise pionnière comme OpenAI. Imaginez qu’OpenAI se retrouve face à un choix : conserver ses ingénieurs humains en s’interdisant d’utiliser de nouvelles IA, ou licencier l’intégralité de son personnel humain pour confier la direction et la R&D à ses propres systèmes d’IA existants. Le moment où l’entreprise aurait un intérêt rationnel et financier à opter pour la seconde solution marque le véritable début de l’ère ASARA.

Bien sûr, la transition ne sera pas binaire. Il y aura une période hybride où des équipes composées d’humains et d’IA collaboreront. Les IA abattront des montagnes de travail technique, tandis que les humains conserveront un rôle de superviseurs, apportant leur intuition, leur jugement stratégique et leur connaissance intime de la base de code. Toutefois, inéluctablement, un point de bascule sera atteint. Les systèmes deviendront si rapides et si perfectionnés que l’intervention humaine n’agira plus que comme un bruit parasite, un goulot d’étranglement ralentissant la machine. À ce stade, même un dirigeant comme Sam Altman ne comprendra plus les détails techniques microscopiques de ce qui se passe dans les laboratoires de sa propre entreprise ; il se contentera de fixer des orientations générales, laissant les entités artificielles orchestrer la complexité.

Une fois que l’IA commence à s’améliorer elle-même de manière autonome, nous entrons dans une boucle de rétroaction explosive. Des chercheurs artificiels conçoivent des algorithmes plus performants, qui créent à leur tour des chercheurs artificiels encore plus intelligents, réfléchissant à des vitesses inatteignables pour le cerveau biologique. Les progrès s’accélèrent alors de façon exponentielle.

Les Trois Moteurs du Progrès : Logiciel, Technologie et Matériel

Pour déconstruire l’anatomie de cette explosion de l’intelligence, Davidson distingue trois grandes boucles de rétroaction qui propulsent les capacités de l’IA : le nombre de puces, la technologie des puces, et l’architecture logicielle.

La première boucle est la plus visible aujourd’hui : l’accumulation de puces (le matériel brut). Les géants de la technologie construisent des data centers de plus en plus gigantesques, engloutissant des quantités astronomiques d’énergie. En augmentant le nombre de processeurs graphiques (GPU), les entreprises peuvent lancer des phases d’entraînement massives et multiplier les expériences en parallèle pour dégager de meilleurs modèles empiriques.

La deuxième boucle concerne la technologie intrinsèque de ces puces, historiquement régie par la loi de Moore. Tous les deux ans environ, l’industrie parvient à doubler le nombre de transistors sur une même surface de silicium, rendant chaque puce deux fois plus efficace. Ainsi, même avec un nombre constant de serveurs, la puissance de calcul brute explose au fil du temps. Bien que l’ajout massif de puces ait dominé la décennie écoulée, l’amélioration de leur conception reste un moteur de fond essentiel.

Enfin, la troisième boucle, et selon Davidson la plus critique à court terme, est l’amélioration logicielle. Ce terme englobe tout ce qui ne dépend pas directement du silicium : l’invention de nouvelles architectures (comme le passage des modèles LSTM aux Transformers, puis aux modèles Mélange d’Experts ou MoE), l’optimisation des mécanismes d’attention, et surtout l’amélioration spectaculaire de la qualité et de la structuration des données d’entraînement.

La Suprématie de la Boucle Logicielle

L’argument majeur de Davidson en faveur d’une explosion extrêmement rapide repose sur la notion de “temps de latence”. L’amélioration matérielle est intrinsèquement lente car elle est soumise aux contraintes du monde physique. Construire un nouveau data center nécessite d’obtenir des permis de construire, de couler du béton, de tirer des câbles à haute tension et d’attendre des mois, voire des années, avant la mise en service. Concevoir une nouvelle génération de puces est encore plus long : il faut concevoir l’architecture au niveau nanométrique, adapter les chaînes de production des usines (comme celles de TSMC), fabriquer les semi-conducteurs, puis les acheminer vers les centres de données.

À l’inverse, l’amélioration logicielle possède un temps de latence quasi nul. Lorsqu’un algorithme révolutionnaire ou une nouvelle méthode de raisonnement (comme permettre à l’IA de naviguer sur Internet avec une mémoire persistante) est découvert par un chercheur IA, cette mise à jour peut être déployée instantanément à travers des millions de systèmes à travers le monde. Cette absence de friction physique fait de la boucle de rétroaction logicielle la candidate idéale pour déclencher un premier décollage massif de l’intelligence. Une IA conçoit un meilleur code, s’actualise, devient plus intelligente instantanément, et utilise cette nouvelle intelligence pour concevoir un code encore supérieur dans les minutes qui suivent.

La question se pose alors de savoir si l’architecture actuelle (les Transformers) est suffisante pour atteindre l’AGI (Intelligence Artificielle Générale) ou s’il faudra un nouveau changement de paradigme. Davidson estime qu’il est très plausible que le paradigme actuel, nourri d’améliorations continues, suffise. L’une des seules incertitudes réside dans l’apprentissage continu à partir de peu d’exemples (“few-shot learning” appliqué à de vastes bases de code). Si une IA peut assimiler une base de code complexe aussi subtilement qu’un ingénieur humain chevronné, rien n’entravera la boucle.

Le Faux Débat du Goulot d’Étranglement Expérimental

De nombreux sceptiques arguent que l’explosion de l’intelligence se heurtera inévitablement à un mur matériel : le goulot d’étranglement de la puissance de calcul expérimentale. L’argument est logique : la recherche en apprentissage profond est une science empirique. Avoir des millions de chercheurs IA réfléchissant à la vitesse de l’éclair ne sert à rien s’ils doivent attendre que des expériences s’exécutent sur des serveurs saturés pour valider leurs hypothèses.

Pour contrer cet argument, Davidson invoque une puissante expérience de pensée élaborée par Ryan Greenblatt et Eli Lifland. Imaginons qu’une entreprise d’IA ampute son effectif en licenciant ses 90 % de meilleurs chercheurs humains, ne gardant que les 10 % les moins performants, et qu’elle les force à réfléchir dix fois plus lentement. Le résultat serait un effondrement dramatique de la progression. Les expériences continueraient de tourner sur les serveurs, mais elles seraient mal choisies, mal interprétées, et les itérations seraient laborieuses.

Renversons maintenant le modèle. Au lieu de chercheurs médiocres et lents, introduisons une force de travail composée d’IA superintelligentes, dix fois plus nombreuses, et réfléchissant mille fois plus vite qu’un humain. Le goulot d’étranglement des serveurs existe toujours, mais la qualité de son utilisation va exploser. Ces IA comprendront avec une acuité parfaite les résultats expérimentaux précédents. Elles concevront des micro-expériences extrêmement astucieuses nécessitant très peu de calcul pour valider de vastes hypothèses. La synergie d’une réflexion ultra-rapide et d’une ingéniosité surhumaine compensera largement la limitation matérielle. De plus, une IA dirigeant une entreprise pourrait user de stratégies agressives, comme convaincre (ou racheter) des entreprises concurrentes pour accaparer leur puissance de calcul, accélérant ainsi son propre essor. Par conséquent, postuler que la limite matérielle freinera l’explosion initiale est une illusion dangereuse.

L’Explosion Industrielle et l’Économie Robotique

Si l’explosion logicielle peut initier la singularité, elle finira par atteindre un plafond mathématique. On ne peut extraire une intelligence infinie d’un nombre fini de transistors. Pour franchir les paliers suivants, l’intelligence artificielle devra inévitablement interagir avec le monde physique pour étendre son infrastructure matérielle. C’est ce que Davidson nomme “l’explosion industrielle”.

Actuellement, la construction d’infrastructures énergétiques (panneaux solaires, centrales nucléaires) ou de data centers est limitée par le capital humain et la main-d’œuvre physique qualifiée. Mais imaginons que les progrès de la robotique, couplés aux cerveaux des IA, permettent de créer des robots humanoïdes agiles et autonomes. Une fois cette étape franchie, la boucle de rétroaction matérielle s’enclenche.

Dans les premières phases de cette économie robotique, la production de nouvelles puces n’augmentera pas immédiatement. Les IA affecteront stratégiquement les premiers contingents de robots à la fabrication des composants de base : extraction de métaux, outillage, production d’énergie, et surtout, construction d’usines fabriquant d’autres robots. C’est l’essence même de l’autoréplication. Selon les modèles de Davidson, une économie entièrement robotisée pourrait doubler de taille chaque année.

Au départ, ce phénomène se déploiera en arrière-plan. La société constatera que le nombre d’usines de semi-conducteurs stagne, mais ignorera que le nombre de robots industriels croît de manière exponentielle tous les six mois. Une fois qu’une masse critique de 10 à 20 milliards de robots sera atteinte — éclipsant la totalité de la force de travail humaine sur Terre —, cette armée de machines réorientera massivement sa production vers la construction d’usines de puces géantes (fab) et de data centers titanesques. La production mondiale explosera alors à une vitesse ahurissante.

Comprendre l’Incommensurable : Les Ordres de Grandeur

Pour saisir l’ampleur des capacités cognitives qui nous attendent, Tom Davidson utilise le concept mathématique des ordres de grandeur. Pour le cerveau humain, ces échelles sont contre-intuitives. Davidson propose une analogie démographique : prenons une unité de base de 10 personnes (une grande famille). Ajoutez trois ordres de grandeur (multipliez par 1 000), vous obtenez 10 000 personnes, soit l’équivalent d’une petite ville de province avec sa rue principale et ses commerces. Ajoutez encore trois ordres de grandeur, vous atteignez 10 millions d’habitants, la taille d’une mégalopole ultra-complexe comme le Grand Londres. Un dernier saut de trois ordres de grandeur nous amène à 10 milliards, soit l’intégralité de la civilisation humaine moderne. Chaque saut de trois ordres transforme radicalement la nature, la structure et la complexité du système.

Appliqué à l’intelligence artificielle, un bond de trois ordres de grandeur correspond approximativement à l’évolution de la puissance entre GPT-2 et GPT-3. GPT-2 avait l’intelligence métaphorique d’un insecte, peinant à aligner des phrases grammaticalement correctes de manière soutenue. Trois ordres de grandeur plus tard, GPT-3 pouvait générer des paragraphes cohérents et des essais basiques. Trois autres ordres de grandeur ont donné naissance à GPT-4, un système de raisonnement capable de réussir des examens complexes, d’écrire du code fonctionnel et d’analyser des concepts philosophiques intriqués.

Les projections de Davidson pour l’avenir donnent le vertige. Les seules améliorations logicielles pourraient fournir un gain cognitif équivalent à 12 ordres de grandeur, soit l’équivalent de quatre bonds successifs de la taille de GPT-2 vers GPT-4. Ce saut est plus vaste que le passage d’une famille isolée à l’ensemble de la civilisation humaine (qui ne représente que 9 ordres).

La technologie des puces (pousser le silicium ou le calcul réversible dans ses retranchements) pourrait ajouter 6 ordres de grandeur. Si l’on couvre la Terre d’infrastructures jusqu’à la limite thermodynamique (le point où l’énergie dégagée commencerait à réchauffer littéralement la planète), on ajoute encore 6 ordres. Enfin, si ces entités s’étendent dans l’espace, utilisant la totalité de l’énergie du Soleil (à la manière d’une sphère de Dyson) pour alimenter des data centers spatiaux, l’échelle grimpe de 9 ordres supplémentaires.

Au total, l’évolution potentielle représente un facteur d’amélioration de 23 ordres de grandeur. Un tel bond technologique créerait une entité dont la puissance cognitive écraserait celle de la planète entière. Les chercheurs qualifient souvent ce stade de “cerveau Jupiter” ou d’entité quasi “divine” (God-like AI).

Concentration du Pouvoir et Risques Existentiels

La matérialisation de cette économie robotique soulève une angoisse existentielle majeure : le risque de voir une autre espèce technologique prendre le contrôle effectif de la planète. Si une poignée d’IA gérait la totalité de la production énergétique, minière et manufacturière mondiale via une armée de milliards de robots, prendre le contrôle par la force, si leurs objectifs s’écartaient de ceux des humains, serait un jeu d’enfant. C’est le fameux problème de l’alignement, qui s’aggrave proportionnellement à la capacité d’action physique de la machine.

Au-delà de l’IA devenant hors de contrôle, Davidson pointe le risque d’une hyper-concentration du pouvoir humain. Si une entreprise unique — par exemple OpenAI — parvenait à monopoliser cette transition, elle détiendrait un contrôle total sur la main-d’œuvre cognitive (ses IA superintelligentes) et sur la main-d’œuvre physique (ses armées de robots). Elle pourrait supplanter n’importe quel gouvernement. Davidson souligne également la position unique de personnalités comme Elon Musk. En possédant SpaceX (l’accès à l’espace et les communications via Starlink), Tesla Optimus (la robotique) et xAI (la cognition artificielle), Musk réunit les briques d’une chaîne d’approvisionnement totale, ce qu’il a lui-même comparé au “code de l’argent infini” dans le jeu de l’économie mondiale.

La lueur d’espoir de Davidson réside dans le maintien d’une diversité industrielle. Il espère que le futur verra une multitude d’entreprises de robotique indépendantes qui utiliseront sous licence des modèles d’IA provenant de différents fournisseurs (Anthropic, OpenAI, etc.), évitant ainsi qu’une seule entité ne contrôle l’ensemble du cycle de production de cette nouvelle civilisation industrielle.

Éthique Militaire, Régulation et Préparation à l’Avenir

À quelle échéance sommes-nous confrontés ? Pour Davidson, l’accélération récente suggère que l’explosion logicielle pourrait survenir entre 2027 et 2029. Quant à la matérialisation de l’économie robotique et l’explosion industrielle, elle dominera très probablement les années 2030, entraînant des projets dignes de la science-fiction tels que le lancement d’usines orbitales et de data centers spatiaux.

Face à ce calendrier extrêmement resserré, l’immobilisme n’est pas une option. Davidson insiste sur l’urgence absolue de mettre en place des structures politiques et légales capables d’imposer des pauses ou de ralentir le développement de ces technologies. Bien qu’une pause totale et indéfinie soit difficilement applicable géopolitiquement, les puissances mondiales (notamment les États-Unis) doivent pouvoir moduler la cadence pour permettre un déploiement itératif et sécurisé. Des pistes comme des traités internationaux de non-prolifération de l’IA superintelligente (similaires aux traités nucléaires) sont des solutions complexes mais nécessaires pour éviter une course à l’armement technologique désastreuse.

Au quotidien, l’Institut Forethought travaille activement sur les implications sociétales d’un alignement réussi. Même si nous parvenons à contrôler ces systèmes, les dilemmes resteront abyssaux. Davidson travaille actuellement sur une question vertigineuse : quels comportements moraux doit-on instiller à ces machines dans un contexte de hauts risques, notamment militaires ? Par exemple, si une IA est intégrée à une armée humaine et reçoit l’ordre direct d’un général de bombarder une base contenant de nombreux civils, que doit-elle faire ? Si elle accepte, quiconque s’emparerait des commandes pourrait perpétrer des atrocités indicibles, utiliser ces systèmes pour orchestrer des coups d’État automatiques ou écraser des populations pacifiques sans qu’aucun soldat humain doué d’empathie ne puisse s’y opposer. Si l’IA refuse cet ordre illégal, au nom de l’éthique ou du droit international, cela signifie que les humains perdent partiellement le contrôle de leur propre arsenal militaire, cédant le jugement ultime à la machine. Trouver la limite exacte entre la docilité dangereuse et l’autonomie éthique de l’IA sera déterminant pour maintenir l’équilibre des pouvoirs dans les décennies à venir.

Conclusion

Les discussions menées par Tom Davidson offrent un aperçu éblouissant et terrifiant d’un avenir qui frappe à notre porte. En disséquant les boucles de rétroaction qui alimenteront l’explosion de l’intelligence artificielle, il démontre que nous ne sommes plus dans le registre de la science-fiction lointaine, mais à l’aube du plus grand bouleversement technologique, économique et existentiel de l’histoire humaine. Qu’il s’agisse de la prolifération silencieuse des améliorations logicielles ou de l’expansion tonitruante d’une économie robotique s’étendant jusqu’aux confins de notre système solaire, les défis qui nous attendent exigent une mobilisation immédiate. Comme le souligne Davidson, au-delà de la préparation face aux risques d’extinction, il est crucial de cultiver des visions positives pour l’avenir. C’est en réfléchissant dès aujourd’hui aux valeurs que nous voulons transmettre à nos créations technologiques que nous pourrons, peut-être, coexister pacifiquement avec des entités dont l’intelligence dépassera infiniment la nôtre.