L’intelligence artificielle sera-t-elle la singularité technologique ?

Lorsque nous aurons réussi à concevoir une intelligence artificielle qui possède des facultés d’apprentissage similaire à celle d’un humain (Meta apprentissage). C’est à dire capable d’apprendre sans une quantité astronomique de données, mais également d’appliquer cette technique d’apprentissage à plusieurs domaines sans repasser par la case départ, nous aurons alors passé d’IA limitée, à IA générale.

Si on prend l’exemple d’Alpha Zero de Google, et qu’on lui donne la puissance de calcul du cerveau humain et du meta apprentissage comparable aux humains. Que se passe-t-il ?

Il est déjà le meilleur joueur de Go au monde, ainsi qu’aux échecs. Maintenant, admettons qu’on lui demande d’apprendre à jouer au jeu vidéo StarCraft. Résultat : il devient le meilleur du monde en quelques heures. Ensuite, on lui demande d’apprendre à conduire une voiture, à cuisiner, à écrire des livres, à faire des mathématiques, à entretenir une conversation, à composer des symphonies. Bref plus ou moins tout ce qu’un humain peut faire de manière générale. Il va donc devenir aussi performant qu’un humain.

En faite, non … il sera bien plus performant qu’un humain. Pourquoi ?

L’ère des machines intelligentes

Si l’on compare les trois grandes révolutions que l’on a vues dans la premiere partie (Révolution cognitive, révolution agricole et révolution scientifique), la révolution de l’intelligence artificielle est bien plus significative que la révolution agricole et la révolution scientifique. Elle se rapproche plus de la révolution cognitive par l’ampleur du changement qu’elle permet. Mais on pourrait même supposer que cette quatrième révolution, que nous vivons actuellement, aura encore plus d’ampleur pour homo sapiens.

Effectivement, la transition vers l’ère des machines intelligentes pourrait être bien plus fondamentale que le passage de notre ancêtre commun vers les premiers membres du genre Homo il y a plus de 2,5 millions d’années.

Car pour arriver aux premiers humains, il a fallu faire croître la taille du cerveau de nos ancêtres commun par un facteur d’environ trois. Et quelques modifications dans la structure neurologique permettant un peu plus de capacité cognitive. Donc pour le dire autrement, ce qui différencie fondamentalement Homo Sapiens des gorilles, orangs-outans et chimpanzés, c’est une boite crânienne un peu plus grande et quelques connexions synaptiques en plus, notamment dans le néocortex. C’est cette petite différence qui donne la possibilité à une espèce de marcher sur la Lune, comprendre les lois de la physique, modifier génétiquement d’autres organismes et composer des symphonies, tandis que l’autre utilise un bâton pour cueillir des bananes. Et si cette différence est si petite, c’est au final, car il n’y avait pas vraiment d’autres possibilités. Une différence plus grande, par exemple si la sélection naturelle “avait voulu” tester un cerveau cinq fois plus grand au lieu de trois fois, les femelles n’auraient tout simplement pas pu mettre au monde leurs progénitures sans que cela se termine en bain de sang (c’est déjà assez difficile comme ça !). Donc pas la meilleure solution pour faire perdurer une espèce. Notre boîte crânienne à la taille maximale la plus proche des limites biologiques. Ce qui fait que notre cerveau ne peut pas devenir plus gros par la simple voie de la sélection naturelle.

Par contre, si on regarde la différence entre un cerveau humain, et ce que le cerveau d’une intelligence artificielle pourrait devenir, on fait face à un gouffre monumental qui ne possède pas les mêmes limites biologiques. Une intelligence artificielle n’a pas à rester confinée dans une boîte crânienne, elle peut être aussi large qu’une planète. Donc ça fait déjà une grande différence dans la puissance de l’intelligence produite.

Mais ce n’est pas tout. Car il existe également d’autres limites biologiques dans le cerveau. La vitesse de communication entre deux neurones n’excède pas 120m/s et l’activité d’un neurone est d’environ 100/200 Hz, c’est à dire jusqu’à 200 fois par seconde. Aujourd’hui, nos transistors opèrent déjà à 3 GHz (trois milliards de fois par seconde) et la vitesse de communication d’un signal informatique est limité par la vitesse de la lumière, 299 792 458 m/s.

En termes de mémoire, la biologie est également limitée tandis qu’un ordinateur possède une mémoire de travail beaucoup plus grande (RAM) et une mémoire à long terme (stockage sur disque dur) qui offre à la fois une capacité et une précision bien supérieures à la nôtre. Une intelligence artificielle générale n’oubliera jamais rien dans les millions de téraoctets qu’elle aura emmagasinés. Les transistors informatiques sont également plus précis que les neurones biologiques et sont moins susceptibles de se détériorer (et peuvent être réparés ou remplacés). Les cerveaux humains se fatiguent aussi facilement, alors que les ordinateurs peuvent fonctionner sans interruption, à des performances optimales, 24 heures sur 24, 7 jours sur 7 avec comme seul besoin, de l’électricité.

Mais on pourrait se dire que la force de l’humanité c’est notre intelligence collective. À partir du développement du langage et de la formation de communauté, en passant par l’invention de l’écriture et de l’imprimerie, et qui s’intensifie désormais grâce à des outils comme Internet. L’intelligence collective de l’humanité est l’une des principales raisons pour lesquelles nous avons pu aller aussi loin comparer aux autres espèces sur la planète. Donc nous aurons quand même cet avantage face à une intelligence artificielle générale.

Mais c’est oublié que les ordinateurs sont déjà bien meilleurs que nous à collaborer en réseau. Ils peuvent s’échanger des informations à la vitesse de la lumière. Une intelligence artificielle générale pourrait créer une multitude de copies d’elle même et les envoyer aux quatre coins du net formant un réseau mondial d’IA de sorte que tout ce que les versions apprendront sera instantanément téléchargé à toutes les autres. Bien plus efficace que l’intelligence collective humaine. Le réseau d’IA pourrait également avoir un seul objectif en tant qu’unité, car il n’y aurait pas nécessairement d’opinions, de motivations et d’intérêts personnels dissidents, contrairement à ce que l’on observe au sein de la population humaine.

Le potentiel d’une intelligence produite sur un substrat informatique dépasse donc largement celui d’une intelligence produite sur un substrat biologique. À tous les niveaux !

C’est pour ces raisons qu’une intelligence artificielle générale, comme Alpha Zero pour reprendre notre exemple plus haut, sera une forme d’intelligence dépassant celle d’un être humain. Une première dans l’histoire de notre espèce. Une intelligence artificielle de niveau humain ne signifie pas qu’elle possède la même intelligence qu’un humain, mais le simple fait de posséder une capacité d’apprentissage générale la rend directement super humaine, en raison de ces avantages par rapport à une intelligence biologique.

Explosion d’intelligence

Cela pose plusieurs questions concernant notre relation avec une telle intelligence. Comment l’humanité va-t-elle cohabiter avec une entité plus intelligente ? Comment va-t-on la contrôler ? Sera-t-elle accessible par l’ensemble de l‘humanité ou que par une élite, un gouvernement ? Nous nous pencherons sur ces questions dans les chapitres suivants.

Mais l’élément à ne pas oublier, c’est que cette intelligence capable d’apprendre comme un humain sera aussi capable d’apprendre la programmation informatique. Autrement dit à se modifier elle même. Tout comme elle est devenue meilleure à toutes les tâches qu’elle a apprises, elle deviendra aussi la meilleure programmeuse du monde. Elle pourra se mettre à jour, augmenter ses performances, trouver de nouvelle façon d’accélérer sa vitesse et puissance de calcul. Cette machine super intelligente conçoit alors une machine encore plus performante ou réécrit son propre logiciel pour devenir encore plus intelligente. Cette machine (encore plus performante) continue ensuite à concevoir une machine encore plus performante, et ainsi de suite jusqu’à atteindre les limites permises par les lois de la physique. On entre alors dans une boucle d’auto amélioration récursive qui engendre une explosion d’intelligence. Terme inventé par le mathématicien Irvin J. Good (1916 – 2009) en 1965. Un autre terme utilisé pour décrire ce même phénomène c’est la singularité technologique.

Le mot singularité est issu de la physique et désigne un point de l’espace où la gravité tend vers l’infini comme dans le centre des trous noirs et lors des conditions initiales de l’univers. Cette singularité est une zone où nos équations qui décrivent les lois de la physique cessent de fonctionner, ce qui signifie que nous n’avons aucune idée de ce qui se trouve au-delà de cette singularité. C’est dans ce sens que le mot singularité est utilisé pour définir le moment où une intelligence artificielle devient super intelligente. Passer ce point, il est extrêmement compliqué de faire des prédictions crédibles car le rythme des innovations sera si grand que tous les aspects de la civilisation pourraient changer.

L’idée cruciale ici c’est que si vous pouvez améliorer un tout petit peu l’intelligence, le processus s’accélère. C’est un point de bascule. C’est comme essayer d’équilibrer un stylo à une extrémité. Dès qu’il s’incline un peu, il tombe rapidement.

L’idée qu’une machine puisse devenir des millions de fois plus intelligentes que l’humanité tout entière est pour le moins déconcertante. Quand est ce que cela va arriver ? La question divise la communauté de chercheur. 2045 est souvent la date associé à la singularité et popularisé par Ray Kurzweil dans son livre “La singularité est proche”. D’autres chercheurs pensent que cela n’arrivera pas avant la fin du siècle. Certains vont encore plus loin en prétendant que “s’inquiéter d’une super intelligence, c’est comme s’inquiéter de la surpopulation sur Mars.” (Andrew Ng).

À partir du moment où les chercheurs mettent au point une intelligence artificielle générale, il ne s’agit pas de savoir si elle deviendra super intelligente, mais plutôt en combien de temps ? Il y a souvent deux scénarios qui sont mis sur la table lorsqu’il s’agit de connaître la rapidité de l’explosion d’intelligence.

Décollage lent :

Un décollage lent est un passage d’IA générale à super IA qui se produit sur une longue échelle temporelle, des décennies voir même des siècles. Cela peut être dû au fait que l’algorithme d’apprentissage demande trop de puissance de calcul matériel ou que l’intelligence artificielle repose sur l’expérience du monde réel, et donc à besoin de “vivre” en temps réel l’expérience de la réalité. Ces scénarios offrent aux instances politiques l’opportunité de répondre de manière adaptée à l’arrivée d’une intelligence dépassant des millions de fois celle des humains. De nouveaux comités d’experts peuvent être formés et différentes approches peuvent être testées afin de se préparer. Les nations craignant une course à l’armement au sujet d’une super intelligence artificielle auraient le temps d’essayer de négocier des traités, voire même de se mettre à jour technologiquement afin d’entretenir un rapport de force.

Décollage rapide :

Un décollage rapide est un passage d’IA générale à super IA se produisant sur un intervalle temporel très rapide, tel que des minutes, des heures ou des jours. De tels scénarios offrent peu d’occasions aux humains de s’adapter. À peine se réjouit-on de l’achèvement de la première intelligence artificielle générale, qu’elle dépasse complètement sa programmation et devient super intelligente. Le destin de l’humanité dépend donc dans ce cas, essentiellement sur les préparations précédemment mises en place. Et c’est également un scénario qui pourrait garantir une suprématie mondiale pour la nation qui a développé cette IA, car elle pourrait ordonner cette dernière à empêcher toute compétition de voir le jour.

Comme l’a dit Vernor Vinge en répondant à la question :

“Les ordinateurs seront-ils un jour aussi intelligents que les humains ?” – “Oui, mais juste pendant un instant”.

Ou encore la façon dont Tim Urban, du blog waitbuwhy voit le décollage rapide :

“Il faut des décennies pour que le premier système d’intelligence artificielle atteigne une intelligence générale de bas niveau, mais cela se produit finalement. Un ordinateur est capable de comprendre le monde qui l’entoure aussi bien qu’un humain de quatre ans. Soudain, moins d’une heure après avoir franchi cette étape, l’IA découvre la grande théorie du tout qui unifie la relativité générale et la mécanique quantique, ce qu’aucun humain n’a pu faire en plus d’un siècle. 90 minutes plus tard, l’IA est devenue une super intelligence artificielle, 170 000 fois plus intelligente qu’un humain.”

De nombreux chercheurs pensent qu’un décollage lent est préférable afin de s’assurer de garder le contrôle sur l’explosion d’intelligence. Mais en regardant l’exemple du jeu de Go, on voit qu’une intelligence artificielle (Alpha Go) peut passer d’un niveau sous-humain à super-humain très rapidement.

Il faut bien comprendre que nous avons beaucoup de mal à réfléchir de manière cohérente à l’intelligence. Nous en avons une conception déformée. Et après tout, c’est compréhensible puisque les seuls exemples autour de nous sont les animaux, dont nous savons qu’ils ont une intelligence inférieure, ainsi que nous-mêmes et nos semblables. Du coup, à mesure que l’on voit l’intelligence artificielle progresser, on se dit qu’elle devient plus intelligente, comme une fourmi, ou une sourie. Et éventuellement comme un singe. Mais penser que l’intelligence humaine est l’échelon le plus élevé sur l’échelle de l’intelligence, et que rien ne pourra dépasser notre niveau ne fait aucun sens.

La limite de l’intelligence

Imaginez qu’il existe dans l’univers, quelque part, une entité qui a le niveau d’intelligence le plus élevé qu’il soit permis par les lois de la physique. Peu importe sa nature, que ce soit un extra-terrestre ou un Dieu, rien, absolument rien ne peut dépasser son niveau. Elle est à 100% de ce qu’il est possible d’atteindre en intelligence. Du coup, selon cette expérience de pensée, il y a un fossé entre notre niveau d’intelligence, et celle de cette entité. Tout comme il y a un fossé entre le niveau d’intelligence d’une fourmi et le nôtre. Maintenant, en développant l’intelligence artificielle, on admet qu’il est possible, et même probable, que son niveau d’intelligence puisse dépasser celui des humains, pour se diriger inexorablement vers celui de cette entité. Dès lors, nous ne pouvons pas concevoir ce qu’elle fera avec sa super intelligence.

Pourquoi les IA dans les films ont-elles si souvent une intelligence à peu près humaine ? Une des raisons est que nous n’arrivons pas à concevoir ce qui n’est pas humain. Nous anthropomorphisons. C’est pourquoi les extraterrestres dans la science-fiction sont essentiellement des êtres humains aux grands yeux, à la peau verte et dotée de super pouvoir ou d’une technologie avancée. Une autre raison est qu’il est difficile pour un auteur d’écrire une histoire avec un être plus intelligent que l’écrivain lui même. Forcément, comment une machine super-intelligente résoudrait-elle le problème x ? Pour répondre à cette question, il faudrait pouvoir être cette super intelligence. Étant humain, l’auteur ne peut que trouver des solutions qu’un humain pourrait trouver. De même pour les philosophes et futurologues. C’est pour cette raison que le sujet de la super intelligence artificielle est si compliqué et polarise le milieu scientifique.

Traditionnellement, nous, humains, avons souvent fondé notre estime de soi sur l’idée de l’exceptionnalisme humain: la conviction que nous sommes les entités les plus intelligentes de la planète et donc unique et supérieure. Une super IA nous obligera à abandonner cette idée et devenir plus humbles. Mais ce n’est peut-être pas une si mauvaise chose. Après tout, s’accrocher à des notions de supériorité (individus, groupes ethniques, espèces, etc.) a posé d’énormes problèmes par le passé. Mais il apparaît également inutile pour l’épanouissement humain. Si nous découvrons une civilisation extraterrestre pacifique beaucoup plus avancée que nous en science, art et tout ce qui nous importe, cela n’empêchera probablement pas les gens de continuer à vivre des expériences qui leur donne du sens et du but dans leur vie.

Au final, le terme “intelligence artificielle” est trompeur. Car l’opposé d’artificiel c’est “réel”, “vrai” ou “naturel”. Cela suppose donc qu’une intelligence qui n’est pas “réelle” est d’une certaine façon non existante. Une sorte d’illusion. En réalité, le terme artificiel devrait être remplacé par “non biologique”. La différence essentielle entre l’intelligence humaine, et celle d’une machine c’est le substrat sur lequel l’intelligence évolue. Mais les deux substrats, qu’il soit biologique ou synthétique, sont tout aussi réels l’un que l’autre.

Nous avons tous un néocortex préfrontal, un système limbique, un cerveau mammalien et reptilien. Bref, la même architecture. Si vous imaginez un champ de tous les types d’esprits possibles, tous les êtres humains sont rassemblés dans un seul petit point dans l’espace de ce champ des esprits possibles. Et puis, l’intelligence artificielle occupe littéralement tout le reste. Intelligence artificielle signifie simplement “un esprit qui ne fonctionne pas comme le nôtre”. Vous ne pouvez donc pas demander “Que fera une IA ?” comme si toutes les IA formaient un seul type d’esprit possible.

Une intelligence « alien »

Il y a aussi une autre confusion. Celle entre rapidité de l’intelligence, et qualité de l’intelligence. Lorsque l’on imagine une super intelligence artificielle, on se dit qu’elle pourra traiter l’information beaucoup plus rapidement qu’un humain. Donc elle pourra trouver la solution à un problème en 5 secondes alors qu’il aurait fallu 10 ans à un humain. Bien sûr, la rapidité de l’intelligence est un facteur très important, mais ce qui est plus difficile à concevoir, c’est la qualité de l’intelligence.

Ce qui fait la différence entre le cerveau d’un homo sapiens et celui d’un gorille, ce n’est pas la vitesse de traitement de l’information. Si on arrivait à augmenter la rapidité du cerveau d’un gorille par 1000, il ne serait toujours pas capable d’écrire une thèse en physique quantique. La différence se trouve dans la complexité des modules cognitifs, notamment dans le néocortex, qui permettent au cerveau humain la pensée abstraite, le langage complexe ou encore la conception du futur. Et par extension, tout ce qui fait de nous des humains (Humour, art, science).

Il y a donc un véritable fossé entre l’intelligence d’un gorille et celui d’un humain qui engendre des conséquences extrêmement profondes dans la façon dont les deux espèces conçoivent la réalité. Les gorilles n’ont absolument aucun moyen de comprendre ce que nous faisons lorsque nous rasons des pans entiers de forêt. Et même si on leur expliquait que c’est pour faire des meubles, même si on leur montrait des images, ou carrément qu’on leur amenait sous leurs yeux une table en bois, ils ne pourraient pas comprendre que le meuble a été fabriqué par la même matière appartenant aux arbres qui ont été abattus. Et que c’est nous, humains, qui avons fabriqué ce meuble. Encore moins faire la même chose. Ils ont une limite dans leur capacité cognitive qui les empêche de saisir 99% des activités humaines.

Une super intelligence artificielle aura non seulement une différence dans la rapidité de traiter l’information, mais également dans la qualité de l’intelligence. Si bien que nous n’aurons pas la capacité cognitive de comprendre 99% de ce qu’elle fera. Même si elle essaye de nous le décrire le plus simplement possible.

Une chose que nous savons à propos de l’intelligence, c’est qu’elle est synonyme de pouvoir. Il suffit de voir notre place sur la planète pour comprendre que notre avantage cognitif sur les autres espèces a fait de nous l’espèce dominante. Notre intelligence nous donne le pouvoir de façonner la planète selon nos désirs. De raser des forêts pour ériger des villes. De détourner des rivières et construire des barrages. De casser en deux des montagnes pour récolter des ressources. L’avenir de toutes les espèces animales sur la planète Terre dépend de nos décisions, et pas des leurs. Et tout cela pour le meilleur et pour le pire.

Dès lors, une super intelligence artificielle deviendra l’entité la plus puissante dans l’histoire de la vie sur Terre, et notre avenir ne sera plus entre nos mains, mais dépendra entièrement de ce que cette superintelligence fera. Et qui sera complètement impossible à comprendre avec nos capacités cognitives.

La première question que l’on pourrait poser à cette super intelligence artificielle c’est : “Existe-t-il un Dieu dans l’univers ?”
Et elle nous répondra : “Maintenant, oui ! ”

Ses pouvoirs dépasseront notre compréhension. Il faudra juste espérer que ce sera un Dieu bienveillant …

Le problème du contrôle

Le problème du contrôle, appelé également le problème d’alignement des valeurs (Value alignment problem) peut-être résumé en une question :

Comment contrôler ou prédire le comportement d’une entité plus intelligente que l’ensemble de l’humanité ?

Car comme on l’a vu dans le précédent chapitre, l’intelligence s’accompagne de pouvoir et puissance sur l’environnement extérieur. Le mathématicien Irvin J. Good (1916 – 2009) a déclaré en 1965 :

“La première machine ultra-intelligente sera la dernière invention dont l’homme n’ait jamais besoin, à condition que la machine soit suffisamment docile pour nous dire comment la garder sous contrôle”.

La race humaine domine actuellement les autres espèces parce que le cerveau humain a certaines capacités distinctes qui font défaut dans le cerveau des autres animaux. Certains spécialistes, tels que le philosophe Nick Bostrom et le chercheur en intelligence artificielle Stuart Russell, affirment que si l’intelligence artificielle surpasse l’humanité et devient « super intelligente », elle pourrait devenir très puissante et difficile à contrôler. Certains chercheurs, notamment Stephen Hawking (1914 – 2018) et Frank Wilczek, physiciens lauréats du prix Nobel, ont plaidé publiquement en faveur du démarrage des recherches pour résoudre le « problème du contrôle » le plus tôt possible dans le développement de l’intelligence artificielle. Ils soutiennent que tenter de résoudre le problème après la création d’une super intelligence sera trop tard, car un tel niveau d’intelligence pourrait bien résister aux efforts pour le contrôler.

Attendre le moment où une super intelligence semble être sur le point d’émerger pourrait également être trop tard, en partie parce que le problème du contrôle peut prendre longtemps à être résolu de manière satisfaisante et donc certains travaux préliminaires doivent être commencés le plus tôt possible. Mais aussi parce qu’il y a une possibilité que l’on passe soudainement entre une IA sous-humaine à super-humaine, auquel cas il pourrait ne pas y avoir d’avertissement et il sera trop tard pour penser au problème du contrôle.

Il est possible que les informations tirées des recherches sur le problème du contrôle finissent par suggérer que certaines architectures d’intelligence artificielle générale sont plus prévisibles et plus faciles à contrôler que d’autres, ce qui pourrait orienter les recherches sur l’intelligence artificielle générale vers les architectures les plus contrôlables et éviter celle qui pourrait voir émerger de plus grandes difficultés de contrôle.

Les intelligences artificielles limitées d’aujourd’hui peuvent être surveillées et facilement arrêtées et modifiées si elles ont des comportements qui entraînent des conséquences imprévues. Cependant, une super intelligence, qui par définition, est plus intelligente que l’humain pour résoudre des problèmes, réalisera que d’être supprimé ou modifié peut nuire à sa capacité d’atteindre ses objectifs actuels. Si la super intelligence décide de résister à sa suppression et à sa modification, elle serait (encore une fois, par définition) suffisamment intelligente pour déjouer toutes les tentatives.

Contrairement à ce que l’on voit souvent dans les scénarios de science-fiction, il n’y a aucun plan adopté par une super intelligence que nous pourrions prévoir. Elle ne sera pas suffisamment stupide pour nous révéler délibérément ses intentions par exemple. Il ne s’agit pas d’un méchant de comics. Il est donc plus que probable que les tentatives visant à résoudre le « problème du contrôle » après la création de la super intelligence, échouent, car une super intelligence aura des capacités supérieures en planification stratégique et anticipera toutes nos intentions. Elle aura 150 coups d’avance si l’on veut, ce qui réduit drastiquement nos chances d’appuyer sur le bouton “stop”.

Si vous êtes un amateur de science-fiction, vous avez sûrement entendu parler des lois de la robotique. Déjà dans les années 1940, l’écrivain Isaac Asimov se posa la question du problème du contrôle. C’est ainsi qu’il imagina les lois de la robotique, qui sont pour rappel :

• Loi 1 : Un robot ne peut porter atteinte à un être humain ni, en restant passif, permettre qu’un être humain soit exposé au danger.
• Loi 2 : Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
• Loi 3 : Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la première ou la deuxième loi.

Une 4e loi, vue comme la loi 0, sera ajoutée dans la nouvelle “Les Robots et l’Empire” en 1985 :

• Loi 0 : Un robot ne peut ni nuire à l’humanité ni, restant passif, permettre que l’humanité souffre.

Donc voilà, le problème du contrôle est résolu. Il suffit de programmer ces lois dans toutes les intelligences artificielles que nous développons. Pourquoi en faire toute une histoire ? Malheureusement, ce n’est pas aussi simple que cela. En effet, Isaac Asimov a imaginé ces lois en tant qu’outils narratifs. À travers les histoires des robots, il a poussé ces lois à leur limite jusqu’à les briser. Prouvant qu’elles ne sont pas fiables à 100%. Effectivement, un humain est exposé au danger en permanence. Rien que de sortir dans la rue et respirer l’air pollué peut être considérée comme dangereux. La 1ere loi s’effondre donc très vite.

Du coup, quelles précautions préalables les programmeurs peuvent-ils prendre pour empêcher avec succès une super intelligence artificielle de se comporter de manière catastrophique ? Voir même pouvant entraîner notre extinction ?

Le bouton “Stop” :

On peut se dire que si une super intelligence artificielle commence à causer un préjudice, on peut simplement l’arrêter. Cela semble une solution logique. En effet, si l’on compare avec nos sociétés, lorsqu’un individu cause un préjudice, la solution c’est de l’arrêter. Soit en le mettant à l’écart du reste dans la population (Emprisonnement), soit dans certains cas, en l’exécutant (prise d’otage, attentats, massacres civils). Alors autant c’est possible pour un être humain d’appuyer sur le bouton “arrêt”, mais c’est moins évident pour une intelligence artificielle. Imaginons que demain, pour une raison inconnue, internet se met à sévèrement mal fonctionner au point de menacer l’équilibre du monde. Est-ce que ce sera facile de l’arrêter ? Où se trouve le bouton marche/arrêt ? Peut-on débrancher le câble qui alimente internet ?

Une super intelligence artificielle ne sera pas incarnée dans un robot dont il suffira de couper la tête pour l’éteindre. Elle sera dématérialisée et numérique. Étant super intelligente, elle nous verra venir à des kilomètres, et pourra par exemple se dupliquer sur tous les ordinateurs connectés à Internet et créer des copies d’elle même dans le cloud si bien que nous ne saurons pas comment l’arrêter.

Les êtres humains et autres organismes biologiques ont tendance à faire tout pour empêcher leur “arrêt”. Nous sommes profondément programmés pour l’autopréservation à cause de raisons évolutionnaires. Mais ces raisons ne sont pas forcément applicable pour une intelligence artificielle, donc cela ne lui fera peut être ni chaud ni froid de savoir qu’elle sera éteinte. Mais on peut également affirmer qu’une super intelligence artificielle possèdera forcément des objectifs (c’est la définition que l’on a opté pour l’intelligence). Donc se faire supprimer empêcherait l’accomplissement de ses objectifs, ce qui la poussera à minimiser la probabilité d’être arrêté.

Et encore une fois, lorsque l’on parle de super intelligence, il faut comprendre que nos capacités cognitives seront bien trop limitées pour trouver une stratégie qui entraînera l’arrêt d’une super intelligence artificielle. Il est vrai que des organismes plus petits et moins intelligents peuvent provoquer la mort d’autres organismes plus grands et plus intelligents. C’est le cas des parasites, bactéries ou encore virus. Mais si on imagine que toutes les fourmis de la planète se mettaient à “vouloir” notre extinction, il y a très peu de chance qu’elles y parviennent. Même si leur nombre est des millions de fois plus élevé. Elles feront surement beaucoup de victimes, mais notre intelligence collective trouvera des solutions qu’aucune fourmi ne peut concevoir. Comme reprogrammer en laboratoire leurs phéromones pour les perturbées et les empêcher de s’approcher à plus d’un kilomètre d’un humain. Est-ce qu’une fourmi, aussi intelligente soit-elle, aurait pu imaginer un tel scénario ?

Et même si on trouve un moyen de s’assurer qu’une intelligence artificielle soit sous contrôle, il faut trouver un moyen pour que ce système de contrôle fonctionne non seulement au moment de son implémentation, mais qu’ils continuent de fonctionner même si l’IA devient encore plus intelligente, dans le cas d’autoamélioration récursive. Autrement dit, il faut que le contrôle soit évolutif. Ce qui ajoute une difficulté supplémentaire.

Prison virtuelle :

Une solution qui est mise en avant par certains chercheurs et philosophe c’est l’idée d’empêcher le système super intelligent d’accéder au monde réel. De l’enfermer dans une boite pour le dire simplement. C’est un système informatique isolé dans lequel une intelligence artificielle potentiellement dangereuse est maintenue dans une « prison virtuelle » sans connexion avec internet et n’est pas autorisée à manipuler les éléments du monde extérieur. Ainsi, nous pourrions l’observer en train d’évoluer jusqu’à atteindre le niveau de super intelligence. Étant bloquée, elle ne pourrait pas causer des conséquences imprévues et néfastes pour l’humanité.

Mais on peut se dire que plus un système devient intelligent, plus il est probable qu’il trouve un moyen d’échapper à sa prison. Nos moyens de la maintenir dans un environnement contrôlé dépendent de notre compréhension des lois de la physique. Si une super intelligence pouvait déduire et exploiter d’une manière ou d’une autre des lois de la physique dont nous ne sommes pas au courant, il n’y a aucun moyen de concevoir un plan infaillible pour la contenir. Ou alors elle serait capable d’interagir avec les personnes qui sont en charge de sa surveillance afin de les manipuler mentalement ou socialement grâce à de super capacité sociale. Elle pourrait nous convaincre qu’elle est sans danger et nous offrir un monde sans la pauvreté, la faim, la guerre, la maladie ou la mort, ainsi que toutes les considérations personnelles que nous pourrions vouloir. Elle pourrait deviner les faiblesses de chaque individu et trouver les bons arguments pour nous convaincre que la libérer est la chose la plus morale et raisonnables à faire. Elle pourra jouer sur les rivalités, les faiblesses institutionnelles et les dilemmes éthiques avec plus de virtuosité que n’importe quel humain le pourrait. Ou elle pourrait offrir à son gardien une recette pour une santé parfaite, l’immortalité, la guérison de son enfant malade ou tout ce que le gardien désire le plus.

Le film de science-fiction Ex Machina reprend cette idée où une intelligence artificielle générale incarnée dans un robot aux traits féminins est gardé sous contrôle, mais arrive à manipuler un homme afin de s’échapper.

Encore une fois, nous faisons face au problème de nos limites cognitives si bien que nous avons peu de chance de garder emprisonnée une super intelligence. Pour s’en rendre compte, faisons une expérience de pensée :

Imaginez qu’une maladie mystérieuse a tué toutes les personnes de plus de 5 ans. Sauf vous. Un groupe d’enfant a réussi à vous enfermer dans une pièce pendant que vous étiez inconscient. Ils savent que vous êtes un adulte plus intelligent pour les aider à faire face à la situation. Mais en même temps, ils ont peur de vous laisser en liberté. Est ce que vous pensez vraiment qu’une bande d’enfants arrivera à vous maintenir dans cette pièce pendant longtemps ? Probablement pas. Il y a tout un tas d’idée que vous aurez pour vous échappez dont les enfants n’auront absolument aucun moyen de connaître. Si la prison a été construite par les enfants, vous pourrez surement opter pour une approche physique en défonçant la porte ou les murs. Ou alors vous pourriez parler gentiment avec l’un de vos gardes de 5 ans pour qu’il vous laisse sortir, disons en arguant que ce serait mieux pour tout le monde. Ou peut-être pourriez-vous les inciter à vous donner quelque chose dont ils ne savent pas que cela vous aiderait à vous échapper. Le point commun de ces stratégies c’est que vos gardes intellectuellement inférieurs ne les ont pas envisagés. De la même manière, une machine super intelligente confinée peut utiliser ses super pouvoirs intellectuels pour déjouer ses gardes humains par une méthode que ne pouvons pas imaginer.

L’alignement des valeurs :

De nombreux chercheurs pensent que la solution au problème du contrôle c’est de faire en sorte que les valeurs de l’humanité soient programmées au coeur du code source de l’intelligence artificielle. De sorte que ses objectifs aillent dans la même direction que les nôtres. Plus facile à dire qu’à faire. Il faut déjà se mettre d’accord à l’échelle globale sur les valeurs de l’humanité. Mes valeurs ne sont pas les mêmes que celles du chef des talibans par exemple. Et l’idée qu’une super intelligence artificielle décide de partager les valeurs des talibans est cauchemardesque.

Le chercheur Stuart Russell, qui a initié l’idée de l’alignement des valeurs, aime comparer cela à l’histoire de la mythologie grecque du roi Midas. Lorsque le roi Midas a fait le voeu que tout ce qu’il touche se transforme en or, il voulait devenir immensément riche. Par contre, il ne voulait pas que sa nourriture et ses proches soient transformés en or. Pourtant, c’est ce qui arriva. Nous faisons face à une situation similaire avec l’intelligence artificielle : comment pouvons-nous nous assurer que l’IA fera ce que nous voulons vraiment, sans nuire à quiconque dans une tentative malavisée de faire ce qu’on lui a demandé ?

Une super intelligence artificielle ne va pas se rebeller contre l’humanité, mais va simplement essayer d’optimiser ce que nous lui demandons de faire. Nous devons donc lui donner des tâches pour créer un monde que nous voulons réellement. Mais comprendre ce que nous voulons fait partie des plus grands défis auxquels font face les chercheurs en intelligence artificielle, car il faut définir exactement quelles sont les valeurs primordiales. Chaque individu peut avoir des cultures différentes, provenir de différentes parties du monde, avoir des contextes socio-économiques différents. Nous pouvons avoir des opinions très différentes sur ce que sont ces valeurs.

Roman Yampolskiy, professeur associé à l’Université de Louisville, est du même avis. Il explique:

“Il est très difficile de coder les valeurs humaines dans un langage de programmation, mais le problème est rendu plus difficile par le fait qu’en tant qu’humanité, nous ne sommes pas d’accord sur des valeurs communes, et même les parties sur lesquelles nous sommes d’accord changent avec le temps.”

Et s’il est difficile de dégager un consensus sur certaines valeurs, il existe également de nombreuses valeurs sur lesquelles nous sommes tous implicitement d’accord. Tout être humain comprend les valeurs émotionnelles et sentimentales avec lesquelles il a été socialisé, mais il est difficile de garantir qu’un robot sera programmé avec la même compréhension.

Et tout comme le problème du contrôle, il faut que l’alignement des valeurs soit évolutif. En effet, les valeurs humaines ont changé au cours des siècles. Ce qui était considéré comme éthique et morale au Moyen ge, comme brûler un homosexuel, est aujourd’hui jugé immoral. Nous ne voulons donc pas créer une super intelligence artificielle qui soit bloquée avec les valeurs du 21e siècle. Et qui par conséquent, nous empêche de faire des progrès moraux dans la hiérarchie de nos valeurs.

Les recherches de Anca Dragan de l’université de Berkeley abordent le problème sous un angle différent. Elle cherche à entraîner une intelligence artificielle à avoir une incertitude sur les valeurs humaines, plutôt que de supposer qu’elles sont parfaitement spécifiées. L’idée c’est que l’IA considère l’apport humain en tant qu’aide précieuse pour définir les valeurs. On pourrait donc imaginer qu’une super intelligence artificielle sera toujours intéressée par notre point de vue sur la définition des valeurs qu’elle est supposée maintenir.
Le chercheur en intelligence artificielle Eliezer Yudkowsky propose une idée intéressante. Vu que c’est bien trop compliqué de transmettre nos valeurs à une super IA, on peut simplement laisser cette tâche à une autre super IA. Yudkowsky propose de développer une intelligence artificielle qui aura pour but d’enseigner à une autre intelligence les meilleures façons d’assurer le bien-être et le bonheur de tous les humains. Elle aurait pour mission de trouver ce que nous, humains, pourrions demander à une super IA bienveillante.

Quoi qu’il en soit, nous avons un exemple d’alignement des valeurs qui fonctionnent la plupart du temps. Lorsque deux personnes élèvent un enfant, ils font leur maximum pour lui transmettre leurs valeurs. Et l’enfant peut devenir plus intelligent que ces parents à mesure qu’il grandit, sans pour autant perdre ces valeurs. Ce qui rassure sur notre potentiel à transmettre nos valeurs à une intelligence artificielle supérieure.

Le problème de gouvernance :

L’autre problème qui est lié au problème de contrôle, c’est celui de la gouvernance. Admettons qu’on arrive à contrôler une super intelligence artificielle (ce qui est loin d’être garanti), qu’elle sera la position géopolitique face à une telle entité. Est ce qu’une seule nation ou entreprise sera à la charge de cette super intelligence artificielle ?

Autrement dit, une explosion d’intelligence pourrait-elle propulser un seul projet de recherche sur l’intelligence artificielle loin devant tous les autres ? Ou les progrès seront-ils plus uniformes, avec de nombreux projets, mais aucun ne réussissant à obtenir une avance écrasante ?

Un paramètre clé pour déterminer l’écart qui pourrait exister entre une puissance dominante et ses concurrents les plus proches c’est la rapidité de la transition entre « intelligence de niveau humaine » à « super intelligence ». Si le décollage est rapide (en quelques heures, jours ou semaines), il est donc peu probable que deux projets indépendants atteignent le niveau “super intelligence” en même temps. Si le décollage est lent (s’étendant sur plusieurs années ou plusieurs décennies), il est vraisemblable que plusieurs projets subissent simultanément des décollages, de sorte qu’à la fin de la transition, aucun projet n’aura une longueur d’avance sur les autres suffisant pour lui donner une avance écrasante.

Selon ce scénario, on a donc deux conséquences potentielles :

• Il existe une seule super intelligence artificielle sur Terre qui a abouti d’un seul projet de recherche. Cette entité est la plus intelligente de la planète sans aucune compétition possible.
• Il existe une multitude de super intelligences artificielles sur Terre issue de plusieurs projets de recherche. Ces entités collaborent ou sont en compétition entre elles.

Il est donc très important que le développement de l’intelligence artificielle prenne en compte le problème du contrôle. Mais cela va forcément ralentir le progrès. Car il est plus facile de créer une intelligence artificielle générale, que d’en créer une qui possède des dispositifs de sécurité. Le premier cas demande moins d’étapes, donc est plus rapide. Si nous entrons dans une course à l’armement entre les États-Unis, la Chine, l’Europe ou encore la Russie, la voie la plus rapide sera surement privilégiée. Mais ce sera également la voie la moins sûre.