Fin du monde : les technologies dangereuses

Le progrès technologique a permis d’éradiquer des maladies, de doubler l’espérance de vie, de réduire la famine et l’extrême pauvreté, de favoriser les communications mondiales, de répandre les connaissances collectives et de faire des dernières générations, les plus prospères de l’histoire.

Mais il a également rendu plus facile que jamais la destruction à grande échelle. Et comme il est plus facile pour un petit nombre d’acteurs d’utiliser la technologie pour causer des dommages catastrophiques, l’humanité elle plus que jamais vulnérable à des risques existentiels ?

D’une manière générale, les progrès réalisés ont permis une prospérité sans précédent tout en facilitant la possibilité de causer des dégâts. Mais entre les deux, les avantages ont largement gagné. Nous avons de bien meilleures armes que dans les années 1700, mais le taux d’homicides est bien plus bas, car la prospérité, les changements culturels et de meilleures institutions se sont combinés pour réduire davantage la violence que l’amélioration de la technologie le permet.

Mais que se passe-t-il s’il existe une invention – à laquelle aucun scientifique n’a encore pensé – qui a un pouvoir de destruction catastrophique, similaire à la bombe atomique, mais plus simple et moins coûteuse à fabriquer? Et si c’était quelque chose qui pourrait être fabriqué dans un garage par 3 étudiants ? S’il existe de telles inventions dans le futur du progrès humain, nous sommes dans le pétrin, car il ne faudrait que quelques personnes avec de simples ressources pour causer des dommages catastrophiques.

C’est la thématique de l’hypothèse du monde vulnérable – dernier article scientifique en date du philosophe Nick Bostrom. L’un des penseurs les plus influents concernant le futur de l’humanité. Connu pour son travail sur les risques existentiels, les dangers d’une super intelligence artificielle et un des intellectuels que j’apprécie le plus par les sujets qu’il aborde et la précision de ses raisonnements. Un “monde vulnérable”, soutient-il, est celui où “il existe un certain niveau de développement technologique au cours duquel la civilisation est par défaut presque certainement dévastée.” Il ne tente pas de prouver que nous allons forcément rencontrer ce type de futur, mais que cette possibilité vaut la peine d’être considérée.

Lorsque nous inventons une nouvelle technologie, nous le faisons souvent en ignorant l’ampleur de ses effets secondaires. Nous déterminons d’abord si cela fonctionne et nous apprenons plus tard, parfois beaucoup plus tard, quelles sont les conséquences négatives. Les Chlorofluorocarbures, par exemple, ont rendu la réfrigération moins chère, ce qui était une bonne nouvelle pour les consommateurs – jusqu’à ce que nous réalisons qu’ils détruisent la couche d’ozone. La communauté internationale s’est donc unie pour les interdire et nous avons réussi à empêcher ce problème catastrophique d’arriver.

En d’autres occasions, les inquiétudes quant aux effets secondaires d’une technologie ne sont pas corroborées. Pour de nombreux consommateurs, les OGM semblaient présenter un risque pour la santé, et c’est sans doute encore le cas, mais il existe aujourd’hui un nombre considérable de recherches suggérant que c’est une technologie sans danger.

Nick Bostrom propose une analogie pour expliquer la créativité humaine et ses conséquences. Imaginez une urne géante pleine de boules, chacune associée à des idées, des découvertes, des inventions technologiques. Elles ont également un code couleur. Blanches si elles ont des conséquences bénéfiques sur la civilisation, par exemple le vaccin contre la variole ou la liberté d’expression. Grise si elles ont des conséquences mixtes, par exemple la voiture ou la maîtrise de la fission nucléaire.

Au cours de l’histoire, nous avons extrait un grand nombre de boules, principalement blanches, mais aussi diverses nuances de gris. L’effet cumulatif sur la condition humaine a jusqu’à présent été extrêmement positif et pourrait être bien meilleur encore à l’avenir. La population mondiale a augmenté d’environ trois ordres de grandeur au cours des dix derniers millénaires et, au cours des deux derniers siècles, le revenu par habitant, le niveau de vie et l’espérance de vie ont également augmenté.

Ce que nous n’avons pas encore extrait, c’est une boule noire, une technologie qui détruit systématiquement la civilisation qui l’invente. La raison n’est pas que nous ayons été particulièrement prudents ou sages dans notre politique technologique. Nous avons juste eu de la chance.

Alors pourquoi chanceux, et pas prudent. Il suffit de regarder l’histoire du développement de la bombe nucléaire par exemple. En 1942, Edward Teller, l’un des scientifiques du projet Manhattan, pensait qu’une explosion nucléaire créerait une température sans précédent qui pourrait éventuellement déclencher une réaction en chaîne, brûlant l’atmosphère tout entière. Robert Oppenheimer, le chef du laboratoire de Los Alamos fut préoccupé par cette idée et ordonna de nouveaux calculs. Finalement. Ces calculs indiquèrent que l’atmosphère ne partirait pas en fumée. En 1945, le test Trinité eut lieu et effectivement la bombe nucléaire ne déclencha pas de réaction en chaîne.

Mais en 1954, les États-Unis ont procédé à un autre essai nucléaire, l’essai de Castle Bravo, qui devait constituer une expérience secrète d’une bombe thermonucléaire au lithium. Le lithium, comme l’uranium, a deux isotopes importants: le lithium 6 et le lithium 7. Avant le test, les scientifiques ont calculé que seul le lithium-6 contribuerait à la réaction, mais ils se sont trompés. Le lithium-7 a fourni plus d’énergie que le lithium-6 et la bombe a explosé avec un rendement de 15 mégatonnes – plus du double de ce qu’ils avaient calculé (et l’équivalent d’environ 1 000 bombe Hiroshimas). Cette puissante explosion inattendue a détruit une grande partie du matériel. Des retombées radioactives ont empoisonné les habitants des îles environnantes et l’équipage d’un bateau de pêche japonais, provoquant ainsi un incident international. Oups!

Nous pouvons donc considérer comme chanceux que ce soit le calcul de Castle Bravo en 1954 qui était incorrect, et non le calcul du test Trinity en 1945. Ou on ne serait pas là pour en parler. Et pour rester sur les armes nucléaires, nous n’avons pas été brillants à empêcher leur prolifération, même si de nombreux pays n’en possèdent pas, il en reste quand même un peu moins de 14 000. Et en 1986, il y en avait 70 000. Donc on peut tout de même saluer les efforts de réduction de l’arsenal.

Cependant, construire des armes nucléaires nécessite des matériaux difficiles à obtenir, prend des années, coûte des milliards de dollars et l’expertise de scientifiques de haut niveau. Par conséquent, il est possible de savoir quand un pays cherche à s’en procurer. Mais dans son article, Nick Bostrom nous invite à imaginer un monde alternatif où concevoir une arme nucléaire est beaucoup plus simple. Supposons qu’en 1940 de ce passé alternatif, des scientifiques découvrent qu’il existe un moyen très simple de libérer l’énergie de l’atome, par exemple en envoyant un courant électrique à travers un objet métallique placé entre deux feuilles de verre. Dans ce cas de figure, les armes atomiques se répandraient surement très rapidement et de petits groupes d’individus pourraient les utiliser. Des fanatiques, des terroristes ou autre. Ce qui déstabiliserait complètement les nations. Les grandes villes sauteraient les une après les autres. Bref le bordel, et probablement la fin de la civilisation.

D’une certaine façon, nous avons été remarquablement chanceux avec les armes nucléaires. Le fait qu’elles reposent sur des matériaux extrêmement rares et que leur construction est si complexe et si coûteuse permet de les contrôler plus que si ces matériaux étaient abondants. Et encore, on a failli assister à une guerre nucléaire durant les moments les plus chauds de la guerre froide.

Tout comme dans ce scénario fictionnel, si les futures découvertes technologiques sont faciles à construire, elles pourraient proliférer largement. Un exemple qui me terrifie c’est la capacité potentielle de facilement concevoir un agent pathogène extrêmement virulent. S’il suffit d’un tutoriel YouTube, d‘un petit laboratoire de fortune et de quelques bouts d’ADN de bactérie trouvé sur le dark web, on risque de voir des pandémies catastrophiques éclater jusqu’à notre extinction.

On pourrait penser que juste l’existence de technologie destructive ne devrait pas suffire à nous inquiéter. La plupart des gens ne se livrent pas à des actes terroristes, même si on peut tous facilement trouver des moyens de causer énormément de dégât. Mais Nick Bostrom observe qu’il n’y a pas besoin de beaucoup de gens pour causer un risque existentiel. Même si une personne sur un million souhaite utiliser une invention à des fins destructives, cela pourrait entraîner un désastre. Et il y aura au moins une certaine de ces personnes compte tenu de la diversité humaine. Il suffit d’avoir de mauvaises idées dans la tête pour s’adonner à des actions inhumaines. La religion est souvent vectrice de ce genre de mauvaises idées, avec notamment l’exemple à notre époque des fondamentalistes islamique. Lorsqu’une personne est convaincu plus que toute au monde, que tuer des milliers de personnes est la chose la plus vertueuse possible aux yeux de Dieu, et qu’il sera récompensé par une éternité de bonheur au paradis, pour elle, il serait immoral de ne pas commettre cette atrocité. Ou encore certains suprémacistes blancs qui ont la mauvaise idée de penser que de décimer un groupe ethnique est la meilleure chose à faire pour assurer un futur bénéfique pour sa nation. Il y a aussi certaines personnes qui ont la mauvaise idée de penser que l’être humain ne mérite pas de vivre sur cette planète et mériterait de disparaitre. Et il y a bien d’autres exemples.

Autrement dit, les mauvaises idées ont le pouvoir de motiver de bonnes personnes, à commettre des actes inhumains. Et si on donne aux personnes des exemples que j’ai cités, une bombe nucléaire, nul doute qu’ils l’utiliseraient. Donc si dans le futur, une boule noire est tirée de l’urne, ces personnes vont se la procurer, et l’utiliser.

Dans la deuxième partie de son article, Nick Bostrom tente de voir si il existe des moyens d’endiguer l’utilisation d’une boule noire. Et ce n’est pas très rassurant.

Si on reprend le scénario d’une bombe nucléaire facile à concevoir, comment les instances gouvernementales et autorités pourraient-elles assurer un futur viable dans un tel monde où le moindre fanatique peut détruire une ville sans trop d’effort ? Une solution pourrait être d’interdire toute recherche supplémentaire en physique nucléaire et d’empêcher les connaissances acquises de se répandre, ce qui semble très difficile à appliquer. Une autre solution serait de bannir l’utilisation des ressources nécessaire pour fabriquer une bombe, en l’occurrence dans ce scénario : du verre, de l’électricité et du métal. Autant dire tout de suite que c’est improbable. La dernière solution est de surveiller massivement les citoyens et d’intervenir lorsqu’un individu est dans le processus de fabrique une bombe nucléaire.

Donc une des conclusions de Nick Bostrom, c’est que si l’humanité tire une boule noire de l’urne des inventions, alors la prévention devient essentielle ce qui pourrait donner naissance à des systèmes de surveillances extrêmes. Admettons qu’il soit facile dans 50 ans, de fabriquer un virus virulent. Il semblerait que la seule façon d’empêcher le 1er cinglé de décimer un continent serait de contrôler les actions de chaque individu à travers des dispositifs de surveillance intrusifs, et capables de lire les pensées des gens, par exemple.

Ce qui n’est pas un futur très attrayant.

Bon, il ne faut pas oublier que cet article s’appelle L’hypothèse du monde vulnérable. C’est donc une hypothèse et pas une prédiction. Il est tout à fait possible qu’une boule noire n’existe pas et que la pire boule que l’on puisse tirer soit une grise foncée. Autrement dit, il n’y a peut-être pas de technologie extrêmement destructive et en même temps facile et accessible à construire.

Dans l’ensemble, Nick Bostrom propose un argument convaincant – et inquiétant – que le progrès technologique peut rendre une civilisation terriblement vulnérable et qu’il serait extrêmement difficile de rendre un tel futur stable et viable.

L’article va évidemment bien plus loin et vous trouverez le lien dans la description pour ceux qui souhaitent plus de détail. Je compte faire un épisode plus long sur le sujet, surement en premium sur le site, mais c’est pour plus tard.