Westworld : La morale a t-elle une frontière ?

Il ne s’agit pas ici de dire si une oeuvre est bonne ou mauvaise, mais plutôt de parler des idées qui la sous-tendent. Il est donc préférable de voir la série « Westworld » avant de lire ce qui suit, car plusieurs éléments de l’intrigue seront révélés !

Sortie en 2016, la série « Westworld » d’HBO a frappé fort ! Il faut bien le dire, les fans de SF attendaient une série gros budget depuis un moment. Le fantastique en a une avec « The Walking Dead » et l’Héroic Fantasy également avec « Game of Throne ». Pour résumer rapidement, Westworld raconte l’histoire d’un nouveau genre de parc d’attractions se situant dans un futur proche. Pour un prix quotidien très élevé, vous pouvez vivre des aventures diverses dans une recréation du Far West en côtoyant des androïdes. Une sorte de jeu de rôle géant sans conséquence puisque les humains ne peuvent pas être gravement blessés. Ce parc ouvre donc la porte à la débauche et fait ressortir chez certains leur part d’ombre lorsqu’ils violent et torturent les androïdes sans aucune retenue morale. Et bien sûr, comme souvent dans les œuvres de science-fiction parlant d’IA, les androïdes deviennent de plus en plus conscients et finissent par se rebeller.

Du coup, cela soulève plusieurs questions morales concernant nos actes vis-à-vis de créatures si perfectionnées qu’elles sont semblables aux humains. En d’autres termes, est-ce que je dois me sentir mal si je torture un robot ? Où dois-je me retenir de toute barbarie ?

Ça peut paraître assez trivial, mais on va voir que c’est une question compliquée lorsqu’on commence à déplacer la frontière de ce que l’on considère comme « moral ». Tout d’abord, imaginer que vous vous trouviez dans la chambre d’un saloon, au 19e siècle. Une charmante jeune courtisane (ou courtisant en fonction de vos goûts) débarque et vous passez de très longues minutes à utiliser son corps pour votre plaisir. Vous laissez complètement aller vos fantasmes les plus inavouables et pour une raison inconnue, vous décidez de lui couper la tête ! (Oui oui, on part dans le gore !). Soudain, vous vous réveillez en sursaut. Votre conjoint dort à côté de vous. Ce n’était qu’un rêve ! Est-ce que vous avez transgressé vos valeurs morales ? Votre intuition vous dit probablement que non. Après tout, vous étiez inconscient, et vous n’avez pas réellement trompé votre conjoint. Encore moins blessé votre partenaire imaginaire. Au pire, vous vous sentez un peu bizarre, mais ce n’était qu’un rêve bordel ! Donc en quoi est-ce différent de « Westworld » ?

Je pense que vous connaissez la série de jeux vidéo « GTA – Grand Theft Auto ». J’aime beaucoup l’univers, les scénarios très cinématographiques et bien sûr, j’adore la liberté et la taille du monde proposé. Bref, je suis fan. Lorsque j’y joue, je ne respecte pas le Code de la route et je ne me retiens pas de tuer sans remord les pauvres personnages numériques ! Cela va sans dire ! Je ne pense pas être le seul, vu les ventes records de cette série. Devrais-je ressentir plus de compassion ? Est ce que cela fait de moi (et les dizaines de millions de joueurs), des êtres immoraux ? Que se passera-t-il lorsque dans GTA 10, les personnages numériques seront si « humains », que cela en sera troublant ? En quoi est-ce différent de « Westworld » ?

Dans la même lignée, est-ce que c’est immoral si je décide de tuer tous mes Sims en les faisant souffrir autant que le jeu me le permet ? Ou bien est-ce que ce n’est pas bien si j’insulte de tous les noms Cortana, Siri et nos autres assistants artificiels ? Comme pour le cas du rêve, la réponse intuitive c’est que ce n’est pas immoral. Mais est-ce que ce sera la même réponse dans quelques années ? Autrement dit, est-ce que c’est fondamentalement mal de torturer des automates ou personnages de jeux vidéos ayant suffisamment de complexité pour passer le test de Turing ? Par contre, une chose qui n’a pas besoin d’être débattue moralement, c’est de mettre un chat dans un micro-onde et le regarder avec cruauté. C’est immoral, on est tous 100% d’accord là-dessus (enfin je l’espère !!). Mais en quoi est-ce différent de Westworld ?

La question, au final, est de se demander où se situe la frontière entre un acte immoral sur un animal, et un acte immoral sur un personnage fictif (virtuel ou physique). Y a-t-il vraiment une frontière au final ?

Chez les humains, dans une situation donnée, la douleur et le plaisir informent bien plus nos processus décisionnels que la connaissance rationnelle de cette situation. Même si bien sûr, la pensée rationnelle peut aider à clarifier le contexte. Du coup, même si un robot peut traiter une multitude d’information complexe dans son environnement, il n’aura aucun intérêt de stresser à la vue d’une machette sur le point de lui trancher un bras, car il n’y a pas aucune peur d’avoir mal chez lui. En revanche, on peut le programmer pour prétendre ressentir du stress voir de la souffrance, et donc avoir un comportement crédible (c’est d’ailleurs le cas dans la série). Mais il y a une différence entre faire semblant d’avoir mal, et véritablement ressentir la souffrance. D’ailleurs, les acteurs sont les mieux placés pour en parler, eux qui se mettent dans des situations parfois horribles pour gagner un oscar (oui oui Leo, c’est de toi que je parle ). Si chaque acteur ressentait vraiment ce qu’il joue, il n’y aurait pas beaucoup de films d’horreur ! C’est comme expliquer à un aveugle ce qu’est la couleur rouge. Vous pourrez lui détailler toutes les propriétés physiques de la couleur rouge et lui faire un exposé sur le spectre de la lumière visible, c’est seulement en retrouvant la vue qu’il ressentira ce qu’est véritablement la couleur rouge.

Pour reprendre le cas du rêve mentionné précédemment, on ne peut pas être tenu moralement responsable de ce que l’on fait à un être sorti tout droit de notre imagination. Aussi réaliste et anthropomorphiste qu’il puisse être. Tout comme pour un personnage virtuel, et par extension, un robot. Ce n’est pas parce qu’un androïde est similaire à un humain que nous devons lui accorder des droits, privilèges et le considérer comme un humain. Donc ce qui fait la différence entre l’immoralité d’un chat dans un micro-onde et la cruauté dans Westworld, n’a rien à voir avec la conscience de soi, l’anthropomorphisme, la mémoire, la sophistication de la créature ou tous autres émotions complexes. C’est, vous l’aurez compris, une question de ressentir la souffrance. Attention à ne pas confondre souffrance et douleur. La douleur n’est qu’une réaction nerveuse, un réflexe biologique qui se passe dans le cerveau après un stimulus sensoriel et qui empêche une créature de se causer des dommages irréversibles. C’est un outil utile que la nature à trouver pour accentuer la l’instinct de conservation. C’est ce qui fait que lorsque vous posez votre main sur un radiateur bouillant, vous l’enlevez aussitôt par réflexe. La souffrance est un concept bien plus profond qui implique une expérience cognitive et émotionnelle résultant d’une douleur physique ou psychologique.

On sait que les animaux peuvent souffrir (et peut-être même les plantes selon certaines théories), donc leur faire du mal est fondamentalement immoral et condamnable par la même occasion. En revanche, sur le papier, un androïde n’est ni plus ni moins qu’un gadget perfectionné du 21e siècle. Et même si, dans quelques décennies, ces gadgets deviennent indissociables en apparence à un humain, ça ne change pas le fait qu’ils resteront des outils, des objets et des biens matériels. Donc si vous coupez le bras d’un de ces androïdes du futur, ce n’est pas fondamentalement immoral (pas autant que couper la patte d’un chien). Ce sera simplement un beau gâchis de détruire une technologie sophistiquée et probablement très cher.

Il faut reconnaître que nous avons tendance à attacher beaucoup d’importance à l’anthropomorphisme. Ce qui nous ressemble génère de l’empathie. C’est un processus évolutionnaire profondément ancré en nous. Pour cette raison, des androïdes réalistes pourraient un jour se voir accorder certains droits et protections législatives. En revanche, il n’est pas du tout rationnel de se lamenter des horreurs que ces robots pourraient subir. Que ce soit des robots sexuels ou des souffre-douleurs dans un parc d’attractions. Ni de craindre que leurs souffrances les amènent à réclamer justice en nous attaquant. En l’absence de réelle souffrance, il n’est pas sûr d’affirmer qu’un ensemble de composant mécanique sophistiqué engendrera des réactions émotionnelles comme le ressentiment, la peur, la colère et la vengeance. Chez les humains, ces réactions émotionnelles sont dues à bien plus que de simple traitement d’information et puissance de calcul. Il y a des millions d’années d’évolutions derrières.

Si on en croit les déclarations du Professeur Ford, créateur du parc et des robots dans la série, alors la souffrance est la dernière clé (après la mémoire et l’improvisation) pour atteindre la conscience. C’est une théorie de Dostoevsky, philosophe Russe : La souffrance est l’unique origine de la conscience. Car il n’est pas possible d’être conscient en étant enfermé dans une bulle où rien de mauvais n’arrive et ne jamais se poser de question sur son existence. La souffrance pousse l’individu à se poser la question « Pourquoi est ce que ça m’arrive ? ». C’est d’ailleurs un des arguments majeurs mis en avant par les organismes de protection des animaux. Ils souffrent, donc ils sont conscients, donc arrêter de leur faire du mal en considérant que c’est des objets !

Il faudra donc se demander si les futurs androïdes peuvent ressentir la souffrance, afin de délimiter clairement la frontière morale. Et ce sera compliqué, car comment peut-on réellement savoir si une machine expérience une souffrance comme l’humiliation, la crainte, voir même le deuil, ou bien si elle ne fait que délivrer une réponse programmée dans son code source ? D’un point de vue technologique, sans être un expert, je ne pense pas qu’il soit très difficile de connecter une partie du corps d’un robot, et de programmer : « Si la pression est trop forte, envoyer une réponse électrique négative ». En gros, programmer la douleur. Bien sûr, je simplifie. Mais de là à dire que cette douleur évoluera en souffrance, comme chez les animaux, c’est un raccourci loin d’être évident. Peut être qu’ils ressentiront la douleur et diront : « J’ai mal, je souffre, stoppe», mais cela n’aura aucun sens profond pour eux. Ce ne sera qu’une réponse programmée.

Une situation similaire à Westworld pourrait arriver très rapidement dans nos sociétés avec des endroits où l’on peut faire ce que l’on veut avec des androïdes réalistes. Il y aura alors un débat semblable à celui qui touche régulièrement les jeux vidéos violents. Peut être que ces derniers participent à une brutalisation générale de la société, mais il se peut également qu’ils empêchent la violence dans le monde réel en fournissant une alternative virtuelle. Le débat ira bien plus loin que ça en affirmant que c’est immoral de torturer, violer ou tuer un androïde. Des associations pour la protection des robots verront peut-être même le jour. Ou alors, la problématique ne concernera pas des androïdes mais des simulations virtuelles où les personnages virtuelles seront plus vrais que nature.

Du coup, je pense qu’il faudra faire attention de ne pas faire la même erreur que dans Westworld. Si l’on veut utiliser des androïdes pour notre divertissement, travailler à notre place, et nous permettre de libérer nos idées les plus noires en nous servant d’eux comme catalyseur, alors il serait judicieux de ne pas leur permettre d’expérimenter la souffrance. Sinon, ils pourraient évoluer vers plus de conscience et finir par se poser des questions sur leurs conditions. Ce qui entraînera inéluctablement un sentiment de révolte. Si, en revanche, on souhaite créer des entités conscientes, alors il ne faudra pas les mettre dans des parcs d’attractions ou les envoyer à l’usine en mode esclavagiste. Pour les mêmes raisons.

Tout cela bien sûr, c’est si on a notre mot à dire, car l’intelligence artificielle trouvera peut être son propre chemin vers la conscience et là …. difficile d’imaginer la suite. Dans un tel scénario, ce sera peut-être elle, qui se demandera si c’est immoral de torturer les êtres humains …

Références :
– https://www.inverse.com/article/24759-westworld-finale-pyramid-consciousness-suffering-dostoevsky
– https://en.wikipedia.org/wiki/Fyodor_Dostoyevsky
– https://futurism.com/sorry-westworld-we-should-be-able-to-torture-robots/

Pour aller plus loin...

.

Cet article a été écrit par :

Gaëtan

Lorsqu’à 10 ans, j’ai vu le film « Matrix » : BOOOM ! Science-fiction + cinéma, voilà le combo qui m’a motivé à faire du storytelling, une part centrale de ma vie. Depuis, je n’ai cessé d’écrire et réaliser des courts métrages en explorant plusieurs formats, genres et approches. Je réalise aujourd’hui que le questionnement sur la nature de la réalité se retrouve dans presque tous mes projets, mais j’ai également la volonté de donner ouvertement à penser. Les questions sont souvent plus importantes que les réponses et je compte bien continuer à en poser plein … surtout concernant l’avenir !!!

0 Commentaires

Laisser une réponse

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*

CONTACTEZ NOUS

En cours d’envoi

© 2017 The Flares - Tous les articles et histoires sont sous la licence Creative Commons - Toutes adaptations ou usages commerciaux quelconques sont interdits.

Pourquoi soutenir le collectif The Flares ?

  • Permettre l’essor de nouvelles idées concernant l'avenir.
  • Offrir plus de visibilité à des auteurs et cinéastes de science-fiction.
  • Favoriser une prise de conscience générale sur le monde.
  • Faire partie d'un mouvement engagé.

Souhaitez-vous faire un don au collectif The Flares ?

À quoi servira votre don ?

Votre don servira exclusivement à assurer les coûts nécessaires au fonctionnement de la plateforme.

Remplissez le formulaire ci-dessous pour recevoir le livre gratuitement.

Informations envoyées avec succès :o)

 

Vérifiez votre boîte mail pour récupérer le livre.

Dernière étape : complétez ce formulaire pour rejoindre la communauté.

Consulter la charte d'utilisation des données privées.

Pourquoi soutenir le collectif The Flares ?

  • Permettre l’essor de nouvelles idées concernant l'avenir.
  • Offrir plus de visibilité à des auteurs et cinéastes de science-fiction.
  • Favoriser une prise de conscience générale sur le monde.
  • Faire partie d'un mouvement engagé.

Souhaitez-vous faire un don au collectif The Flares ?

À quoi servira votre don ?

Votre don servira exclusivement à assurer les coûts nécessaires au fonctionnement de la plateforme.

Remplissez le formulaire ci-dessous pour recevoir le livre gratuitement.

Informations envoyées avec succès :o)

 

Vérifiez votre boîte mail pour récupérer le livre.

Dernière étape : complétez ce formulaire pour rejoindre la communauté.

Consulter la charte d'utilisation des données privées.

Pourquoi soutenir le collectif The Flares ?

  • Permettre l’essor de nouvelles idées concernant l'avenir.
  • Offrir plus de visibilité à des auteurs et cinéastes de science-fiction.
  • Favoriser une prise de conscience générale sur le monde.
  • Faire partie d'un mouvement engagé.

Souhaitez-vous faire un don au collectif The Flares ?

À quoi servira votre don ?

Votre don servira exclusivement à assurer les coûts nécessaires au fonctionnement de la plateforme.

Remplissez le formulaire ci-dessous pour recevoir le livre gratuitement.

Informations envoyées avec succès :o)

 

Vérifiez votre boîte mail pour récupérer le livre.

Dernière étape : complétez ce formulaire pour rejoindre la communauté.

Consulter la charte d'utilisation des données privées.

Pourquoi soutenir le collectif The Flares ?

  • Permettre l’essor de nouvelles idées concernant l'avenir.
  • Offrir plus de visibilité à des auteurs et cinéastes de science-fiction.
  • Favoriser une prise de conscience générale sur le monde.
  • Faire partie d'un mouvement engagé.

Souhaitez-vous faire un don au collectif The Flares ?

À quoi servira votre don ?

Votre don servira exclusivement à assurer les coûts nécessaires au fonctionnement de la plateforme.

Remplissez le formulaire ci-dessous pour recevoir le livre gratuitement.

Informations envoyées avec succès :o)

 

Vérifiez votre boîte mail pour récupérer le livre.

Vous connecter avec vos identifiants

Vous avez oublié vos informations ?