Pistes de lecture – L’homme est-il une machine comme les autres ?

J’ai déjà évoqué cette question dans quelques billets précédents, du fabuleux destin des algorithmes à la préférence pour les machines et les automates, en passant par les vertiges du transhumanisme.

Plus les mois passent, plus je ressens que cette question pourrait devenir une des questions décisives de notre époque. Elle l’est peut-être déjà. Evidemment, je peux me tromper.

Plus les mois passent, plus j’observe autour de moi — et je m’observe moi-même, je ne vaux pas mieux que mes semblables — … plus je redoute la vérité profonde de la conclusion de David Gelernter dans son essai de début 2014 intitulé « The Closing of the Scientific Mind » :

At first, roboticism was just an intellectual school. Today it is a social disease. (…) In the roboticist future, we will become what we believe ourselves to be: dogs with iPhones.

Quelques pistes de lecture pour reprendre la question.

* * *

Evgeny Morozov, dans The Financial Times, en date du 22 septembre 2014 :

Google says it is being helpful. Who could disagree?

But the search engine is going further. To truly anticipate our needs, the company wants to know our habits, schedules, social circles. So it is planting sensors wherever they might pick up the faintest trace of our aura. First they popped up in our inboxes, which Google continuously scans in order to sell advertising. Next it was our smartphones, glasses and thermostats. Soon it will be our cars. The ultimate step would be to abolish the search box altogether, and try to satisfy our information needs before we have even expressed them. Google’s Eric Schmidt once described this approach as a « serendipity engine », arguing that this is the future of search.

This is the vision that already informs Google Now, Google’s flagship virtual assistant – available on smartphones and in the Chrome browser – which draws on all the information at Google’s disposal. It provides traffic information, reminds users of upcoming travel reservations, announces trendy restaurants nearby, shows film listings at local cinemas, and much else. Such insights are possible because Google studies our search habits, tracks our emails, and understands our location. The company argues that, far from occupying a dominant position, it is a sitting duck for any start-up that comes up with a better algorithm. But in truth, it is Google’s vast repository of data that sets it apart – and here it has such a big head start that no competitor is likely to catch up. (…)

The dangers are real. By coupling advertising with the pre-emptive possibilities of its serendipity engine, Google could turn citizens into automata, who entertain an illusion of free will while living in a world of options, nudges and suggestions that have all been generated by autonomous algorithms optimised for profit alone.

  • Le point principal de l’article est à la limite du sujet de ce billet. Morozov suggère que quelques timides régulateurs s’égarent en s’apprêtant à accuser Google d’abus de position dominante sur le marché de la recherche, et des algorithmes de recherche. La singularité (si j’ose dire) de Google, ce n’est pas ses algorithmes, c’est ses données. Google aura beau jeu d’argumenter que le monde des algorithmes (de recherche et autres) est un marché compétitif, avec toutes sortes de rivaux, et qu’il n’y est pas plus en situation de monopole que Microsoft n’était en situation de monopole sur les systèmes d’exploitation en 1998. Ça ratera le point essentiel. La force de Google, c’est pas ses algorithmes, c’est le volume et la profondeur des données dont il dispose, publiques et privées, sur tout et n’importe quoi, et surtout sur tout et n’importe qui. Ce n’est pas sur les algorithmes qu’il faut attraper Google, c’est sur les données. Mais on peut faire confiance aux régulateurs dûment influencés pour persévérer dans leur fructueuse erreur. La chair est faible.
  • Sur le sujet de ce billet, Morozov est clair, et je cite la phrase à clef à nouveau pour bien la souligner. Le cœur de la phrase : « Google could turn citizens into automata. » La phrase entière : « By coupling advertising with the pre-emptive possibilities of its serendipity engine, Google could turn citizens into automata, who entertain an illusion of free will while living in a world of options, nudges and suggestions that have all been generated by autonomous algorithms optimised for profit alone. »

Evgeny Morozov avait déjà développé, de manière plus détaillée, sous le titre « The rise of data and the death of politics », dans The Guardian, en date du 20 juillet 2014, comment les algorithmes pourraient étouffer discrètement et tranquillement toute possibilité de libre arbitre. Ou, plus précisément, la systématisation du recours aux algorithmes.

Algorithmic regulation, whatever its immediate benefits, will give us a political regime where technology corporations and government bureaucrats call all the shots. The Polish science fiction writer Stanislaw Lem, in a pointed critique of cybernetics published, as it happens, roughly at the same time as The Automated State, put it best: « Society cannot give up the burden of having to decide about its own fate by sacrificing this freedom for the sake of the cybernetic regulator. »

Eva Illouz, dans Le Monde Diplomatique de novembre 2011, sous le titre « La fabrique de l’âme standard » (sous-titre : « Psychologie et management »), parle assez peu d’algorithmes, d’ordinateurs, de silicium et de fibre optique. Mais elle ébauche une histoire de la notion d’âme, épluchée en quelques générations comme on épluche un oignon, jusqu’à ce qu’il n’en reste plus rien :

La psychologie transformera radicalement l’image du « moi », grâce à un idéal de santé mentale et de bien-être qui va gagner tous les champs de la société : l’économie (avec les théories du management), l’éducation (les modèles pédagogiques), la vie privée (les conseillers conjugaux), (…). La psychologie intégrée au marché propose des thérapies au monde entier en faisant de l’individu autonome, de la santé mentale et de l’épanouissement des objectifs à atteindre et des objets de consommation. Pour vendre ce nouveau produit — le « moi » positif et performant –, la psychologie utilise des normes d’appréciation et de mesure de l’individu et de ses émotions. (…)

Pour atteindre cet idéal, il faut intellectualiser les émotions; surmonter les sentiments négatifs pour s’ouvrir à des expériences positives; s’interdire d’être passionné, préférer le juste milieu, où le soin de soi et celui d’autrui s’équilibrent, et savoir que la souplesse de caractère est favorable à la coopération. (…)

Ce fut la fin du long processus soumettant les émotions à une visée économique. (…)

C’est l’un des aspects les plus originaux de l’économie du XXe siècle : la personne dans son intériorité est devenue la cible d’une industrie qui a l’individu comme principale marchandise. Pour que l’humain soit toujours plus rentable, on a standardisé l’âme.

  • Je répète ce que j’ai probablement déjà écrit : Le monde contemporain ne voit pas seulement les machines commencer à ressembler à l’homme, il voit l’homme commencer à ressembler à une machine. Je ne crois pas que les deux mouvements soient dissociables. Ce n’est pas convergent par coïncidence.

Zeynep Tufekci, sur le site « NiemanLab », l’entrée est juste datée de décembre 2014, et intitulée « The year we get creeped out by algorithms » :

Three: Algorithms are increasingly being deployed to make decisions where there is no right answer, only a judgment call. Google says it’s showing us the most relevant results, and Facebook aims to show us what’s most important. But what’s relevant? What’s important? Unlike other forms of automation or algorithms where there’s a definable right answer, we’re seeing the birth of a new era, the era of judging machines: machines that calculate not just how to quickly sort a database, or perform a mathematical calculation, but to decide what is « best, » « relevant, » « appropriate, » or « harmful. » It’s one thing to ask a computer the answer to a factoring problem, or the quickest driving path from point A to point B — it’s another to have a computer decide for us who among our friends is most « relevant » to us, or what piece of news is of most importance, or who should be hired (or fired).

Deep philosophical questions that humans have debated for millennia — and have erected complex (and far from perfect) gatekeeping, credentialing, and judging apparatus to grapple with — are now being asked to computers, and their answers, spat out through proprietary and opaque systems, are being used to shape our lives.

The spread of algorithmic judgment is much more significant than whether Big Blue beats Kasparov at chess, a game that was always unwieldy for humans and suitable for machine computation. Machines have out-muscled us for centuries and out-computed us for decades. Now they are going to judge for us, instead of us, and out-judge us.

  • Sans commentaire. Ce n’est qu’un extrait. Cet article est à lire en entier, évidemment — comme tous ceux cités dans ces « Pistes de Lecture », évidemment.
  • Comme le répète souvent un de mes amis, quand vous conduisez une voiture guidé par un navigateur à GPS, vous êtes dans la situation où un homme obéit à une machine. Et vous n’y pensez même pas.

Alexis Escudero, dans Libération en date du 31 octobre 2014, donne un avis assez tranché sur la PMA — Procréation Médicale Assistée. Ça n’a aucun rapport avec le sujet ? Pas sûr…

La PMA est avant tout un gigantesque marché. Consécutivement à la baisse de la fertilité due à la pollution industrielle et à nos conditions de vie – obésité, stress, tabagisme -, un supermarché mondialisé de l’enfant a émergé. Il pesait déjà 3 milliards de dollars aux Etats-Unis en 2007. Dans ce supermarché, la liberté si fièrement revendiquée n’est qu’une liberté de consommateurs. Et si le produit acheté ne vous convient pas, vous pouvez toujours déposer une réclamation auprès du service après-vente. Un couple de lesbiennes américaines vient de porter plainte parce que leur fille, née suite à un don de sperme, est métisse. Le sperme d’un homme noir a été confondu avec celui d’un homme blanc.

La PMA, c’est l’irruption des inégalités sociales et économiques dans le ventre des femmes : aux Etats-Unis, les ovules d’une diplômée de Yale sont beaucoup plus onéreux que ceux d’une étudiante de l’université d’Oklahoma. Avec des femmes qui mettent leur ventre à disposition en Inde, en Ukraine ou en Thaïlande, des couples australiens, néerlandais ou français accèdent à un hard-discount reproductif. Avec le diagnostic préimplantatoire, des couples fertiles aisés « sélectionnent » leur futur enfant. Ces inégalités se doublent d’inégalités biologiques.

Si la PMA existe, c’est d’abord et avant tout parce qu’elle engraisse médecins, généticiens, biologistes, patrons de start-up, juristes, avocats, banquiers en sperme ou en ovules. Des centaines d’entreprises prospèrent dans ce secteur, et un nombre grandissant est coté en Bourse. La gauche fait semblant de ne pas le voir.

  • La question « L’homme est-il une machine comme les autres ? » rejoint forcément la question « L’homme est-il une marchandise comme les autres ? ».

Nick Bilton, dans The New York Times, en date du 5 novembre 2014, sous le titre « Artificial Intelligence as a Threat » :

I’m not alone in my fear. Silicon Valley’s resident futurist, Elon Musk, recently said artificial intelligence is « potentially more dangerous than nukes. » And Stephen Hawking, one of the smartest people on earth, wrote that successful A. I. « would be the biggest event in human history. Unfortunately, it might also be the last. » There is a long list of computer experts and science fiction writers also fearful of a rogue robot-infested future. (…)

« We humans steer the future not because we’re the strongest beings on the planet, or the fastest, but because we are the smartest, » said James Barrat, author of « Our Final Invention: Artificial Intelligence and the End of the Human Era. » « So when there is something smarter than us on the planet, it will rule over us on the planet. »

What makes it harder to comprehend is that we don’t actually know what superintelligent machines will look or act like. « Can a submarine swim? Yes, but it doesn’t swim like a fish, » Mr. Barrat said. « Does an airplane fly? Yes, but not like a bird. Artificial intelligence won’t be like us, but it will be the ultimate intellectual version of us. »

  • Sans commentaire.

Tim Berners-Lee, principal inventeur du World Wide Web il y a 25 ans, lors d’une conférence tenue le 12 décembre 2014, a proposé une autre vision de l’invasion par les machines :

‘When I was a kid I read a lot of Asimov…when it came to the robot books my feeling was that as technology went on we should watch the point when robots are given rights in court at the same level as a human being. That’s the time we should watch. As you grow up if you notice robots being given the rights of human begins that’s the time to pay attention.’

It was an interesting point from Sir Tim. And it was followed with another question from the LeWeb host, Loic Le Meur, ‘When will that happen?’

Sir Tim continued, ‘It’s already happened.’ At that very moment the entire auditorium fell deathly silent. The general feeling was, ‘what did he just say?’

And then he explained.

‘Because robots run our companies. And our companies in America, the Supreme Court has established that companies have all the rights of a human being, they just have more money. So for example they have the right to argue politically, spend money arguing, pushing for their case.’

‘Companies are run by computers, fast trading companies are pretty much only run by computers. When you’re a fast trading company on the stock exchange you’re computer program is the only thing which can compete. Human beings may not, cannot, apply for that job. It’s only available to computers. Computers can only do it fast enough. Computers now start making decisions about where to invest. Imagine computers’ ability to create a new company. Suppose to allow a computer to create a new company, you allow the access to the company’s register. You get an API, easy. You do a java script to the API, which allows you to create a new credit company. Now it can move assets into it, create a board, create a board of people that you know. (…)’

‘Don’t ask whether it will happen; it’s already happening. The robots are already here and they’re called corporations.’

Of course, this followed with the next inevitable questions directed to Sir Tim. ‘So we should be scared?’

His response? ‘Very. Be scared. Be very scared. Be very, very scared. Very scared. You should all be veeery, veeery scared!’

  • Sans commentaire. Pour la énième fois, penser à l’Agent Smith en 1999 :

I say your civilization, because as soon as we started thinking for you it really became our civilization, which is of course what this is all about.

David Brooks, dans The New York Times, en date du 30 octobre 2014, sous le titre « Our machine masters », propose une vision plus nuancée, et partiellement plus optimiste :

A.I. will redefine what it means to be human. Our identity as humans is shaped by what machines and other animals can’t do. For the last few centuries, reason was seen as the ultimate human faculty. But now machines are better at many of the tasks we associate with thinking — like playing chess, winning at Jeopardy, and doing math.

On the other hand, machines cannot beat us at the things we do without conscious thinking: developing tastes and affections, mimicking each other and building emotional attachments, experiencing imaginative breakthroughs, forming moral sentiments.

In the age of smart machines, we’re not human because we have big brains. We’re human because we have social skills, emotional capacities and moral intuitions. I could paint two divergent A.I. futures, one deeply humanistic, and one soullessly utilitarian.

In the humanistic one, machines liberate us from mental drudgery so we can focus on higher and happier things. In this future, differences in innate I.Q. are less important. Everybody has Google on their phones so having a great memory or the ability to calculate with big numbers doesn’t help as much.

In this future, there is increasing emphasis on personal and moral faculties: being likable, industrious, trustworthy and affectionate. People are evaluated more on these traits, which supplement machine thinking, and not the rote ones that duplicate it.

In the cold, utilitarian future, on the other hand, people become less idiosyncratic. If the choice architecture behind many decisions is based on big data from vast crowds, everybody follows the prompts and chooses to be like each other. The machine prompts us to consume what is popular, the things that are easy and mentally undemanding.

  • Au fond, se demander ce qui distingue l’être humain de la machine, cela revient à évaluer l’idée qu’on se fait de l’être humain.
    • Si on est pessimiste, on se dit que l’homme (avec un h minuscule) ne vaut pas grand’chose, animal, paresseux, influençable, bête, interchangeable — et qu’à tout prendre, une machine ne vaut pas moins.
    • Si on est optimiste, on se dit que l’Homme (avec un H majuscule) vaut par ses qualités morales, spirituelles, émotionnelles et affectives — et qu’évidemment aucune machine n’en sera jamais capable.
  • La chair est faible.

Bonne nuit.

Cet article, publié dans humanité, informatique, Pistes de lecture, est tagué , , , , , , , , , , , , , , , , , , , , , . Ajoutez ce permalien à vos favoris.

Un commentaire pour Pistes de lecture – L’homme est-il une machine comme les autres ?

  1. Kica dit :

    J’ai beaucoup de mal à prendre au sérieux les mises en garde contre les dangers de l’IA, même venant de la part de célébrités considérées comme intelligentes et visionnaires telles que Hawking, Gates ou Musk.

    La raison principale est l’inexistence actuelle de l’intelligence artificielle. Les différents exemples usuellement cités ne font que du calcul brut en utilisant des concepts inventés par des humains souvent bien avant l’apparition de l’informatique. Les programmes d’échecs sont forts parce qu’ils utilisent les principes découverts par les grand-maîtres, mais n’ont jamais rien apporté à la compréhension du jeu. C’est la même chose en mathématiques: même si leur capacité de résolution d’équations est impressionnante, aucun programme n’a jamais proposé un théorème au démontré la véracité d’une conjecture.

    Le programme Watson pour le jeu Jeopardy ne joue pas avec les mêmes règles que les humains, il est donc plus que discutable de considérer qu’il a battus les champions. D’une part, il avait le droit d’accéder à une base de donnée pendant le jeu (ce qui est bien évidemment interdit aux humains). Cette base était conçue spécifiquement pour s’adapter à des thèmes prédéfinis et au formatage très limité des réponses et des questions telles que définies par les règles du jeu. De plus, les questions lui étaient fournies au format texte car la reconnaissance vocale induisait trop de latence et d’erreurs de compréhension. On ne peut pas considérer que ce programme ait la moindre compréhension des phrases en entrée ou en sortie de son système, c’est un simple moteur de recherche conçu pour un cas très particulier.

    D’autres systèmes ne font que singer le résultat de l’intelligence par des moyens statistique à grande échelle. Je pense notamment à la traduction automatique, qui n’est efficace que si un humain a déjà effectué une bonne traduction que le programme pourra copier. Dans le cas contraire, le résultat est souvent incorrect, parfois risible ou incompréhensible. Dans un registre similaire, les programmes de discussion qui tentent de passer le test de Turing ne sont capables de réagir correctement qu’à des situations prédéterminées, et ne font qu’éluder les autres cas en y répondant par d’autres questions ou en essayant de changer de sujet. Il me semble très important de ne pas confondre intelligence avec imitation, sans quoi il faut considérer qu’une photocopieuse qui copie un texte est aussi intelligente que l’auteur du texte.

    Tout ça pour dire que je n’arrive pas à avoir peur de quelque chose qui n’existe pas. Si dans le futur un début d’IA est créé, on pourra se poser la question du danger potentielle qu’elle représente en fonction de plusieurs critères:
    – A-t-elle des motivations et objectifs propres ? Ou seulement ceux qui lui ont été donnés par ses créateurs ?
    – Sur quoi peut-elle agir concrètement ? Quels sont ses capteurs et actionneurs dans le monde réel ? A-t-elle accès à des outils lui permettant de s’améliorer et d’évoluer par elle-même ?
    – Peut-elle ressentir un équivalent de plaisir ou de souffrance qui vont influer sur ses décisions ?

    Si on ne confie pas à une « vraie IA » des armes ou une force suffisante pour blesser quelqu’un, si qu’on ne leur donne pas un pouvoir de décision sur nos vies, il n’y a pas de raison d’avoir peur des recherches.
    La vision optimiste du futur, c’est d’imaginer que l’IA sera un outil qui permettra d’aider l’humanité à progresser sur le plan scientifique et technologique. En attendant, même si je suis curieux de l’évolution de ce sujet dans les décennies à venir, je ne suis toutefois pas certain que l’on parvienne à faire apparaître cette nouvelle forme de vie, car c’en serait une.

Tous les commentaires seront les bienvenus.

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s