Pistes de lecture – Manipulations assistées par ordinateur

En juin 2014, un début de petit scandale avait commencé, à propos de la manipulation par Facebook des émotions de ses utilisateurs. Ce petit scandale avait permis de lire des réflexions fort intéressantes sur le pouvoir de Facebook et autres machins sociaux. Et puis le petit scandale était vite retombé dans l’oubli, comme tant de choses intéressantes en ce monde.

Cependant, je suis persuadé que, silencieusement, les entreprises de « Manipulations Assistées par Ordinateur » prospèrent. En d’autres temps, on en aurait fait un acronyme : MAO, après CAO, DAO et quelques autres … ça sonne bien, MAO, pour une entreprise intrinsèquement totalitaire, non ?

Quelques pistes de lecture sur l’industrie des Manipulations Assistées par Ordinateur.

Avec, en préambule, quelques rappels brefs :

* * *

Le 1er juillet 2014, dans « Le Nouvel Observateur », Boris Manenti résumait le petit scandale sous le titre « Oui, sur Facebook, nous sommes 1,2 milliard de rats de laboratoire »

Le réseau social s’est permis une expérience psychologique sur près de 700.000 utilisateurs en toute opacité, pour évaluer son « pouvoir d’influence ».

Au début de l’année 2012, Facebook a entamé une semaine d’expérience durant laquelle des scientifiques des universités Cornell à New York et de Californie à San Francisco ont mis les mains dans l’algorithme pour modifier les informations proposées à 689.003 internautes. Objectif : observer l’impact sur leurs émotions. Concrètement, certains utilisateurs ont vu surtout des publications jugées « positives », et d’autres surtout des posts « négatifs ». Les deux catégories étaient sélectionnées après une analyse linguistique basée sur le logiciel LIWC2007.

Les auteurs de l’étude, publiée en juin dernier dans la revue scientifique PNAS (Proceedings of the National Academy of Sciences of the United States of America), ont ainsi constaté que l’exposition à des contenus influe l’humeur et les futures publications, soit « une contagion émotionnelle de masse ». En d’autres termes, plus nous voyons du bonheur s’afficher dans le fil Facebook, plus nous avons envie de poster des statuts heureux. A l’inverse, une exposition à plus de contenus « négatifs » a dégradé l’expérience et l’humeur des internautes.

  • Sans commentaire.

Le même jour, Jaron Lanier, vétéran critique de la « high-tech », ancien « pionnier » de la « réalité virtuelle », soulignait dans « The New York Times », à la fois les dangers potentiels et l’absence de transparence et de précautions de ce que Facebook présentait comme d’innocentes « expériences scientifiques ».

The researchers claim that they have proved that « emotional states can be transferred to others via emotional contagion, leading people to experience the same emotions without their awareness. » The effect was slight, but imposed on a very large population, so it’s possible the effects were consequential to some people. The paper itself states its claims rather boldly, but one of the authors, Adam D. I. Kramer of Facebook, responding to intense criticism that it was wrong to study users without their permission, has since emphasized how tiny the effects were. But however the results might be interpreted now, they couldn’t have been known in advance.

The manipulation of emotion is no small thing. An estimated 60 percent of suicides are preceded by a mood disorder. Even mild depression has been shown to increase the risk of heart failure by 5 percent; moderate to severe depression increases it by 40 percent. (…)

Research with human subjects is generally governed by strict ethical standards, including the informed consent of the people who are studied. Facebook’s generic click-through agreement, which almost no one reads and which doesn’t mention this kind of experimentation, was the only form of consent cited in the paper. The subjects in the study still, to this day, have not been informed that they were in the study. If there had been federal funding, such a complacent notion of informed consent would probably have been considered a crime. Subjects would most likely have been screened so that those at special risk would be excluded or handled with extra care.

It is unimaginable that a pharmaceutical firm would be allowed to randomly, secretly sneak an experimental drug, no matter how mild, into the drinks of hundreds of thousands of people, just to see what happens, without ever telling those people. Imagine a pharmaceutical researcher saying, « I was only looking at a narrow research question, so I don’t know if my drug harmed anyone, and I haven’t bothered to find out. » Unfortunately, this seems to be an acceptable attitude when it comes to experimenting with people over social networks. It needs to change.

On assiste à une véritable absorption de cerveaux, de nombreux jeunes rêvant d’aller dans ces entreprises. Cependant, ce n’est ni la société ni l’opinion qu’ils analysent, mais les traces numériques que laissent des comptes tenus par des individus : tweets, « likes », commentaires… Ils cherchent ensuite des corrélations. Nul besoin d’hypothèses théoriques pour faire tourner les machines. Puis ces entreprises vendent ces analyses, ou leur valorisation, en suggérant à leurs clients de placer une publicité à un endroit plutôt qu’à un autre.

  • Mais la science a bon dos, elle en a vu d’autres …

Quelques années auparavant, en date du 17 mars 2011, The Guardian notait déjà que l’armée des Etats-Unis passait des appels d’offre pour se donner les moyens de manipuler les machins sociaux, sous le titre « US spy operation that manipulates social media » :

The US military is developing software that will let it secretly manipulate social media sites by using fake online personas to influence internet conversations and spread pro-American propaganda.

A Californian corporation has been awarded a contract with United States Central Command (Centcom), which oversees US armed operations in the Middle East and Central Asia, to develop what is described as an « online persona management service » that will allow one US serviceman or woman to control up to 10 separate identities based all over the world.

  • C’était il y a une éternité, il y a cinq ans ! L’armée des Etats-Unis a certainement fait de grands progrès depuis ces premiers appels d’offres timides …

Revenons à 2014. En décembre 2014, la chercheuse Zeynep Tufekci essayait, sous le titre « The year we get creeped out by algorithms » , de placer le petit scandale dans une perspective plus large :

Algorithms (basically computer programs, but here I’m talking about the complex subset that is being used to calculate results of some consequence, which then shape our experience) have become more visible in 2014, and it turns out we’re creeped out. The most visible, cited, discussed academic article of 2014 was one which exposed the fact that Facebook uses algorithms to manipulate its News Feed — something a majority of people apparently did not know. Most of the discussion was outrage: The lead author received hundreds of disgusted emails asking how dare he manipulate our social interactions on Facebook; the reality, of course, is that’s what Facebook does every day, algorithmically.

The Facebook experiment made visible what was always there, and raised more questions than it could answer. (…)

Algorithms are increasingly being deployed to make decisions where there is no right answer, only a judgment call. Google says it’s showing us the most relevant results, and Facebook aims to show us what’s most important. But what’s relevant? What’s important? Unlike other forms of automation or algorithms where there’s a definable right answer, we’re seeing the birth of a new era, the era of judging machines: machines that calculate not just how to quickly sort a database, or perform a mathematical calculation, but to decide what is « best, » « relevant, » « appropriate, » or « harmful. » It’s one thing to ask a computer the answer to a factoring problem, or the quickest driving path from point A to point B — it’s another to have a computer decide for us who among our friends is most « relevant » to us, or what piece of news is of most importance, or who should be hired (or fired).

L’art de la désinformation ne date pas d’hier. Faussaire est un métier à toutes les époques. Le 20 avril 2015, le journal suisse Le Temps présentait les « aveux » d’un « faussaire de l’information » :

Vraie ou fausse? Réelle ou imaginaire? Authentique ou fabriquée de toutes pièces? Peu importe. La seule chose qui compte, c’est que l’information circule, qu’elle génère du clic et du buzz, et que ceux-ci se convertissent en revenus. (…)

Variante tordue du marketing dit «de guérilla»: pour attirer l’attention sur le film, Ryan Holiday (qui n’a alors que 21 ans) invente, anonymement et en prenant de fausses identités en ligne, une campagne d’indignation contre le film lui-même, dénoncé pour son sexisme, son homophobie, sa vulgarité…

La polémique enfle rapidement, atteint une envergure nationale. Le film fait un flop en salles, puis devient un best-seller en DVD. Le communicateur réalise au passage qu’il est facile de manipuler la machinerie: envoyer un message à un blog en l’informant qu’une campagne de boycott a été lancée contre Tucker Max suffit pour que la campagne en question se mette à exister. Car les blogueurs, affamés de sujets, font circuler l’information sans la vérifier. Quant aux médias traditionnels, à l’affût du buzz et de plus en plus habitués à chercher leur matière dans la blogosphère ou sur les réseaux sociaux, ils s’empressent de reprendre l’histoire, sans rien vérifier non plus. «Je ne crois pas qu’on aurait pu imaginer un système plus simple à manipuler.»

  • Sans commentaire.

L’art de la manipulation ne date pas d’hier, la création de fausses identités, mais avec Twitter, Facebook et leurs confrères, la création de personnages fictifs à des fins de manipulation est passée au stade industriel. Le 21 avril 2014, le magazine américain The New Republic publiait un long et édifiant reportage sur cette industrie, sous le titre « The Bot Bubble » :

Casipong inserts earbuds, queues up dance music — Paramore and Avicii — and checks her client’s instructions. Their specifications are often quite pointed. A São Paulo gym might request 75 female Brazilian fitness fanatics, or a Castro-district bar might want 1,000 gay men living in San Francisco. Her current order is the most common: Facebook profiles of beautiful American women between the ages of 20 and 30. Once they’ve received the accounts, the client will probably use them to sell Facebook likes to customers looking for an illicit social media boost.

Most of the accounts Casipong creates are sold to these digital middlemen — « click farms » as they have come to be known. Just as fast as Silicon Valley conjures something valuable from digital ephemera, click farms seek ways to create counterfeits. Google « buy Facebook likes » and you’ll see how easy it is to purchase black-market influence on the Internet: 1,000 Facebook likes for $29.99; 1,000 Twitter followers for $12; or any other type of fake social media credential, from YouTube views to Pinterest followers to SoundCloud plays. Social media is now the engine of the Internet, but that engine is running on some pretty suspect fuel.

  • Sans commentaire. L’article est long et grouille de détails édifiants.
  • Je suppose que, pour ces « commodity markets », les prix baissent régulièrement. Le bruit devient chaque jour de plus en plus accessible.

Le 27 mai 2015, dans Numerama, Guillaume Champeau note que, du point de vue des moteurs de recherche, les thèses créationnistes anti-Darwin ont le vent en poupe… mais est-ce le résultat d’un activisme militant, ou juste de la logique des algorithmes, ou des deux à la fois ? Comment le savoir ? Dessein intelligent ou survie du plus apte ?

Selon nos tests réalisés en utilisant Startpage qui offre les résultats « bruts » de Google, sans personnalisation, à la question « Qu’est-il arrivé aux dinosaures », Google affiche deux sites créationnistes en tête des résultats. (…)

Mais si l’on utilise une requête au vocabulaire légèrement plus sophistiqué, comme « extinction des dinosaures » ou « disparition des dinosaures », ce sont bien des résultats neutres ou évolutionnistes qui apparaissent dans les premiers résultats.

D’où cette théorie : et si les créationnistes orientaient leur optimisation de référencement (SEO) vers des requêtes davantage susceptibles d’être effectuées par des enfants, qui demanderont plus facilement « qu’est-il arrivé aux dinosaures » que « quelle est la cause de l’extinction des dinosaures » ?

  • Ce n’est qu’un exemple, relativement anodin. Quoique …

Le 19 août 2015, dans Politico, Robert Epstein projette le débat sur un sujet plus brûlant, la prochaine élection présidentielle aux Etats-Unis, sous le titre « How Google Could Rig the 2016 Election » :

There are three credible scenarios under which Google could easily be flipping elections worldwide as you read this:

First, there is the Western Union Scenario: Google’s executives decide which candidate is best for us — and for the company, of course — and they fiddle with search rankings accordingly. There is precedent in the United States for this kind of backroom king-making. Rutherford B. Hayes, the 19th president of the United States, was put into office in part because of strong support by Western Union. (…)

Second, there is the Marius Milner Scenario: A rogue employee at Google who has sufficient password authority or hacking skills makes a few tweaks in the rankings (perhaps after receiving a text message from some old friend who now works on a campaign), and the deed is done. (…)

And third — and this is the scariest possibility — there is the Algorithm Scenario: Under this scenario, all of Google’s employees are innocent little lambs, but the software is evil. Google’s search algorithm is pushing one candidate to the top of rankings because of what the company coyly dismisses as « organic » search activity by users; it’s harmless, you see, because it’s all natural. Under this scenario, a computer program is picking our elected officials.

To put this another way, our research suggests that no matter how innocent or disinterested Google’s employees may be, Google’s search algorithm, propelled by user activity, has been determining the outcomes of close elections worldwide for years, with increasing impact every year because of increasing Internet penetration.

Cependant, Google, Facebook et leurs confrères restent, si on ose dire, des « services » publics. L’existence de leurs immenses bases de données est publique — même si la plupart des vrais usages sont viscéralement privés.

Mais il existe aussi des immenses bases de données dont l’existence n’est pas publique — et a fortiori les usages qui peuvent en être faits. Que reste-t-il des lois « informatique et libertés » à l’heure du capitalisme décomplexé et du teraoctet à sept dollars par mois ?

C’est ainsi que, le 10 septembre 2015, au détour d’un article de Markus Feldenkirchen dans Der Spiegel intitulé « America’s Oligarch Problem: How the Super-Rich Threaten US Democracy » , on apprend que les fameux frères Koch ont leurs propres bases de données à usages privés …

The arch-conservative Koch Brothers alone, whose estimated assets of $120 billion make them America’s second-richest family, want to invest $889 million in the current election campaign. That’s more money than the Democratic and Republican parties can raise together. The Kochs are investing in a targeted manner in individual candidates rather than parties. That makes their influence even more binding because it creates concrete dependent relations. They have also built a database that creates precise profiles of some 250 million Americans. They even have their own polling unit, telephone campaigns and marketing units for testing political messages. With this sheer power, it wouldn’t be off the mark to describe the Kochs as America’s most powerful political party.

  • Bien malin qui devinera (ou prouvera) ce que les frères Koch vont faire de leurs joujoux. Et bien malin qui pourrait dire combien d’autres oligarques se sont offerts en toute discrétion des joujoux équivalents…

Essayons pour conclure de prendre un peu de recul.

Le très regretté Umberto Eco (5 janvier 1932 – 19 février 2016) fut l’auteur entre autres, dans les années 1980s, d’un livre intitulé « La Guerre du Faux ». Le Point en date du 12 septembre 2011 avait publié une interview d’Umberto Eco intitulé « Nous vivons depuis des millénaires sous l’empire du faux ! » . Extrait :

L’Histoire n’a rien de vertueux ! Elle se déplace par le massacre, le crime… La construction du faux est l’un des instruments dont les États comme les individus ont fait usage pour modifier le cours de l’histoire. Parfois pour le meilleur (la science, les arts…), mais le plus souvent de manière négative. D’ailleurs, le mensonge de l’un est souvent la vérité de l’autre. Supposons que vous soyez musulman : alors vous considérez que tout ce que disent les catholiques, les bouddhistes, les Peaux-Rouges… est faux. De même si vous êtes catholique. Donc, de toute façon, 90 % de l’humanité est dans l’erreur ! À ce compte-là, nous vivons depuis des millénaires sous l’empire du faux, et l’histoire a été le théâtre d’une illusion… Les grandes religions sont des faux qui ont fait avancer l’histoire, vers le bien (la morale), ou le mal (les guerres de religion).

(…) D’habitude, tôt ou tard, les faux sont découverts. Ce fut le cas de la donation de Constantin, acte par lequel l’empereur Constantin Ier donnait au pape la primauté sur les Églises d’Orient et sur l’Occident. Ce fut l’humaniste Lorenzo Valla qui prouva son caractère apocryphe en 1440, grâce à une rigoureuse analyse linguistique. Mais parfois, le préjugé survit à cette découverte, c’est le cas du Protocole [des Sages de Sion]. La manipulation a été prouvée depuis longtemps, mais l’antisémitisme demeure.

Les MAOs ont de beaux jours devant elles !

Bonne nuit.

Publicités
Cet article, publié dans contemporains, informatique, Pistes de lecture, est tagué , , , , , , , , , , , , , , , , , , , , , . Ajoutez ce permalien à vos favoris.

Tous les commentaires seront les bienvenus.

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s