Pistes de lecture – Les algorithmes prennent le volant

J’ai déjà cité maintes fois ce que je considère comme l’une des phrases-clefs de la décennie en cours, sinon plus :

Software is eating the world.

C’était le titre d’un texte de Marc Andreessen (faut-il présenter Marc Andreessen ?) publié le 20 août 2011 par The Wall Street Journal. Comme sous-titre, j’ai déjà proposé : « Le fabuleux destin des algorithmes » . On pourrait essayer : « Les algorithmes font du ski » . Passons.

Software is eating the world.

Le logiciel dévore le monde. Les algorithmes bouffent le monde.

En 2015, comme les années précédentes, et comme les années suivantes, nous prenons conscience de l’importance de ce mouvement.

En 2015, c’est le scandale Volkswagen en septembre qui l’a le plus clairement mis en lumière — même si la destruction méthodique de l’économie grecque par l’EuroGroup et la BCE (jusqu’à la capitulation du 13 juillet) en est aussi une illustration.

J’avais essayé de commenter l’affaire Volkswagen à chaud, reprenons le thème de la bagnole assistée par ordinateur à froid. Quelques pistes de lecture, pour finir l’année 2015.

* * *

The New York Times, en date du 26 september 2015, a publié un article édifiant intitulé « Complex Car Software Becomes the Weak Spot Under the Hood » :

New high-end cars are among the most sophisticated machines on the planet, containing 100 million or more lines of code. Compare that with about 60 million lines of code in all of Facebook or 50 million in the Large Hadron Collider.

« Cars these days are reaching biological levels of complexity, » said Chris Gerdes, a professor of mechanical engineering at Stanford University. (…)

Cars have become «sealed-hood entities with complicated computers and modules,» said Eben Moglen, a Columbia University law professor and technologist. «All of this is deeply nontransparent. And all of this is grounds for cheating of all sorts.»

The increasing reliance on code raises questions about how these hybrids of digital and mechanical engineering are being regulated. Even officials at the National Highway Traffic Safety Administration acknowledge that the agency doesn’t have the capacity to scrutinize the millions of lines of code that now control automobiles.

One option for making auto software safer is to open it to public scrutiny. While this might sound counterintuitive, some experts say that if automakers were forced to open up their source code, many interested people — including coding experts and academics — could search for bugs and vulnerabilities. Automakers, not surprisingly, have resisted this idea.

«There’s no requirement that anyone except the car companies looks at the code,» says Philip Koopman, an associate professor at the department of electrical and computer engineering at Carnegie Mellon University. «Computers can now exert almost complete control over your car. But if that software misbehaves, there’s nothing you can do.»

Quelques jours avant le scandale Volkswagen, le 7 septembre 2015, l’édition française de Slate avait recommandé et commenté un article de Wired, sous le titre « Prenez garde, les hackers ont déjà la main sur votre voiture » :

Fin juillet, le magazine Wired a publié un article qui, à première vue, ressemblait fort à de la science-fiction absurde: « Des pirates informatiques ont désactivé une jeep à distance sur l’autoroute; j’étais derrière le volant. » Deux spécialistes de la sécurité informatique expliquaient avoir trouvé un moyen de pirater les ordinateurs de bord d’une Jeep Cherokee. Le journaliste Andy Greenberg a fait le test: il a pris le volant et a emmené la voiture en question sur une autoroute; les pirates ont alors pris le contrôle de la climatisation, de la radio, des essuie-glaces et — de manière autrement plus inquiétante — de l’accélérateur et des freins. S’ils avaient voulu provoquer un accident et tuer le conducteur, ils l’auraient fait sans peine. (…)

Bienvenue dans le monde de l’Internet des objets, où tout appareil d’électroménager — et toute voiture, semble-t-il — peut véhiculer des logiciels potentiellement malveillants. Cela ne devrait pas nous surprendre: les mises en garde ne datent pas d’hier. En 1996, trois analystes du Terrorism Research Center ont coécrit un article intitulé « Terrorisme de l’information: Peut-on encore faire confiance à son propre grille-pain? ». Les auteurs se voulaient relativement facétieux, mais leur article s’est révélé prémonitoire. (…)

Les constructeurs automobiles pourraient adopter quelques mesures de prévention. Installer des pare-feux entre les ordinateurs purement internes au véhicule et ceux qui sont connectés au réseau, par exemple. Le simple fait qu’un volant soit connecté à un réseau est injustifiable. Si vous ne savez pas vous garer en créneau, c’est bien
simple: apprenez à le faire. (…)

Mais nous y sommes: le grand jeu du piratage/contre-piratage (qui a contaminé tous les secteurs d’activité sur Internet et, par conséquent, la quasi-totalité de notre vie de tous les jours) vient de faire son entrée dans l’arène du monde automobile. Et il est sans doute impossible de faire entièrement machine arrière. Contentons-nous de formuler une requête avant l’avènement de la prochaine révolution technique: par pitié, pendant qu’il en est encore temps, abandonnez tous les projets de voitures sans conducteur!

Et pourtant, les projets de voitures sans conducteur semblent se multiplient.

Il y a d’un côté les constructeurs « traditionnels », et il y a d’un autre côté les « nouveaux » de la Silicon Valley — avec quatre ou cinq « grands noms » déjà en haut de l’affiche : Apple, Google, Uber, Tesla … tous experts en « disruption » et autres délires, en attendant quelques autres …

Le Suddeutsche Zeitung, en date du 5 octobre 2015, met tout le monde sur le même plan, dans la foulée du scandale Volkswagen — sous le titre « How Volkswagen Scandal Could Change Global Auto Industry Forever » :

But while the German automaker is still busy tracking down the faulty vehicles, there are some mighty Californian companies ready to pounce. Starting with Apple, which has announced its goal of bringing the first iCar on the market by 2019. The secret project’s code name: Titan. And then there’s Google, the other Silicon Valley powerhouse, which let the prototype of their self-driving car cruise around on the roof of a former Californian mall. This is a car that might be on the roadway in as few as five years from now, combining the most futuristic artificial intelligence technology with the look and feel that one industry expert compared to the classic Fiat 500.

(…) For the world of traditional car manufacturers, it’s about learning to see the whole picture. After these painful recent weeks, some want to make clear they will not go down without a fight.

« I consider it inappropriate to distinguish between traditional and modern car companies, » BMW Harald Krueger told Suddeutsche Zeitung. « The whole industry has changed: In order to succeed in the future, one has to confront the following challenge: ‘How do I use the digitizing of the world in the best interests of my clients, and of my company?’ And: ‘How can I invest in individual mobility in as sustainable and eco-friendly way as possible?’ And this is valid for everyone, from Silicon Valley in the U.S. to Bavaria in Germany. » (…)

VW shares are still worth some 48 billion euros, even after the dramatic crash on the stock market. Just as a point of comparison, however: Would-be auto upstart Apple sits on a fortune of 180 billion euros. If it was interested, it might even buy Volkswagen …

Peut-on vraiment mettre les deux mondes sur le même plan ? Jean-Louis Gassée en doute, dans son billet pour « Monday Note » publié le 1er novembre 2015, intitulé « More Apple Car Thoughts: Software Culture » :

… does Apple’s personal computing software knowhow translate into the high-reliability real-time code required for a safe, reliable and, of course, elegant electric car? (…)

While it’s easy to poke fun at Zetsche’s pronouncements and his industry’s software-as-mere-IT culture, I also have to consider that my current vehicle is more than five years old — and how many software or mechanical bugs in those five years? Null. Zero. Before that, I drove a car from the same series for four and a half years. Bugs? One out-of-the-box suspension problem that was fixed a few days later and that was it. No more problems.

On my Mac, I tolerate the occasional screen message telling me that Mail or some other service has quit. Believe it or not, the example below just happened as I was editing this piece: (…)

I continue without damage to my data (so far). But what we’ve grown to accept in our personal computers can’t be allowed in a vehicle carrying human beings at 60 miles per hour.

Just because the software running inside Apple’s personal computing devices is considered high quality doesn’t mean that the culture that produces it is capable of producing the high-reliability, real-time embedded software needed for an electric car.

I am one of the many who believe culture always wins. Culture eats strategy for breakfast, it causes mergers and acquisitions to fail and, above all, it resists virile executive calls to change. Culture evolves slowly, as if having its own independent will, or not at all.

The bottom line is this: For the hypothetical Apple Car project to succeed, a necessary (but not sufficient) condition is a culture change of a kind rarely, if ever, achieved by large organizations.

Perhaps the new software culture could arise in a new, separate group, well protected against the corporate lymphocytes always prone to attack what they see foreign objects. But that would break Apple in two separate cultures, and be the beginning of a dangerous process for a company that, today, strives on having a united functional organization.

I hope Apple succeeds and will watch for signs of change as months go by and as, in a kind of tunnel effect, information manages to leak through the company’s wall of silence.

Autrement dit : Software is eating the world … but is software culture also eating the world? Peut-on tolérer des voitures aussi peu fiables que les produits logiciels « classiques » ? A mon humble avis d’humble praticien, c’est la question essentielle !

Jean-Louis Gassée est un vétéran de la Silicon Valley, passé par Hewlett-Packard et Apple, sans parler de Be dans les années 1990s. Dans une note antérieure, datée du 18 janvier 2015 (et intitulée « Apple Software Quality Questions » ), il écrivait :

I know what I hope for. I don’t expect perfection, I’ve lived inside several sausage factories and remember the smell. If Apple were to spend a year concentrating on solid fixes rather than releasing software that’s pushed out to fit a hardware schedule, that would show an ascent rather than a slide.

J’aime beaucoup l’expression « sausage factories » (usines de saucisses), pour parler de production de logiciels. Elle me ramène à cette sentence attribuée à Otto von Bismarck, que j’utilise souvent dans mon univers professionnel, et que j’ai déjà citée à propos de la production de chiffres :

La condition de la stabilité sociale, c’est que le peuple soit tenu dans l’ignorance de comment sont fabriquées les lois, et comment sont fabriquées les saucisses.

Beate pauperes spiritu. Security through obscurity. Ignorance is strength.

En cette année 2015, le 17 mars 2015, Elon Musk, le patron de Tesla qui passe volontiers pour un prophète, a proclamé qu’à terme, c’est aux humains qu’il faudrait interdire de conduire :

Self-driving cars might be a novelty today. But in the not-too-distant future, they could become common.

Eventually, autonomous cars might prove to be so much safer than human drivers that you won’t even be allowed to take the wheel anymore, Tesla co-founder and CEO Elon Musk said on Tuesday.

« People may outlaw driving cars because it’s too dangerous, » Musk told NVidia CEO Jen-Hsun Huang at the company’s GPU Technology Conference in San Jose, California, according to CNBC. « You can’t have a person driving a two-ton death machine. »

Puisqu’on vous dit que les machines sont supérieures aux êtres humains !

Dès 2010, le 28 septembre 2010, Eric Schmidt (patron de Google) avait déjà lui aussi joué le prophète :

Your car should drive itself. It just makes sense. It’s a bug that cars were invented before computers.

Puisqu’on vous le dit !

Et aux diables les gêneurs qui parlent de responsabilité, de fiabilité, de qualité et de sécurité !

Uber, de son côté, achète littéralement un Etat, l’Arizona, pour servir de terrain d’expérimentation à ses voitures sans conducteur. C’est expliqué presque tel quel dans un article du Spectrum, la revue de la plus grande association d’ingénieurs de la planète, l’IEEE, en date du 14 septembre 2015 :

All the other U.S. states that have passed laws for the testing of self-driving vehicles have followed this recommendation, requiring a driver in the car able to quickly and easily take manual control. California even requires safety drivers to be specially trained to deal with problems that self-driving cars might suffer from, such as unexpectedly steering, accelerating, or braking.

Uber is not the only company that would prefer to let self-driving vehicles fend for themselves, however. Volkswagen-Audi and Zoox, a Silicon Valley robo-taxi start-up, both unsuccessfully lobbied Californian officials to remove the requirement for a safety driver in their test vehicles. «Zoox is designing vehicles to perform all safety critical driving functions,» wrote Michael Harrison-Ford, the company’s chief of staff. «The regulations are couched in terms of traditional automobiles and risk excluding the benefits of [full] autonomy.»

Arizona promises to be a much friendlier state for such high-tech companies. «Arizona has been a great home for Uber,» the company wrote in a recent blog post. Governor Ducey championed ridesharing regulations that allowed Uber to operate legally in Arizona, and Uber opened a customer service center in the state in June. During August’s press conference, the company announced a US $25,000 donation to the University of Arizona, and committed to fund research into mapping and self-driving technologies there.

Dès lors, qui croit un seul instant qu’il y aura la moindre publicité faite à d’éventuels incidents, défaillances ou défauts, liés à ces merveilleuses voitures pilotés par de fabuleux algorithmes ? Dans le cas d’Uber en Arizona, comme dans d’autres cas — si Uber peut se payer un Etat américain, ses éventuels partenaires ou concurrents (dans la Silicon Valley, on ne sait jamais trop bien) feront de même, si c’est pas déjà fait…

Exactement quelques jours avant la première apparition du nom d’Edward Snowden dans les médias, le 2 juin 2013, The Financial Times publiait un petit article intitulé « Obama’s faith in the geek elite who have your secrets » , ironisant sur la « foi » de Barack Obama et de son gouvernement pour les GAFAs et autres rois de la « big data » de la Silicon Valley :

A century ago, Theodore Roosevelt pushed back against the power of the rail barons and oil titans – the great technological disrupters of his day. Mr Obama should pay closer heed to history. And he should become wary of geeks bearing gifts.

A l’époque, j’avais écrit un billet intitulé « Le gouvernement des USA a accès aux données des GAFA, quelle surprise ! » , où j’ironisais sur l’apparente opposition entre le petit monde de la politique des Etats-Unis et le petit monde des affaires de la Silicon Valley. C’était il y a deux ans et demie — une éternité !

Selon « The Financial Times » en 2014, Google a dépassé Goldman Sachs en termes de « contributions politiques » (forcément désintéressées, évidemment) :

Google has surpassed Goldman Sachs as a US political donor in a sign of Silicon Valley’s increasingly assertive efforts to shape policy and counter critical scrutiny in Washington.

Google’s political action committee, NetPAC, has spent more money on political campaigns this year than Goldman, at $1.43m, just edging out the $1.4m by the bank that is famous for its political connections. That is a marked change from the last midterm election in 2010, when Google spent only a third as much as Goldman.

Une autre source suggère que Google et Microsoft seront parmi les 10 plus gros financiers de la campagne présidentielle américaine en cours.

De la même manière, l’affaire Volkswagen a mis en lumière la proximité du gouvernement fédéral allemand — et de ses relais à Bruxelles (la Commission Européenne n’en sort pas grandie) — avec l’industrie automobile allemande. On peut lire par exemple, dans une petite synthèse de Reuters datée du 26 septembre 2015 :

Four years later, in the run-up to the next election and amid heavy pressure from the VDA, her government lobbied aggressively in Brussels – even threatening other countries in order to win their backing, according to diplomats – to water down new European rules on CO2 emissions that Daimler and BMW opposed. In a « Dear Angela » letter that later leaked, causing an uproar in the German media, Wissmann urged Merkel to fight the more ambitious targets.

« I think we need to ensure that in our drive to protect the environment we are not damaging our own industrial base, » Merkel said at the time.

Months later, and only weeks after Merkel had won a third term, her party received donations totaling 690,000 euros from the family that controls BMW. The news sparked a backlash from opposition parties and the German media. The CDU said the money had « no connection to any political decisions ».

On peut lire aussi, dans un long reportage de « Der Spiegel » en date du 6 novembre 2015, intitulé « Berlin Accomplices: The German Government’s Role in the VW Scandal » :

Volkswagen’s deceit goes well beyond diesel emissions. The company’s fuel efficiency claims have also been revealed as fraudulent. But some of the guilt lies with a German government that did all it could to make life easy on automakers.

Bref, si les autorités allemandes (et donc européennes) ont fermé les yeux sur la fraude assistée par informatique des constructeurs automobiles allemands, on peut compter sur les autorités américaines pour fermer les yeux sur les défauts informatiques des constructeurs automobiles américains.

Et même si c’est un régulateur américain qui a fait éclater l’affaire Volkswagen, je ne compte pas beaucoup sur les régulateurs européens (Jean-Claude Juncker ? Pierre Moscovici ? Prière de ne pas rire !) pour faire éclater de futurs scandales concernant les Google Cars, Apple Cars, Uber Cars et assimilés.

Ils ne vont quand même pas laisser des préoccupations secondaires (responsabilité, fiabilité, qualité, sécurité, etc) nuire à la préoccupation principale (faire du fric) !

* * *

En conclusion provisoire de ce feuilleton « Software is eating the world » , quelques phrases d’un classique de la science-fiction, « Dune » de Frank Herbert :

Once men turned their thinking over to machines in the hope that this would set them free. But that only permitted other men with machines to enslave them.

Bonne journée.

Publicités
Cet article, publié dans Pistes de lecture, est tagué , , , , , , , , , , , , , , , , , , , , . Ajoutez ce permalien à vos favoris.

Tous les commentaires seront les bienvenus.

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s