Les algorithmes qui traitent les multiples données que l’on collecte sur nous (les big data) doivent être surveillés. Encore faut-il disposer des outils nécessaires. Leur collecte et leur perfectionnement sont en cours. C’est ce qu’a expliqué Nozha Boujemaa, directrice de recherche à l’INRIA, Chargée de la plateforme Transalgo, lancée à la suite de la loi pour une République numérique. Elle était l’invitée du Club des vigilants le 12 septembre.

Cette spécialiste internationale des « datas »** n’a certes pas peur des algorithmes…  Sans eux « les données sont inertes » et ils rendent donc des services indéniables à l’homme quand il s’agit d’exploiter des données de plus en plus massives (les fameuses « big data »). Ils peuvent en effet surpasser l’humain dans le traitement des informations à la fois en qualité, en quantité et en rapidité.

Mais (et le « mais » est de taille), les algorithmes méritent vigilance. Il faut être conscient des « effets de bord » qu’ils contiennent. Ceci d’autant plus qu’ils orientent de plus en plus nos vies au quotidien.

Les algorithmes (une excellente définition en est donnée sur le site interstices.info), ce n’est pas nouveau. Mais leurs propriétés évoluent : nous sommes passés de l’observation à l’analyse, puis nous basculons progressivement dans le prédictif et commençons à entrer désormais dans l’ère du prescriptif, qui peut faire basculer des décisions individuelles et présente un caractère nettement intrusif.

Il faut se poser la question de l’impact de ces algorithmes sur notre vie de tous les jours et les évolutions de société qui peuvent en découler.

En France, on connaît tous le système APB, qui gère l’accès aux études des jeunes Français après le bac. Aux USA, l’utilisation des algorithmes va plus loin et le prescriptif entre dans les mœurs. Dans le domaine médical par exemple, Watson, le logiciel d’IBM (déjà utilisé pour de multiples autres activités) est capable de diagnostiquer l’existence ou non de cancers en lisant des radios et dépasse en qualité les consultations de spécialistes. A tel point que certains en vont jusqu’à imaginer la disparition du métier de radiologue.
La sécurité prédictive se développe également  Outre-atlantique , où tel ou tel logiciel de sécurité décide de qui est potentiellement dangereux.

Les intérêts économiques liés au développement de l’utilisation des algorithmes sont parfois énormes. Car les algorithmes de recommandations sont sources de suggestions que le « consommateur » est prêt à suivre. On peut alors s’interroger sur ces recommandations et  se poser la question de la « loyauté » des algorithmes. Sont-ils loyaux envers les citoyens/utilisateurs ou envers les concepteurs, ceux qui possèdent les « datas » ?

Ainsi savons-nous que le chiffre d’affaires d’Amazon provient majoritairement des recommandations d’achat adressées aux clients ? S’agit-il d’un véritable service pour ceux-ci ou d’une stratégie d’influence permettant d’optimiser les recettes de la firme (en recommandant les articles en stock, pas les autres !) ?

Autre exemple où se pose la question de la loyauté : les variations de prix (à la hausse…) au cours d’achats en ligne. La GGCCRF reçoit de plus en plus de plaintes portant sur ce thème. Ces pratiques relèvent-elles d’un banal souci de « yield management » ou …pas ?

Or, derrière un algorithme il y a des hommes, souvent un spécialiste des algorithmes et un spécialiste du métier concerné. Et qui dit humain dit « biais » et « opinions ». Les algorithmes ne sont pas neutres. « Des algorithmes sont des opinions » a même dit Nozha Boujemaa.

Finalement, c’est la question de l’asymétrie informationnellequi se pose.  Entre les citoyens ou consommateurs d’un côté et de l’autre les plate-formes numériques, entre l’utilisateur et le concepteur de l’algorithme.

C’est pourquoi la loi pour une République numérique (loi Lemaire de 2016) a établi le principe de leur transparence. Et c’est l’objet du programme TRANSALGO : au-delà de la mise en place d’un portail pédagogique à destination du grand public, il s’agit de développer des algorithmes capables d’auditer d’autres algorithmes et d’expliquer précisément ce qu’ils font. La publication d’un code source ne suffit pas, a-t-elle dit en réponse à une question sur APB qui, bien qu'émanant de l’administration, est un « exemple de non transparence ».

Car, et là les choses se compliquent, il n’est pas toujours certains que les algorithmes se comportent comme ils déclarent le faire…

L’industrie privée a intérêt au développement de ces outils de transparence, assure-t-elle. Certaines entreprises renoncent ainsi à l’utilisation de programmes de « deep learning » parce qu’on n’est pas capable de leur expliquer vraiment ce qu’il y a dedans. Les entreprises sont également conscientes des risques juridiques qu’elles encourent en utilisant des algorithmes non maîtrisés ou non transparents, sachant que les concepteurs des algorithmes ne sont pas forcément ceux qui les exploitent et que le manque de loyauté n’est pas forcément intentionnel  (elle cite le cas d’une entreprise qui n’avait pas conscience que les usagers refusant de fournir leur position GPS étaient néanmoins géolocalisés).

C’est en partant de l’idée forte qu’il « ne suffit pas de disposer des meilleurs algorithmes, il faut aussi savoir les utiliser » et de la certitude que « la réponse n’est pas que technologique » (« il faut dès le départ co-concevoir des solutions en favorisant les échanges entre disciplines ») qu’est né i2-DRIVE le nouvel « Institut Convergence » multidisciplinaire lancé par l’INRIA en association avec 14 université, grandes écoles et instituts de recherche nationaux pour développer la recherche et l’enseignement sur ces sujets (associant donc des scientifiques et des juristes, sociologues, économistes…).
Et là, la France apparaît vraiment comme un pays pionnier en la matière !

A une question sur la manière de susciter plus de confiance de la part du public, Nozha Boujemaa s’est montrée peu enthousiaste à l’idée de création de labels, d’instauration de tiers de confiance ou de régulateurs. « C’est encore prématuré » dit-elle, « on manque des outils d’auditabilité nécessaires aux acteurs de la régulation ».

La vigilance peut aussi se situer au niveau des utilisateurs « finaux »…
 En réponse à une question, Nozha Boujemaa exprime son optimisme face au développement de transgressions et de contournements par lesquels les individus les plus avertis tentent déjà de mettre en place des garde-fous.  Ainsi, un récent article de Wired, le magazine des geeks, explique comment leurrer les logiciels de scoring qu’utilisent les banques pour accorder un crédit ou pas. Se multiplient également des comportements de consommateurs qui se renseignent pour un achat via un navigateur et qui en changent pour commander afin d’éviter les variations de prix … De petits outils commencent également à voir le jour pour renforcer le niveau d’information des gens et mieux maîtriser les flux de données dans lesquels on est « pisté ». Ainsi Lightbeam, extension du navigateur Mozilla, permet de visualiser la grappe des sites web dans lesquels transitent les données personnelles transmises à l’un ou l’autre…

Pour résumer la richesse des propos de Nozha Boujemaa , la vigilance de tous est donc de mise. Avec trois concepts clefs à opposer aux dangers potentiels que représentent les algorithmes mal maîtrisés : « Transparence, loyauté, explicabilité ».

Contributeurs : Anne Beaufumé, Ariane Chérel, Jean-Claude Hazera, Jean-François Soupizet.

**Petite bio de Nozha Boujemaa

Nozha Boujemaa est directrice de recherche Inria et conseillère du PDG en Big Data. Spécialiste en indexation et recherche interactive d'information par le contenu visuel, en apprentissage semi-supervisé et non-supervisé, elle a contribué à l'émergence des moteurs de recherche multimédia à large échelle de nouvelle génération. Elle a dirigé plus de 25 thèses et est auteur de plus de 150 publications dans des journaux et conférences internationales. Membre fondateur d'ACM International Conference on Multimedia Retrieval (ICMR) et General Chair d’ACM Multimedia 2013, elle a dirigé pendant 10 ans les travaux de l'équipe-projet IMEDIA/Inria avant de prendre la direction du centre de recherche Inria Saclay jusqu’à fin 2015.
Nozha Boujemaa est General Chair du "European Data Form 2017" qui aura lieu à Versailles en novembre ; elle est membre du board du "Data Transparency Lab" fondé par le MIT, Mozilla et Telefonica, du "Board of Directors" de BDVA (Big Data Value Association) qui pilote avec la commission européenne le PPP Big Data et conseillère internationale de la JST pour le programme national japonais "Core Technologies for Big Data Integration".