En Chine, un système de notation des citoyens encore flou mais aux ébauches effrayantes

Le « système de crédit social » (SCS) que le gouvernement chinois entend mettre en place à compter de 2020 ressemble à un épisode de la série d’anticipation dystopique Black Mirror.

Les détails de ce que l’on présente couramment comme un système unifié de notation des citoyens, fonctionnaires et entreprises chinois sont encore flous. Et pour cause : Pékin expérimente encore plusieurs options avant d’en choisir la meilleure pour la déployer dans tout le pays. Actuellement, plusieurs dizaines de systèmes différents coexistent et permettent d’entrevoir les grandes lignes du système qui sera choisi par les autorités. L’économiste Antonia Hmaidi, doctorante à l’université allemande de Duisbourg et Essen, les a présentés lors d’une conférence à la 35^e édition du Chaos Communication Congress, la grand-messe annuelle des hackeurs qui se tient à Leipzig (Allemagne) jusqu’au 30 décembre.

La légalité et la moralité passées au crible

« L’idée est de collecter des centaines de données sur les individus et les entreprises, depuis leur capacité à tenir leurs engagements commerciaux jusqu’à leur comportement sur les réseaux sociaux, en passant par le respect du code de la route », résumait en octobre la sinologue Séverine Arsène dans une tribune au Monde.

Seront donc passées au crible la légalité et la moralité dans les domaines économiques, sociaux et politiques, avec pour but un score dont découleront des récompenses ou des sanctions. Les Chinois pourront se voir ainsi restreindre l’accès à certains emplois, prêts, écoles ou transports publics. De telles « listes noires » existent déjà, par exemple dans le transport ferroviaire.

« En Occident et en Chine, ce système est perçu complètement différemment, explique en préambule Antonia Hmaidi. Ici, on le voit comme une grande dystopie orwellienne. En Chine, ils estiment plutôt que la technologie va régler les problèmes de la société. »

Et de rappeler que l’objectif-clé de ce projet du gouvernement chinois est de rétablir de la « confiance » au sein de la société, et ce, afin d’assainir les transactions économiques. « Il s’agit globalement de diviser ses citoyens en deux catégories : d’un côté, les personnes de confiance, de l’autre, ceux qui la rompent. »

Soixante-dix projets pilotes

Pour tenter de comprendre à quoi va pouvoir ressembler le système de crédit social et ses possibles conséquences dans le futur, Antonia Hmaidi s’est penchée sur trois projets pilotes, les plus aboutis parmi les soixante-dix déployés par le gouvernement. En effet, Pékin a désigné des villes-tests mais aussi autorisé des entreprises comme Alibaba, concurrent d’Amazon, à développer leur propre système de notation. Centralisé ou hyperlocal, reposant sur des logiciels informatiques ou plutôt sur un vaste catalogue de règles, la Chine n’a négligé aucune possibilité.

La chercheuse a donc étudié et généré des simulations à partir des protocoles établis :

• dans la ville de Suining (Sichuan), « qui a porté en germe plusieurs éléments du SCS même s’il a été abandonné après de vives critiques de la part des citoyens et des médias d’Etat, notamment parce qu’il reposait essentiellement sur la sanction » ;
• de celui testé à Rongcheng (Shandong), « un système très avancé et à plusieurs niveaux » ;
• et, enfin, le système de crédit Sésame, développé par l’entreprise Alibaba, « le seul qui ait réellement utilisé le machine learning et l’intelligence artificielle pour traiter les données ». Il a notamment permis à l’Amazon chinois de garder captifs les internautes sur ses services et produits, faciliter les paiements et déterminer leur solvabilité dans un pays ou encore beaucoup de gens n’ont pas de carte de crédit ou de compte en banque.

Pour ses travaux, Antonia Hmaidi s’est essentiellement focalisée sur le système de Rongcheng, car elle estime que c’est vers un système décentralisé comme celui-ci que la Chine pourrait tendre. Celui-ci va jusqu’à classer les individus à l’échelle de quartiers ou entreprises dans six catégories allant de AAA à D. Les habitants se voient attribuer 1 000 points de base qui fluctueront selon un catalogue de comportements établis qui vont du remboursement de dettes à une naissance planifiée en passant par le fait de planter des arbres dans son jardin.

De surcroît, des personnes référentes sont désignées au niveau local pour transmettre des informations au niveau hiérarchique supérieur. Les autorités n’hésitent pas non plus à afficher publiquement certains profils et informations pour inciter les gens à mieux se comporter, voir « s’autocensurer ».

Des systèmes largement biaisés

Les recherches d’Antonia Hmaidi, mais aussi les premiers résultats des expérimentations chinoises, révèlent plusieurs écueils. « A Rongcheng, on s’est aperçu que les personnes référentes reportaient plus d’informations sur les gens qu’ils n’aimaient pas que sur ceux qu’ils appréciaient, prend comme exemple la spécialiste. Et les individus pouvaient remonter leur note en faisant des dons publics. » A l’inverse de l’effet recherché par Pékin, Antonia Hmaidi pointe également une possible érosion du principe de confiance : « Ces systèmes marquent encore plus le fait que soit on appartient au groupe, soit on est un outsider. » Quant à la criminalité, « elle se déplace : les gens vont être vigilants là où ils sont surveillés mais les crimes pourront être commis ailleurs, hors ligne notamment ».

L’an dernier déjà, on redoutait au Chaos Communication Congress les effets d’un système de surveillance à si grande échelle. Antonia Hmaidi s’inquiète également des possibles nouveaux biais qui pourront accompagner le déploiement du SCS. « Ce système va reposer sur un numéro d’identité unique que se voient attribuer les Chinois à la naissance et nécessaire pour tout : acheter un téléphone, faire des démarches administratives, etc. Que se passe-t-il pour ceux qui n’en ont pas ? » Qu’adviendra-t-il aussi des citoyens, souvent ruraux, qui n’ont pas d’accès à Internet ? L’universitaire craint également que ce système ne soit un levier supplémentaire de discrimination envers certaines des cinquante-cinq minorités peuplant le pays « et qui pourraient être mises sous contrôle accru ».

La question des données personnelles des ressortissants chinois se pose également avec le SCS : « Nombre de Chinois sous-évaluent leurs données, n’ont pas conscience qu’ils en produisent. De même avec le système du numéro d’identité unique, il est facile d’avoir accès légalement à un grand nombre de données pour une petite centaine d’euros, y compris de la géolocalisation en temps réel. »

A quelques années du lancement officiel du score de crédit social, les observateurs se demandent encore jusqu’où ira la Chine dans ce vaste système d’évaluation. « On ne sait pas si les citoyens seront amenés à se noter entre eux et comment ils y seront obligés, on ignore s’il s’agira de plusieurs notes ou d’une note unique comme à Rongcheng, jusqu’à quel point les informations seront partagées, rendues publiques. Mais aussi quelle sera l’implication des entreprises dans ce processus », égrène Antonia Hmaidi. De quoi largement alimenter encore les doutes et les scénarios orwelliens.