Apportez les interdictions de la technologie

À la mi-juillet 2019, Oakland, en Californie, est devenue la troisième ville américaine à interdire aux départements municipaux d’utiliser la technologie de reconnaissance faciale. Entre-temps, le Congrès a entamé des auditions sur le point de savoir si et comment le réglementer au niveau national. Dans un moment surprenant de consensus bipartite, les législateurs ne se sont disputés que sur l'étendue des restrictions.

Cette réaction à une technologie puissante et potentiellement invasive témoigne de la manière dont le public et les décideurs pourraient réagir aux futurs développements technologiques, notamment ceux faisant appel à l'intelligence artificielle. La reconnaissance faciale permet non seulement à Facebook d'automatiser le marquage des personnes sur les photos, mais elle renforce également la capacité des forces de l'ordre à rechercher des suspects de criminalité. Les questions éthiques abondent. Comme le dit le Center on Privacy and Technology de Georgetown, la reconnaissance faciale pourrait mener à "un monde dans lequel, une fois que vous aurez mis les pieds à l'extérieur, le gouvernement peut suivre chacun de vos mouvements". Et ce n'est que le début.

À l’horizon, un flot d’innovations numériques qui pourraient être au moins aussi puissantes, variées et controversées: vidéos «deepfake» montrant des personnes faisant ce qu’ils n’ont jamais fait, «l’internet des objets» surveillant en permanence des domiciles privés, réalité virtuelle manipulatrice, voitures autonomes conduisant des communautés accablantes et plus encore.

Je suis un chercheur qui étudie les impacts sociétaux des technologies numériques. Mon travail consiste à rester informé des technologies à venir et à projeter les résultats futurs. Mais, avec de plus en plus d’innovations, il reste de moins en moins de temps pour réfléchir aux conséquences. Beaucoup de mes collègues ressentent la même chose.

Pour apprivoiser cette marée montante, la société a besoin de barrages et de digues. Comme cela a commencé avec la reconnaissance faciale, il est temps d'envisager des interdictions légales et des moratoires sur d'autres technologies émergentes. Celles-ci ne doivent pas nécessairement être permanentes ou absolues, mais l'innovation n'est pas un bien absolu. Plus une technologie est puissante, plus elle a besoin de soin pour fonctionner en toute sécurité.

Peu d'urgence

La plupart des nouvelles technologies numériques ne sont pas nécessaires. Certaines innovations, bien sûr, sont presque totalement positives: anesthésie, éclairage électrique, radio, vaccins. Mais la société d'aujourd'hui célèbre souvent l'innovation pour elle-même, même lorsque les avantages sont discutables – et de plus en plus, les avantages sont effectivement discutables.

Vaut-il vraiment la peine que le ciel soit rempli et rempli de drones pour permettre la livraison des biens de consommation en une heure, au lieu de les livrer en 24 heures ou même deux jours? La réalité virtuelle est-elle si grande que les enfants devraient grandir les yeux rivés sur les écrans vidéo? Lorsque les gouvernements peuvent mener des assassinats difficiles à retrouver par drone, est-ce que quelqu'un est vraiment en sécurité? L'analyse des listes de technologies futures possibles peut susciter plus de peur que d'espoir.

Ces types d’innovations échouent régulièrement pour apporter des améliorations globales significatives, telles que l’amour profond des gens, la compassion dont ils font preuve, la mesure dans laquelle la société soutient les moins privilégiés ou la sagesse qui gère la planète. Au contraire, la technologie semble amplifier les faiblesses morales des humains en choyant les gens avec le confort du consommateur et des chambres d'écho. Le dernier demi-siècle a été marqué par l’âge d’innovation numérique, mais les taux de pauvreté ont stagné, les inégalités se sont accrues et la durabilité semble plus difficile à atteindre.

La plupart des avancées technologiques actuelles ne résolvent pas ces problèmes; ils s'attaqueront aux petits désagréments qu'il n'y a tout simplement pas d'urgence à soulager.

Dommage presque certain, mais pas clair

Les nouvelles technologies ont toujours des conséquences inattendues – souvent négatives – et les innovateurs sous-estiment toujours leur gravité. Les pesticides ont provoqué des fléaux de santé publique. Les bouteilles en plastique ont pollué les océans. Les téléphones intelligents contribuent à une crise de santé mentale chez les adolescentes.

Réfléchissez à ce qu'un système d'IA pourrait faire si on lui demandait de faire quelque chose d'évident – comme maximiser les profits en utilisant toutes les informations et tous les outils à sa disposition. Des informations personnelles gênantes pourraient contraindre les utilisateurs à acheter des produits ou extorquer des actions criminelles à des personnes ayant des secrets bien plus sombres.

Rien n'a encore empêché les algorithmes des magasins en ligne de mentir pour augmenter les ventes, ni de limiter la capacité réelle de Facebook à manipuler l'humeur des utilisateurs. Les entreprises technologiques considèrent régulièrement leurs clients comme des cobayes expérimentaux et appliquent déjà des systèmes d’intelligence artificielle à diverses fins.

Si ce ne sont que les effets connus des entreprises de technologie; efforts et innovations, imaginez quelles conséquences inattendues pourraient se cacher. Le principe du jeu populaire "Universal Paperclips" est qu'une intelligence artificielle axée sur l'optimisation d'une entreprise finit par détruire l'univers connu. La science fiction devient rapidement un fait scientifique.

Difficile de reculer

Une fois lancées, les technologies numériques sont des génies particulièrement difficiles à remettre en bouteille. À cet égard, elles diffèrent des autres technologies avancées. Peu après la Seconde Guerre mondiale, les activistes ont commencé à réclamer l'interdiction des armes nucléaires, aboutissant au Traité sur la non-prolifération en 1970. Ce traité a permis de maintenir une technologie vieille de 80 ans limitée à huit ou neuf pays. exploit impressionnant, en particulier à travers l’histoire déchirée de la politique mondiale.

Toutefois, les armes nucléaires nécessitent des ressources importantes pour la conception, la construction, les essais et le déploiement. En revanche, les technologies numériques sont faciles à partager, ce qui les rend encore plus difficiles à contrôler. Des outils de piratage avancés ont été volés et partagés en ligne: Les techniques développées par la US National Security Agency ont été utilisées dans les cyberattaques mondiales par la Chine, la Russie et la Corée du Nord. Leur logiciel est maintenant disponible pour toute personne disposant d'une connexion Internet.

Un déséquilibre de pouvoir

Les entreprises technologiques qui poussent leurs avances ont de l’argent, de l’influence et du temps. Les millions de dollars qu'ils investissent dans le lobbying sont un changement de poche comparé à leurs bénéfices de plusieurs milliards de dollars et ils peuvent conserver le financement indéfiniment, en attendant les cycles de nouvelles et l'énergie énergique des activistes.

À mon avis, l’incertitude quant à la manière dont les nouvelles technologies affecteront la société signifie que les forces sceptiques méritent davantage de soutien. Les interdictions et les moratoires signifieraient que les entités riches et puissantes devraient demander l’autorisation juridique et sociale de la société avant de lancer leurs monstres potentiels sur le marché. Cela ne semble pas trop demander.

Il existe de nombreuses raisons pour continuer à développer de nouvelles technologies: rester compétitif sur le plan mondial, faire progresser les connaissances humaines et se préparer à de futures crises potentielles. La technologie a ses avantages. Mais ralentir le rythme de ses progrès donnerait à la société plus de temps pour réfléchir aux conséquences et débattre des aspects souhaitables des nouvelles technologies et de ceux qui devraient être proscrits.

Cet article est republié de The Conversation sous une licence Creative Commons. Lire l'article original.