Les algorithmes biaisés et la modération censurent les militants sur les réseaux sociaux

À la suite de la Journée de la robe rouge le 5 mai, une journée visant à sensibiliser le public aux femmes et filles autochtones disparues et assassinées (MMIWG), les militants autochtones et les partisans de la campagne ont découvert que les publications sur le MMIWG avaient disparu de leurs comptes Instagram. En réponse, Instagram a publié un tweet disant que c’était « un problème technique mondial généralisé sans lien avec un sujet en particulier, « suivi par des excuses expliquant que la plateforme »a connu un bug technique, qui a affecté des histoires, des faits saillants et des archives de millions de personnes à travers le monde.  »

Les créateurs, cependant, ont déclaré que toutes les histoires n’étaient pas affectées.

Et ce n’est pas la première fois que les plateformes de médias sociaux font l’objet d’un examen minutieux en raison de leur censure erronée des militants de la base et des minorités raciales.

De nombreux militants de Black Lives Matter (BLM) étaient également frustrés lorsque Facebook a signalé leurs comptes, mais n’a pas fait assez pour arrêter le racisme et les discours de haine contre les Noirs sur leur plate-forme.

Alors, s’agissait-il vraiment de problèmes techniques? Ou sont-elles le résultat des politiques et pratiques discriminatoires et biaisées des plateformes? La réponse se situe quelque part entre les deux.

Tout le monde sait pourquoi @instagram tout supprimé / censuré #MMIWG histoires d’hier? Les familles, les proches, les défenseurs sont profondément bouleversés. Pourquoi cela arriverait-il? pic.twitter.com/44pmSdZvfh

– Brandi Morin (@ Songstress28) 6 mai 2021

Vers une modération de contenu automatisée

Chaque fois que le message d’un activiste est supprimé à tort, il y a au moins trois scénarios possibles.

Premièrement, parfois, la plateforme supprime délibérément les publications et les comptes des militants, généralement à la demande et / ou en coordination avec le gouvernement. Cela s’est produit lorsque Facebook et Instagram ont supprimé les publications et les comptes d’Iraniens qui ont exprimé leur soutien au général iranien Qassem Soleiman.

Dans certains pays et territoires contestés, tels que le Cachemire, la Crimée, le Sahara occidental et les territoires palestiniens, des plateformes ont censuré des militants et des journalistes pour prétendument maintenir leur accès au marché ou se protéger des responsabilités légales.

Deuxièmement, un message peut être supprimé grâce à un mécanisme de rapport utilisateur. Pour gérer les communications illégales ou interdites, les plateformes de médias sociaux se sont en effet principalement appuyées sur le signalement des utilisateurs.

En appliquant les normes communautaires développées par la plate-forme, les modérateurs de contenu examineraient ensuite le contenu signalé et détermineraient si une violation avait eu lieu. Si tel était le cas, le contenu serait supprimé et, en cas d’infractions graves ou répétées, l’utilisateur pourrait être temporairement suspendu ou banni définitivement.

Ce mécanisme est problématique. En raison du volume considérable de rapports reçus quotidiennement, il n’y a tout simplement pas assez de modérateurs pour examiner chaque rapport de manière adéquate. De plus, les complexités et les subtilités du langage posent de réels défis. Pendant ce temps, les groupes marginalisés qui réclament des termes abusifs pour sensibiliser le public, tels que BLM et MMIWG, peuvent être interprétés à tort comme étant abusifs.

De plus, en signalant le contenu, les utilisateurs ont tendance à se fier à la partisanerie et à l’idéologie. L’approche du rapport utilisateur est motivée par l’opinion populaire des utilisateurs d’une plate-forme tout en réprimant potentiellement le droit à la parole impopulaire.

Une telle approche renforce également la liberté de haine, où les utilisateurs exercent leur droit d’exprimer leurs opinions tout en faisant taire les autres. Un exemple notable est la suppression par Facebook de « Liberté pour la Palestine », une collaboration multi-artistes publiée par Coldplay, après qu’un certain nombre d’utilisateurs ont signalé la chanson comme « abusive ».

Questions continues pour @instagram (@Facebook ) & Twitter @Politique sur les messages supprimés et les comptes avec un contenu pertinent pour Sheik Jarrah et la mosquée Al Aqsa.

Le «pépin» technique et les autres erreurs admises nécessitent une plus grande transparence quant à ce qui s’est passé et pourquoi. @accessnow @ 7amleh https://t.co/x1al5qmIIk

– Peggy Hicks (@hickspeggy) 12 mai 2021

Troisièmement, les plateformes utilisent de plus en plus l’intelligence artificielle (IA) pour aider à identifier et supprimer les contenus interdits. L’idée est que les algorithmes complexes qui utilisent le traitement du langage naturel peuvent signaler les contenus racistes ou violents plus rapidement et mieux que les humains ne le peuvent. Pendant la pandémie COVID-19, les entreprises de médias sociaux comptent davantage sur l’IA pour couvrir des dizaines de milliers de modérateurs humains qui ont été renvoyés chez eux. Plus que jamais, les algorithmes décident de ce que les utilisateurs peuvent et ne peuvent pas publier en ligne.

Biais algorithmiques

Il y a une croyance inhérente que les systèmes d’IA sont moins biaisés et peuvent mieux évoluer que les êtres humains. En pratique, cependant, ils sont facilement disposés à l’erreur et peuvent imposer des biais à une échelle systémique colossale.

Dans deux études linguistiques informatiques de 2019, les chercheurs ont découvert que l’intelligence artificielle destinée à identifier le discours de haine pouvait en fait finir par amplifier les préjugés raciaux.

Dans une étude, les chercheurs ont constaté que les tweets rédigés en anglais afro-américain couramment parlé par les Noirs américains sont jusqu’à deux fois plus susceptibles d’être signalés comme offensants par rapport aux autres. En utilisant un ensemble de données de 155 800 tweets, une autre étude a révélé un préjugé racial répandu similaire contre les discours des Noirs.

Ce qui est considéré comme offensant est lié au contexte social; les termes qui sont des liaisons lorsqu’ils sont utilisés dans certains contextes peuvent ne pas l’être dans d’autres. Les systèmes algorithmiques n’ont pas la capacité de capturer les nuances et les particularités contextuelles, qui peuvent ne pas être comprises par les modérateurs humains qui testent les données utilisées pour entraîner ces algorithmes. Cela signifie que le traitement du langage naturel qui est souvent perçu comme un outil objectif pour identifier un contenu offensant peut amplifier les mêmes préjugés que les êtres humains.

Les préjugés algorithmiques peuvent mettre en danger certaines personnes qui sont déjà à risque en les catégorisant à tort comme offensantes, criminelles ou même terroristes. À la mi-2020, Facebook a supprimé au moins 35 comptes de journalistes et d’activistes syriens sous prétexte de terrorisme alors qu’en réalité, ils faisaient campagne contre la violence et le terrorisme.

Le MMIWG, le BLM et les cas syriens illustrent la dynamique des «algorithmes d’oppression» où les algorithmes renforcent les anciennes relations sociales oppressives et réinstalle de nouveaux modes de racisme et de discrimination.

Alors que l’IA est célébrée comme une technologie autonome qui peut se développer loin de l’intervention humaine, elle est intrinsèquement biaisée. Les inégalités qui sous-tendent les préjugés existent déjà dans la société et influencent qui a la possibilité de créer des algorithmes et leurs bases de données, et dans quel but. En tant que tels, les algorithmes ne fournissent pas intrinsèquement aux personnes marginalisées des moyens d’échapper à la discrimination, mais ils reproduisent également de nouvelles formes d’inégalité selon des critères sociaux, raciaux et politiques.

Malgré les problèmes apparents, les algorithmes sont là pour rester. Il n’y a pas de solution miracle, mais on peut prendre des mesures pour minimiser les biais. Tout d’abord, il faut reconnaître qu’il y a un problème. Ensuite, prenez un engagement fort pour éliminer les biais algorithmiques.

Le biais peut infiltrer le processus n’importe où dans la conception d’algorithmes.

L’inclusion d’un plus grand nombre de personnes d’origines diverses dans ce processus – Autochtones, minorités raciales, femmes et autres groupes historiquement marginalisés – est l’une des étapes importantes pour aider à atténuer les préjugés. En attendant, il est important de pousser les plateformes pour permettre autant de transparence et de surveillance publique que possible.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l’article original.