La campagne d’abus de Kamala Harris montre comment les trolls échappent à la modération des médias sociaux

Alors que la vice-présidente Kamala Harris entame sa première semaine complète à la Maison Blanche, des milliers de personnes se dirigent en ligne pour célébrer son exploit révolutionnaire. Malheureusement, des milliers d’autres inondent les médias sociaux de publications sexualisées, transphobes et racistes qui continuent de mettre en évidence les abus particuliers auxquels sont confrontées les femmes politiques en ligne.

Mes collègues et moi avons étudié ces abus dans les semaines qui ont précédé l’élection présidentielle américaine de 2020, révélant comment les trolls et les agresseurs utilisent couramment un langage codé et des sifflets pour chiens pour échapper aux efforts de modération des entreprises de médias sociaux. Cette évolution du discours de haine en ligne mine les outils de «modération automatisée» que les plateformes utilisent actuellement pour lutter contre le discours de haine.

Outre les abus et les discours de haine, notre équipe a suivi la prolifération de «récits de désinformation sexués et sexualisés» concernant 13 femmes politiques sur six plateformes de médias sociaux. Ces récits faux ou trompeurs sont basés sur le sexe ou la sexualité des femmes et sont souvent diffusés avec un certain degré de coordination.

Dans un exemple de désinformation sexiste, une ancienne députée ukrainienne a été ciblée avec des images trafiquées d’elle courant nue dans les rues de Kiev sur Twitter. L’ancienne députée a déclaré que l’image et le récit circulent toujours en ligne chaque fois qu’elle effectue des travaux publics à l’étranger.

Éviter la modération

Notre étude, qui a collecté des données entre septembre et novembre 2020, a trouvé plus de 336000 messages abusifs sur Twitter, Reddit, Gab, Parler, 4chan et 8kun, dont 78% ciblaient Kamala Harris. Cela équivaut à quatre messages abusifs par minute au cours de notre période d’étude de deux mois – et trois par minute destinés à la femme qui est maintenant vice-présidente des États-Unis. Chacun de ces messages avait la capacité d’être partagé des milliers de fois, multipliant de façon exponentielle leur portée.

Les entreprises de médias sociaux utilisent des outils de modération de contenu automatisés dans le but de signaler et de supprimer plus rapidement les discours de haine sexistes. Ces outils sont conçus pour détecter instantanément les publications nuisibles sur les réseaux sociaux, mais ils ne peuvent le faire qu’en se faisant dire quels mots sont considérés comme abusifs. Cela laisse un « angle mort » pour tout langage abusif qui n’a pas encore été signalé comme abusif par les modérateurs humains.

Nos recherches montrent que les abuseurs en ligne font évoluer la langue qu’ils utilisent afin d’éviter d’être détectés par les outils de modération. Nous appelons ce processus «créativité maligne», ce que nous pensons être un défi de taille que les entreprises de médias sociaux doivent surmonter si elles veulent mener une modération efficace du contenu à grande échelle.

Nous avons observé des agresseurs créer de faux récits et mèmes, adaptés à la femme politique qu’ils cherchent à harceler, et enveloppés d’un langage codé. Un exemple de faux récit sexualisé que nous avons vu contre Kamala Harris est qu’elle «a dormi jusqu’au sommet» et qu’elle est donc inapte à occuper un poste. Ce récit s’est répandu sur les plates-formes avec des hashtags qu’aucun classificateur automatisé ne pouvait détecter sans être pré-codé pour le faire, tels que #HeelsUpHarris ou #KneePadsKamala.

Grâce à la visualisation du réseau, nous avons vu que certains utilisateurs qui se sont engagés avec ce récit se sont également engagés avec d’autres récits sexualisés, racistes et transphobes. Cela a souligné les abus intersectionnels auxquels les femmes de couleur sont confrontées en ligne.

Priorité à la modération

Le langage codé et les sifflets de chien (qui sont des messages subtils conçus pour être compris par un certain public sans être explicites) rendent la détection de la désinformation sexuée et sexualisée sur les médias sociaux particulièrement difficile sans des niveaux élevés d’investissement dans les technologies de détection. C’est pourquoi notre rapport recommande que les plateformes de médias sociaux mettent à jour leurs outils de modération de contenu pour prendre en compte les récits nouveaux et émergents qui rabaissent les femmes les plus puissantes du monde.

Cela devrait être fait en coordination avec les femmes elles-mêmes ou leurs équipes de campagne et de marketing. Les plates-formes doivent également permettre aux femmes de soumettre des «rapports d’incident» qui couvrent plusieurs messages individuels, plutôt que de les forcer à signaler chaque élément de contenu abusif, un à la fois – ce qui est à la fois laborieux et bouleversant.

La désinformation sexuée et sexualisée affecte les perceptions du public à l’égard des femmes de premier plan. Certaines femmes au début de leur carrière peuvent se sentir plus durement touchées par la désinformation et les abus sexistes, choisissant de ne pas du tout entrer dans une carrière publique en raison des abus qu’elles voient cibler les autres – et elles-mêmes.

Une étude récente a révélé que les femmes réduisent leur engagement en ligne pour éviter un harcèlement continu ou potentiel. L’une des personnes interrogées dans le cadre de l’étude a regretté qu’elle doive «se frayer un chemin dans toute cette saleté… pour simplement faire la fonction de base de participer» sur les médias sociaux. Ces sentiments mettent en évidence la dure réalité que les femmes doivent accepter si elles souhaitent s’engager en ligne, où le harcèlement est plus soutenu et plus violent que ce à quoi les hommes sont confrontés.

L’inauguration historique de Kamala Harris a été un motif de célébration pour les femmes, et les femmes de couleur en particulier. C’est aussi l’occasion pour une nouvelle génération de femmes de se sentir inspirées pour occuper des rôles de leadership.

Pour s’assurer que les femmes sont inspirées par la présence d’autres femmes dans les hautes fonctions et ne sont pas dissuadées par les abus auxquels elles peuvent être confrontées, les plateformes de médias sociaux et les gouvernements sont responsables de fournir des espaces dans lesquels les femmes peuvent participer de manière égale en ligne. La modération efficace de la violence sexiste subie par les femmes sur les réseaux sociaux – en particulier celles qui ne sont pas détectées par les outils automatisés – est un élément crucial de cette responsabilité.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lisez l’article original.