Une étude révèle que les préjugés raciaux dans les tweets sont qualifiés de discours de haine

Selon une étude de Cornell analysant cinq collections de données Twitter marquées pour un langage abusif, les tweets censés être écrits par des Afro-Américains sont beaucoup plus susceptibles d'être qualifiés de discours de haine que de tweets associés à des Blancs.

Les cinq ensembles de données, compilés par des universitaires à des fins de recherche, ont montré un parti pris contre les utilisateurs de Twitter soupçonnés d’être Afro-Américains. Bien que les entreprises de médias sociaux, y compris Twitter, n'utilisent probablement pas ces ensembles de données pour leurs propres systèmes de détection de discours de haine, la cohérence des résultats suggère que des biais similaires pourraient être généralisés.

"Nous avons trouvé des biais raciaux cohérents, systématiques et substantiels", a déclaré Thomas Davidson, candidat au doctorat en sociologie et premier auteur de "Biais racistes dans le discours de haine et les bases de données sur le langage abusif", qui a été présenté à la réunion annuelle de l'Association for Linguistics Computational. 28 juillet-août 2 à Florence, en Italie.

"Ces systèmes sont en cours de développement pour identifier le langage utilisé pour cibler en ligne les populations marginalisées", a déclaré Davidson. "C'est extrêmement préoccupant si les mêmes systèmes discriminent eux-mêmes la population qu'ils sont conçus pour protéger."

Alors que les géants de l'internet se tournent de plus en plus vers l'intelligence artificielle pour signaler le contenu haineux parmi des millions de publications, l'inquiétude suscitée par la partialité des modèles d'apprentissage automatique ne cesse de croître. Étant donné que les données utilisées pour former ces modèles sont souvent biaisées, les chercheurs ont cherché à évaluer des ensembles de données créés pour aider à la compréhension et à la classification du discours de haine.

Pour effectuer leur analyse, ils ont sélectionné cinq jeux de données, dont l'un a été développé par Cornell, que Davidson a contribué à l'élaboration, composés de 270 000 posts Twitter. Les humains avaient annoté les cinq hommes pour signaler un langage abusif ou un discours de haine.

Pour chaque ensemble de données, les chercheurs ont formé un modèle d’apprentissage automatique afin de prédire les discours haineux ou offensants.

Ils ont ensuite utilisé une sixième base de données contenant plus de 59 millions de tweets, appariés aux données de recensement et identifiés par lieu et mots associés à des données démographiques particulières, afin de prédire la probabilité qu'un tweet ait été écrit par une personne d'une certaine race.

Bien que leur analyse ne permette pas de prédire avec certitude la race de l'auteur d'un tweet, elle classe les tweets en "alignés au noir" et en "alignés en blanc", ce qui reflète le fait qu'ils contiennent un langage associé à l'une ou l'autre de ces données démographiques.

Dans les cinq cas, les algorithmes ont classé les tweets afro-américains probables comme étant du sexisme, du discours de haine, du harcèlement ou des abus à des taux beaucoup plus élevés que les tweets censés être écrits par des Blancs – parfois plus de deux fois plus souvent.

Les chercheurs estiment que la disparité a deux causes: un suréchantillonnage des tweets des Afro-Américains lors de la création de bases de données; et une formation inadéquate pour les personnes qui annotent des tweets sur un contenu potentiellement haineux.

"Lorsque nous, chercheurs ou personnes que nous payons en ligne pour faire des annotations en masse, examinons ces tweets et devons décider:" Est-ce haineux ou non? ", Nous pouvons voir une langue écrite dans laquelle les linguistes considèrent l'anglais américain américain et susceptibles de penser que c'est quelque chose qui est offensant en raison de nos propres préjugés internes ", a déclaré Davidson. "Nous voulons que les personnes qui annotent des données soient conscientes des nuances du discours en ligne et fassent très attention à ce qu'elles envisagent de prononcer."