De nouveaux outils d'intelligence artificielle pourraient aider à lutter contre les abus en ligne

De nouveaux outils qui pourraient être utilisés pour détecter et combattre automatiquement les abus sur les réseaux sociaux sont en cours de développement par des chercheurs de l'Université de Sheffield.

La recherche, dirigée par le professeur Kalina Bontcheva du Département d'informatique de l'Université, développe de nouvelles méthodes d'intelligence artificielle (IA) et de traitement du langage naturel (NLP) qui pourraient être utilisées pour lutter de manière responsable contre les abus et les discours de haine en ligne.

Lancé en collaboration avec Wendy Hui Kyong Chun de l'Université Simon Fraser au Canada, le projet examine les méthodes d'IA actuellement utilisées pour détecter les abus en ligne et les discours de haine dans deux domaines; l'industrie du jeu et des messages adressés aux politiciens sur les réseaux sociaux.

Les chercheurs de l'étude ont l'intention d'utiliser leurs résultats pour développer de nouveaux algorithmes d'IA efficaces, justes et impartiaux. Les systèmes seront sensibles au contexte et respectueux des différences linguistiques au sein des communautés en fonction de la race, de l'ethnie, du sexe et de la sexualité.

Les chercheurs examineront les biais inhérents aux systèmes de modération de contenu actuels qui utilisent souvent des définitions rigides ou des déterminations de langage abusif. Ces systèmes actuels créent souvent paradoxalement de nouvelles formes de discrimination ou de préjugés fondés sur l'identité, notamment le sexe, le genre, l'ethnicité, la culture, la religion, l'appartenance politique ou autres.

L'équipe de recherche vise à lutter contre ces effets en produisant des systèmes de détection dynamiques plus sensibles au contexte.

En outre, le projet cherche à autonomiser les utilisateurs en rendant les nouveaux outils open source, afin qu'ils puissent être intégrés dans de nouvelles stratégies pour lutter démocratiquement contre les abus et les discours de haine en ligne. Ils pourraient également être utilisés dans le cadre de soins communautaires et de mesures d'intervention.

Le professeur Kalina Bontcheva a déclaré: "Il y a eu une énorme augmentation du niveau d'abus et de discours de haine en ligne ces dernières années et cela a laissé les gouvernements et les plateformes de médias sociaux du mal à faire face aux conséquences.

"Cette forte augmentation des abus et des discours de haine en ligne a suscité l'indignation du public avec des personnes exigeant que les gouvernements et les sociétés de médias sociaux fassent davantage pour s'attaquer au problème, mais il n'existe actuellement aucun processus efficace ou technique qui puisse s'attaquer au problème de manière responsable ou démocratique.

"Nous développons de nouvelles méthodes d'IA et de PNL pour résoudre le problème tout en développant un programme substantiel de formation pour les universitaires et les chercheurs en début de carrière afin de renforcer les capacités et l'expertise dans ce domaine clé de la recherche."

Le projet, AI responsable pour des sociétés démocratiques inclusives: une approche interdisciplinaire pour détecter et combattre les propos injurieux en ligne, est dirigé par l'Université de Sheffield en collaboration avec l'Université Simon Fraser. Il est financé par UK Research and Innovation (UKRI) comme l'un des 10 projets UK-Canada visant à soutenir le développement responsable de l'IA, notamment en garantissant que tous les membres de la société font confiance à l'IA et en bénéficient.