Peut-on garder Facebook en sécurité sans blesser le personnel?

En 2017, Facebook a légèrement modifié son énoncé de mission. Un engagement à «rendre le monde plus ouvert et plus connecté» a été promis, et à sa place est apparue l'intention de «donner aux gens le pouvoir de construire une communauté et de rapprocher le monde».

Vous pouvez voir cela comme une admission que «ouvert» a échoué. «Ouvert» signifie ouvert aux discours de haine, à la maltraitance d’enfants, à la violence, au sexe et au genre d’actes illégaux avec lequel Facebook n’aurait rien à voir. Et pourtant, la société doit maintenant nettoyer ces dégâts à chaque heure, tous les jours.

Ou plutôt, il emploie des étrangers pour faire le sale boulot. Dans The Cleaners, un documentaire de Hans Block et Moritz Riesewieck, des entrepreneurs philippins discutent avec franchise du flux constant de rapports sexuels, de violence et de discours de haine qu'ils doivent filtrer tous les jours.

Chaque décision doit être prise en huit à dix secondes, et «ne pensez pas trop» est une citation directe du matériel de formation, telle qu’elle est. «Ne doutez pas trop de savoir si votre décision est bonne ou fausse, sinon vous allez trop la penser, et vous ne pourrez plus prendre de décision», résume Riesewieck à TechRadar au Mozfest de Mozilla, où lui et son co Le directeur vient de faire partie d’un groupe de discussion sur la modération sur Internet.

Si jamais une entreprise devait insister sur l’idée que tout problème peut être résolu avec suffisamment d’argent, c’est Facebook. Et pourtant, jusqu’à présent, le problème ne fait que grandir. En 2009, Facebook n'en avait que 12 (oui, c'est Douze) les modérateurs de contenu soucieux du bien-être de 120 millions d'utilisateurs. Il y a maintenant plus de deux milliards de personnes sur la plate-forme et environ 15 000 modérateurs. Bien que cela signifie que le rapport modérateur / utilisateur soit passé de maigre à faible, il convient de noter que Facebook en 2019 est très différent de ce qu'il était il y a une décennie, lorsque le bouton "J'aime" était la dernière innovation et Facebook Live, il y avait encore des années un moyen.

"Le pire des pires des déchets d'Internet"

«Selon les estimations, environ 100 000 professionnels travaillent dans ce domaine», déclare Clara Tsao, une collègue de Mozilla et experte dans la lutte contre la désinformation en ligne. Ils "traitent le pire des pires déchets d’Internet", ajoute-t-elle, notant que le 4 janvier, ils sont littéralement appelés "concierges".

Cependant, contrairement aux concierges du monde réel, les nettoyeurs d’Internet ne sont pas toujours dotés du matériel adapté à la tâche énorme à accomplir. Le contingent philippin de Facebook rencontrait parfois des échanges dans des langues qu’il ne parlait pas, utilisant Google Traduction pour en comprendre le sens. Cela prend inévitablement une nuance de poids, avant même d’aborder les différences culturelles inévitables entre les pays séparés par un décalage de huit heures entre les fuseaux horaires.

Les modérateurs de Facebook ne se trouvent pas uniquement aux Philippines. Il y a des bureaux dans le monde entier, et c'est à Dublin que Chris Gray s'est retrouvé après avoir passé un sort d'enseignant en Asie. Maintenant, il est le principal demandeur des modérateurs dans les procédures de la Haute Cour contre Facebook. Au cours d'une période de neuf mois dans l'entreprise (en Irlande, la plupart des travailleurs ont un contrat de 11 mois, mais la plupart partent tôt), Gray traitait avec 500 à 600 contenus par nuit, généralement de 18h à 2h. . Ce n'est qu'un an après son départ qu'il a officiellement reçu un diagnostic de stress post-traumatique.

«Cela m'a pris un an avant de réaliser que ce travail m'avait assommé», a-t-il déclaré dans le cadre de la discussion en groupe. Cette réaction retardée, nous dit Riesewieck, n’est pas tout à fait inhabituelle. «Dans certains cas, ils nous ont dit que ce sont surtout leurs amis qui leur ont dit qu'ils avaient changé», explique-t-il.

En tout état de cause, nombre des anciens collègues de Gray sont ravis de voir qu'il a enfreint la NDA et entrainé l'action en justice, même s'ils ne sont pas prêts à le dire publiquement pour l'instant. "Les gens viennent de sortir du bois et disent:" Oh, merci mon Dieu, quelqu'un a parlé et a dit cela "", a-t-il dit à TechRadar, plus tard.

Pour être clair, malgré le fait qu’il ait été personnellement affecté par le travail, Gray estime qu’il est trompeur de supposer qu’il s’agit d’une activité sans fin gore, d’exploitation sexuelle et sexuelle. «Pour être honnête, la plupart du travail est fastidieux», dit-il. «Ce ne sont que des personnes qui se dénoncent parce qu’elles se disputent et qu’elles souhaitent utiliser un processus quelconque pour communiquer avec l’autre personne.»

Fastidieux, mais à haute pression. Dans le bureau irlandais, Gray disposait de 30 secondes pour rendre un verdict sur le contenu, qu'il s'agisse d'une insulte d'une ligne ou d'une vidéo de 30 minutes. «Si votre auditeur a cliqué dans [on a video] deux secondes plus tard que vous et il a vu quelque chose de différent – il a entendu une insulte différente, ou il a vu quelque chose de plus haut dans l’échelle des priorités – alors bang, vous avez pris une mauvaise décision. "De mauvaises décisions affectent le score de qualité, et le score de qualité affecte votre emploi. Malgré cela, l'objectif du bureau était une précision quasi impossible à 98%.

Super-héros

Il est difficile de trouver des personnes pour parler de leur expérience de modération, comme l'ont constaté Block et Riesewieck lors de la recherche de sujets. Les NDA sont universels et le travail est classé sous un nom de code – au moment du tournage, il s'agissait du «projet Honey Badger».

Malgré cela, Facebook – ou les sous-traitants qui font preuve de modération – embauchent ouvertement, même s’ils sont souvent grossièrement trompeurs quant à ce que l’emploi implique réellement. "Ils utilisent des super-héros en costumes," viens, sois un super-héros, nettoie Internet ", explique Gabi Ivens, une autre membre de Mozilla qui figure sur le panneau. "Une annonce en Allemagne pour les modérateurs de contenu a posé des questions telles que" aimez-vous les médias sociaux et souhaitez-vous être au courant de ce qui se passe dans le monde? ""

Malgré l’ennui général du quotidien, les documentaires de Block et Riesewieck sont surprenants: bon nombre des sujets de leurs entretiens sont très fiers de ce rôle, le considérant moins comme un devoir que comme un travail.

«Ils nous ont dit qu'ils se sentaient comme des super-héros d'Internet – comme des policiers qui surveillent Internet», a déclaré Block. Les administrateurs attribuent cela en partie à la population de 90% de chrétiens des Philippines. «Ils nous ont dit qu'ils se sentaient comme Jésus libérant le monde», ajoute Block. Cela pourrait à son tour rendre les gens réticents à s'en aller, le considérant comme un devoir éthique et non comme un simple travail.

Mais il y a des limites à cela, surtout que les modérateurs ne font pas les derniers appels eux-mêmes. Ici, le texte sacré est l’ensemble labyrinthique de règles et d’instructions de Facebook: des milliers de mots accumulés au cours de nombreuses années. Dans certains cas, les personnes doivent protéger les discours qu’elles pensent devoir être interdites, ou interdire les paroles qu’elles estiment devoir être protégées, ce qui, selon Ivens, est un problème évident pour le bien-être. "Garder du contenu en ligne qui, à votre avis, ne devrait pas l'être devrait être extrêmement préjudiciable, même avant de penser à ce que les gens voient."

L’ironie de considérer les règles comme sacrées est que les règles de Facebook n’ont jamais été un texte figé infaillible: elles résultent d’années de changements itératifs, répondant progressivement aux crises au fur et à mesure qu’elles émergent, et essayant de rendre le subjectif plus objectif.

Rappelez-vous la campagne «Libérez le mamelon»? En bref, les directives de Facebook stipulaient à l’origine que toute photographie avec des seins devait être interdite en tant que pornographie, ce qui voulait dire qu’Internet était privé de mères fières qui allaitaient sur la plateforme. Facebook a progressivement modifié ses règles et accepté que le contexte comptait. De la même manière, il faut accepter que, même s’il n’ya rien d’illégal dans le fait de manger des cosses de Tide ou de répandre des théories du complot anti-vaccination, si quelque chose se transforme en épidémie de santé publique, il est donc de son devoir d’agir.

"Certaines plateformes disent que certains contenus peuvent ne pas être illégaux, mais qu'ils sont inacceptables", explique Tsao. Mais "d'autres pensent qu'Internet devrait disposer de libertés plus grandes pour dire ce que vous voulez." Pour Facebook, cette dichotomie produit des niveaux de granularité absurdes: " Maintenant, nous avons quelques indications sur le fait de menacer de pousser quelqu'un du toit ", explique Grey." Pousser n'est pas une action violente. Le fait d'être sur un toit est important, mais quelle est sa hauteur? ”Tant pis pour ce“ ne pensez pas trop ”.

Ce type d'inertie dans les directives de modération permet aux trolls d'Internet de prospérer. Vous n’avez pas besoin de chercher très loin pour trouver des exemples d’éveils de la rumeur sur Internet qui vont droit au but sans jamais trop le dépasser. Au lieu de cela, ils laissent à leurs partisans – et parfois, de façon catastrophique, cela déborde dans le monde réel.

La morale ne traverse pas les frontières

Le statut mondial de Facebook rend le problème encore plus complexe car la moralité n’est pas partagée par-delà les frontières. «C'est compliqué parce que cela dépasse les politiques locales des pays et des frontières jusque dans un Far west», dit Tsao.

Gray donne l’exemple de la sexualité des gens: la fierté gaie est très présente dans la plupart des pays de l’Ouest, mais moins partout ailleurs dans le monde. Vous pouvez étiqueter un ami comme gay dans une publication et ils sont assez à l'aise avec leur sexualité pour la partager. Donc, dans ce cas, il est raisonnable de ne pas démissionner, même si un homophobe de petite fille se plaint à ce sujet.

"Mais si vous êtes au Nigeria, vous pourriez être battu ou tué parce que quelqu'un voit ce message", explique-t-il. «Cette erreur pourrait coûter la vie à quelqu'un. Je veux dire, c'est la réalité: vous regardez parfois des situations de vie ou de mort. "

Les actes de violence objectifs devraient être plus précis, mais ils ne le sont pas. La vidéo montrant un enfant se faire tirer peut sembler être un candidat évident à la suppression, mais que se passe-t-il si le journalisme citoyen découvre des crimes de guerre non signalés? Si Facebook s’en débarrasse, n’est-ce pas simplement l’aile de la propagande involontaire des pires despotes du monde?

C’est complexe, facilement confus et n’aide pas les travailleurs qui sont jugés pour leurs réponses objectives à des postes subjectifs. «Les gens protestent et cela apparaît sur mon bureau», a déclaré Gray lors du panel. «Et je dois faire l'appel: ce bébé est-il mort? Ensuite, je dois appuyer sur le bouton de droite. Si j’appuie sur le mauvais bouton parce que mon auditeur pense que le bébé n’est pas mort, alors je me suis trompé et le score de qualité est atteint et je me fais virer.

«Je suis donc éveillé la nuit au lit, je revois cette image et j'essaie de formuler un argument pour garder mon travail.»

Peut-il être réparé?

Il devrait être assez évident à ce stade que ce n’est pas entièrement la faute de Facebook, même si la société ne s’est pas aidée tout au long du processus. Mais que peut-il faire? C’est assez évident de dire que le problème ne fonctionnera pas et que la modération de l’IA n’est pas prête pour le spectacle. (Et il y a des doutes légitimes à ce sujet. Pour commencer, vous avez besoin d'humains pour entraîner l'IA, ce qui déplace le trauma d'un pas en arrière. «Je pense qu'il sera très difficile d'éliminer complètement les humains de la boucle», déclare Tsao.)

"Facebook n'a pas de stratégie claire pour cela", dit Gray. «Tout est réactif. Quelque chose se passe, ils créent donc une nouvelle règle et embauchent plus de personnes. »Il pense qu'un manque de leadership est à l'origine du problème. «Vous devez savoir où vous allez avec cela et quelle est votre stratégie, et ils ne le font pas. Tout découle de cela. "

Cela, estime Tsao, est en partie dû au fait que les décideurs n’ont pas eu à le faire eux-mêmes. «J'ai interviewé des responsables de la confiance et de la sécurité dans des entreprises, et l'un d'entre eux a toujours dit:« Si vous voulez jouer un rôle de direction dans ce domaine professionnel, vous devez comprendre comment cela fonctionne. bas », dit-elle. "Vous devez comprendre le traumatisme, vous devez comprendre quel type de système de soutien est nécessaire."

Roderick Ordens, professeur de psychologie à l'Université de Lincoln, a ses propres perspectives lorsque nous le contactons. «Il y a un devoir de diligence. Cela ne garantit en aucun cas qu'il n'y aura pas de victimes parmi les personnes qui visionnent ce genre de matériel, mais il faut voir que la compagnie a fait tout ce qui était raisonnable pour réduire les risques pour le personnel.

«Tout d’abord, personne ne devrait faire ce genre de travail seul. Et si cela a été fait par un groupe, alors ce qui compte vraiment, c’est la forte cohésion du groupe. Il est très important d’organiser cela de telle sorte que la responsabilité ne soit pas perçue comme incombant à l’individu ».

Selon Ordens, toute entreprise qui embauche pour un «travail aussi dangereux» devrait recevoir une formation permettant aux employés de reconnaître les signes avant-coureurs: «un sentiment général de malaise, de ne pas pouvoir se détendre après le travail, peut-être excessivement préoccupé par certaines images. Et être particulièrement vigilant pour savoir si le sommeil est affecté: avec une accumulation de mauvais sommeil, tout le reste est bien pire. "

"Qu'est-ce qui préoccupe votre esprit?"

Que Facebook s'intéresse à de telles connaissances est un autre problème. "Nous ne prétendons pas que toute la faute est du côté des entreprises – ce n’est pas vrai", déclare Block. «La faute, à notre avis au moins, c'est qu'ils ne le rendent pas transparent, ils n'ouvrent pas la discussion et n'acceptent pas qu'ils ne peuvent pas décider seuls de tout cela.» Block et Riesewieck savent que certains Facebook les employés ont vu leur film lors d'une projection à San Francisco, et il a même été question de le montrer dans les bureaux de Facebook, uniquement pour que les courriels de suivi se retrouvent mystérieusement sans réponse.

Certes, le traitement NDA n’aide en rien, et le nombre considérable d’anciens et d’anciens employés qui leur sont liés signifie que l’effet diminuera inévitablement car il existe une certaine sécurité en nombre. Gray n’a pas eu de nouvelle de la part de Facebook pour casser sa sienne – du moins pas directement.

«J’ai reçu un appel d’un ancien collègue… il y a quelques semaines. Ils m'ont dit:« Hé, on me dit que Facebook vous poursuit en justice ». Non. Qui t'a dit que j'étais poursuivi? "Mon chef d’équipe." Votre chef d’équipe tente de vous manipuler jusqu’au silence. "

En d’autres termes, l’équilibre entre la carotte et le bâton est aussi comique que le rapport modérateur / utilisateur de Facebook. Étant donné que les gens veulent améliorer Internet, peut-être que Facebook pourrait puiser dans ce sens?

Même Gray se souvient avoir été positif en se rappelant un SMS qu’il avait envoyé au tout début. “J’ai dit:“ J’ai personnellement transmis 13 cas de maltraitance à l’enfant à l’équipe d’intervention rapide, et je me sens vraiment bien ”.” Mais cela n’a pas duré. «Je n'ai jamais eu de nouvelles de ces personnes. Je ne sais pas si quelque chose a déjà été fait. Vous savez, il semble que tout se passe dans le vide.

La reconnaissance de faire une différence pourrait-elle stimuler le moral? Peut-être, mais seulement s’ils ont vraiment un impact, Gray intervient assez. «Un enfant en Afghanistan est attaché nu au lit et il est battu. J'aggrave cela parce qu'il s'agit d'abus sexuel sur un enfant, mais que peut-on faire?

"Je ne fais que suivre la politique, la personne au niveau supérieur ne fait que la supprimer."