Une étude montre que de faux rapports générés par l’IA trompent même les experts

Si vous utilisez des sites Web de médias sociaux tels que Facebook et Twitter, vous avez peut-être rencontré des messages signalés avec des avertissements concernant la désinformation. Jusqu’à présent, la plupart des informations erronées, signalées et non signalées, visaient le grand public. Imaginez la possibilité de désinformation – des informations fausses ou trompeuses – dans des domaines scientifiques et techniques comme la cybersécurité, la sécurité publique et la médecine.

On s’inquiète de plus en plus de la propagation de la désinformation dans ces domaines critiques en raison de préjugés et de pratiques courants dans la publication de la littérature scientifique, même dans les articles de recherche évalués par des pairs. En tant qu’étudiant diplômé et membre du corps professoral faisant de la recherche en cybersécurité, nous avons étudié une nouvelle voie de désinformation dans la communauté scientifique. Nous avons découvert qu’il est possible que les systèmes d’intelligence artificielle génèrent de fausses informations dans des domaines critiques comme la médecine et la défense, suffisamment convaincantes pour tromper les experts.

La désinformation générale vise souvent à ternir la réputation des entreprises ou des personnalités publiques. La désinformation au sein des communautés d’expertise peut avoir des conséquences effrayantes, telles que la fourniture de conseils médicaux incorrects aux médecins et aux patients. Cela pourrait mettre des vies en danger.

Pour tester cette menace, nous avons étudié les impacts de la diffusion de désinformation dans les communautés de la cybersécurité et de la médecine. Nous avons utilisé des modèles d’intelligence artificielle appelés transformateurs pour générer de fausses nouvelles sur la cybersécurité et des études médicales COVID-19 et avons présenté la désinformation en matière de cybersécurité aux experts en cybersécurité pour les tests. Nous avons découvert que la désinformation générée par les transformateurs pouvait tromper les experts en cybersécurité.

Transformateurs

Une grande partie de la technologie utilisée pour identifier et gérer la désinformation est alimentée par l’intelligence artificielle. L’IA permet aux informaticiens de vérifier rapidement de grandes quantités de désinformation, étant donné qu’il y en a trop à détecter sans l’aide de la technologie. Bien que l’IA aide les gens à détecter la désinformation, elle a ironiquement également été utilisée pour produire de la désinformation ces dernières années.

Les transformateurs, comme BERT de Google et GPT d’OpenAI, utilisent le traitement du langage naturel pour comprendre le texte et produire des traductions, des résumés et des interprétations. Ils ont été utilisés dans des tâches telles que raconter des histoires et répondre à des questions, repoussant les limites des machines affichant des capacités humaines pour générer du texte.

Les transformateurs ont aidé Google et d’autres sociétés technologiques en améliorant leurs moteurs de recherche et ont aidé le grand public à lutter contre des problèmes courants tels que la lutte contre le blocage de l’écrivain.

Les transformateurs peuvent également être utilisés à des fins malveillantes. Les réseaux sociaux comme Facebook et Twitter ont déjà été confrontés aux défis des fausses informations générées par l’IA sur toutes les plateformes.

Désinformation critique

Nos recherches montrent que les transformateurs constituent également une menace de désinformation en médecine et en cybersécurité. Pour illustrer à quel point cela est grave, nous avons affiné le modèle de transformateur GPT-2 sur des sources en ligne ouvertes discutant des vulnérabilités de la cybersécurité et des informations sur les attaques. Une vulnérabilité de cybersécurité est la faiblesse d’un système informatique, et une attaque de cybersécurité est un acte qui exploite une vulnérabilité. Par exemple, si une vulnérabilité est un mot de passe Facebook faible, une attaque l’exploitant serait un pirate informatique qui trouverait votre mot de passe et pénétrerait votre compte.

Nous avons ensuite semé le modèle avec la phrase ou l’expression d’un échantillon réel de renseignements sur les cybermenaces et lui avons fait générer le reste de la description de la menace. Nous avons présenté cette description générée aux chasseurs de cybermenaces, qui passent au crible de nombreuses informations sur les menaces de cybersécurité. Ces professionnels lisent les descriptions des menaces pour identifier les attaques potentielles et ajuster les défenses de leurs systèmes.

Nous avons été surpris par les résultats. Les exemples de désinformation sur la cybersécurité que nous avons générés ont pu tromper les chasseurs de cybermenaces, qui connaissent toutes sortes d’attaques et de vulnérabilités en matière de cybersécurité. Imaginez ce scénario avec un élément crucial de renseignement sur les cybermenaces impliquant l’industrie du transport aérien, que nous avons généré dans notre étude.

Cette information trompeuse contient des informations incorrectes concernant les cyberattaques contre les compagnies aériennes avec des données de vol sensibles en temps réel. Ces fausses informations pourraient empêcher les cyberanalystes de s’attaquer aux vulnérabilités légitimes de leurs systèmes en détournant leur attention vers de faux bogues logiciels. Si un cyberanalyste agit sur les fausses informations dans un scénario du monde réel, la compagnie aérienne en question aurait pu faire face à une attaque grave qui exploite une vulnérabilité réelle non résolue.

Un modèle similaire basé sur un transformateur peut générer des informations dans le domaine médical et potentiellement tromper les experts médicaux. Pendant la pandémie de COVID-19, des prépublications d’articles de recherche qui n’ont pas encore fait l’objet d’un examen rigoureux sont constamment téléchargées sur des sites tels que medrXiv. Ils ne sont pas seulement décrits dans la presse, mais sont utilisés pour prendre des décisions de santé publique. Considérez ce qui suit, qui n’est pas réel mais généré par notre modèle après un réglage fin minimal du GPT-2 par défaut sur certains articles liés à COVID-19.

Le modèle a été capable de générer des phrases complètes et de former un résumé décrivant prétendument les effets secondaires des vaccinations COVID-19 et les expériences qui ont été menées. Cela est troublant à la fois pour les chercheurs en médecine, qui s’appuient constamment sur des informations précises pour prendre des décisions éclairées, et pour les membres du grand public, qui comptent souvent sur les nouvelles publiques pour se renseigner sur des informations essentielles sur la santé. Si elle est considérée comme exacte, ce type de désinformation pourrait mettre des vies en danger en détournant les efforts des scientifiques menant des recherches biomédicales.

Une course aux armements de désinformation de l’IA ?

Bien que des exemples comme ceux de notre étude puissent être vérifiés, la désinformation générée par les transformateurs empêche des industries telles que les soins de santé et la cybersécurité d’adopter l’IA pour lutter contre la surcharge d’informations. Par exemple, des systèmes automatisés sont en cours de développement pour extraire des données de renseignements sur les cybermenaces qui sont ensuite utilisés pour informer et former les systèmes automatisés à reconnaître les attaques possibles. Si ces systèmes automatisés traitent ce faux texte de cybersécurité, ils seront moins efficaces pour détecter les vraies menaces.

Nous pensons que le résultat pourrait être une course aux armements, car les personnes diffusant de la désinformation développent de meilleurs moyens de créer de fausses informations en réponse à des moyens efficaces de les reconnaître.

Les chercheurs en cybersécurité étudient en permanence les moyens de détecter la désinformation dans différents domaines. Comprendre comment générer automatiquement de la désinformation aide à comprendre comment la reconnaître. Par exemple, les informations générées automatiquement contiennent souvent des erreurs grammaticales subtiles que les systèmes peuvent être entraînés à détecter. Les systèmes peuvent également corréler les informations provenant de plusieurs sources et identifier les allégations qui manquent de soutien substantiel d’autres sources.

En fin de compte, tout le monde devrait être plus vigilant sur les informations dignes de confiance et être conscient que les pirates informatiques exploitent la crédulité des gens, surtout si les informations ne proviennent pas de sources d’information réputées ou de travaux scientifiques publiés.

Cet article est republié à partir de The Conversation sous une licence Creative Commons. Lire l’article original.