Chatbot peut expliquer les applications et comment elles accèdent au matériel ou aux données

Les chatbots font déjà partie de notre vie quotidienne grâce à leur moyen rapide et intuitif d’effectuer des tâches telles que la planification et la recherche d’informations à l’aide de conversations en langage naturel. Les chercheurs de l’Université Aalto ont désormais exploité la puissance des chatbots pour aider les concepteurs et les développeurs à développer de nouvelles applications et permettre aux utilisateurs finaux de trouver des informations sur les applications sur leurs appareils.

Le chatbot ‘Hey GU’, qui sera présenté à l’ACM Designing Interactive Systems 2021 le 1er juillet, peut répondre aux questions en montrant des images et des captures d’écran d’applications, ou par de simples phrases de texte.

« Hey GUI élimine le besoin de compétences en codage ou d’expertise technique. Tout le monde peut l’utiliser pour rechercher des informations, par exemple, sur laquelle de mes applications demande la permission d’utiliser l’appareil photo, ou où se trouve le bouton de recherche sur cet écran, « , explique le chercheur postdoctoral Kashyap Todi de l’Université d’Aalto.

Des découvertes importantes pour les développeurs de chatbots et les chercheurs

Différents types d’applications et d’interfaces utilisateur contiennent de grandes quantités d’informations, qui peuvent être utilisées pour différents besoins et tâches. Dans leur étude, les chercheurs ont tenté de trouver les fonctionnalités de chatbot les plus souhaitables et la manière dont les utilisateurs auraient des conversations avec eux.

Trois groupes cibles ont été pris en compte dans l’expérience : les concepteurs, les développeurs de logiciels et les utilisateurs généraux. Plus de 100 concepteurs, développeurs et utilisateurs ordinaires ont répondu à l’enquête.

« Notre objectif était de bien comprendre les capacités et les fonctions que différents types d’utilisateurs trouveraient les plus utiles lors de l’utilisation de ce nouveau type de chatbot, ainsi que la façon dont ils formuleraient les questions, en particulier les types de mots et de phrases qu’ils utiliseraient. Il s’agit d’une première étape importante vers le développement de chatbots qui peuvent aider les utilisateurs à trouver des informations sur les applications à l’aide de conversations simples », explique Kashyap.

À la suite de l’enquête, 21 fonctionnalités clés et plus de 1 300 des questions les plus fréquemment posées par les utilisateurs ont été collectées et analysées pour créer Hey GUI, permettant aux utilisateurs de trouver des informations dans les interfaces utilisateur à l’aide de conversations simples, basées sur les expressions les plus fréquentes. recueillies dans l’enquête.

« Les concepteurs peuvent s’inspirer, par exemple, en demandant à Hey GUI de trouver de bons designs de boutique en ligne. Le chatbot répond avec plusieurs captures d’écran d’applications existantes dans le catalogue. Les développeurs de logiciels peuvent demander à un chatbot quels codes de couleur typiques sont utilisés pour les boutons de connexion, et le chatbot répond avec plusieurs options », ajoute Kashyap.

Dans les questions des utilisateurs ordinaires, un accent particulier a été mis sur les questions liées à la confidentialité et aux informations d’accessibilité, ou à obtenir de l’aide sur leurs applications, comme demander quelles applications affichent des cartes.