Connectez-vous avec nous

Gadgets

Chatbot peut expliquer les applications et comment elles accèdent au matériel ou aux données

Hey GUI est un chatbot qui peut être utilisé pour trouver des images ou des informations textuelles sur les applications et leurs interfaces utilisateur à l’aide de conversations en langage naturel. Crédit : Université Aalto

Les chatbots font déjà partie de notre vie quotidienne grâce à leur moyen rapide et intuitif d’effectuer des tâches telles que la planification et la recherche d’informations à l’aide de conversations en langage naturel. Les chercheurs de l’Université Aalto ont désormais exploité la puissance des chatbots pour aider les concepteurs et les développeurs à développer de nouvelles applications et permettre aux utilisateurs finaux de trouver des informations sur les applications sur leurs appareils.

Le chatbot ‘Hey GU’, qui sera présenté à l’ACM Designing Interactive Systems 2021 le 1er juillet, peut répondre aux questions en montrant des images et des captures d’écran d’applications, ou par de simples phrases de texte.

« Hey GUI élimine le besoin de compétences en codage ou d’expertise technique. Tout le monde peut l’utiliser pour rechercher des informations, par exemple, sur laquelle de mes applications demande la permission d’utiliser l’appareil photo, ou où se trouve le bouton de recherche sur cet écran, « , explique le chercheur postdoctoral Kashyap Todi de l’Université d’Aalto.

Des découvertes importantes pour les développeurs de chatbots et les chercheurs

Différents types d’applications et d’interfaces utilisateur contiennent de grandes quantités d’informations, qui peuvent être utilisées pour différents besoins et tâches. Dans leur étude, les chercheurs ont tenté de trouver les fonctionnalités de chatbot les plus souhaitables et la manière dont les utilisateurs auraient des conversations avec eux.

Trois groupes cibles ont été pris en compte dans l’expérience : les concepteurs, les développeurs de logiciels et les utilisateurs généraux. Plus de 100 concepteurs, développeurs et utilisateurs ordinaires ont répondu à l’enquête.






Crédit : Université Aalto

« Notre objectif était de bien comprendre les capacités et les fonctions que différents types d’utilisateurs trouveraient les plus utiles lors de l’utilisation de ce nouveau type de chatbot, ainsi que la façon dont ils formuleraient les questions, en particulier les types de mots et de phrases qu’ils utiliseraient. Il s’agit d’une première étape importante vers le développement de chatbots qui peuvent aider les utilisateurs à trouver des informations sur les applications à l’aide de conversations simples », explique Kashyap.

À la suite de l’enquête, 21 fonctionnalités clés et plus de 1 300 des questions les plus fréquemment posées par les utilisateurs ont été collectées et analysées pour créer Hey GUI, permettant aux utilisateurs de trouver des informations dans les interfaces utilisateur à l’aide de conversations simples, basées sur les expressions les plus fréquentes. recueillies dans l’enquête.

« Les concepteurs peuvent s’inspirer, par exemple, en demandant à Hey GUI de trouver de bons designs de boutique en ligne. Le chatbot répond avec plusieurs captures d’écran d’applications existantes dans le catalogue. Les développeurs de logiciels peuvent demander à un chatbot quels codes de couleur typiques sont utilisés pour les boutons de connexion, et le chatbot répond avec plusieurs options », ajoute Kashyap.

Dans les questions des utilisateurs ordinaires, un accent particulier a été mis sur les questions liées à la confidentialité et aux informations d’accessibilité, ou à obtenir de l’aide sur leurs applications, comme demander quelles applications affichent des cartes.


Les chatbots pour les patients atteints de démence et les soignants ont besoin de plus de travail


Plus d’information:
Kashyap Todi et al, Conversations avec les interfaces graphiques, Conférence sur la conception de systèmes interactifs 2021 (2021). DOI : 10.1145/3461778.3462124

Fourni par l’Université Aalto

Citation: Chatbot peut expliquer les applications et comment elles accèdent au matériel ou aux données (2021, 1er juillet) récupéré le 1er juillet 2021 à partir de https://techxplore.com/news/2021-07-chatbot-apps-access-hardware.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.


Les offres de produits Hi-tech en rapport avec cet article

Continuer la lecture
Cliquez pour commenter

Laissez un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

ARTICLES POPULAIRES