un cadre pour aider les développeurs à comprendre les commentaires liés à la convivialité

L'évaluation de l'utilisabilité des logiciels open source (OSS), des logiciels mis gratuitement à la disposition des développeurs du monde entier, implique généralement d'analyser les retours et les commentaires de ceux qui les ont utilisés. Cependant, le traitement et la compréhension des commentaires fournis dans les discussions des utilisateurs peuvent être difficiles en raison du grand nombre de commentaires en ligne et parce qu'ils présentent souvent des opinions opposées.

Conscients de ces difficultés, des chercheurs de l'Université McGill, de l'Université de Bari et de Polytechnique Montréal ont récemment développé ArguLens, un cadre théorique et une technique automatisée pour simplifier l'analyse des discussions communautaires liées à l'utilisabilité des logiciels libres. Leur récent article, pré-publié sur arXiv, fait partie d'un effort de recherche en cours plus large visant à aider les développeurs de projets open source à améliorer la convivialité de leurs logiciels.

"Il peut être très difficile de comprendre les raisons qui sous-tendent les demandes de la communauté et d'évaluer davantage leurs impacts sur les utilisateurs finaux, en particulier lorsque les opinions de la communauté sont en conflit", ont expliqué les chercheurs à TechXplore par e-mail. "Le principal objectif de notre étude était d'aider les contributeurs open source à digérer et à évaluer les opinions de la communauté sur la convivialité de leur projet."

Avant de commencer à travailler sur ArguLens, les chercheurs ont eu de longues discussions avec des contributeurs open source pour mieux comprendre ce qu'ils trouvaient le plus difficile de comprendre les commentaires qu'ils avaient reçus de la communauté. Ils ont constaté que la plupart des développeurs rencontraient d'énormes difficultés à digérer et à intégrer les commentaires de la communauté, y compris les suggestions et les demandes faites via les systèmes de suivi des problèmes.

Cela était dû au volume considérable de commentaires recueillis, ainsi qu'au fait que les utilisateurs exprimaient souvent des perspectives diverses et quelque peu opposées. Combinés, ces deux facteurs ont souvent rendu difficile le traitement et la synthèse des commentaires liés à l'utilisabilité.

Les chercheurs ont conçu ArguLens dans le but principal d'aider les développeurs OSS à comprendre les commentaires riches et variés qu'ils ont collectés en ligne. ArguLens comprend à la fois un cadre conceptuel et une technique automatisée pour l'analyse des commentaires en ligne.

"En tant que cadre conceptuel, il adapte un modèle d'argumentation proposé par Stephen Toulmin pour structurer les discussions liées à l'utilisabilité en trois éléments principaux: réclamation, motif et mandat", ont expliqué les chercheurs. «C'est ce que nous appelons« l'anatomie »des opinions de la communauté. En tant que technique automatisée, elle propose des méthodes de traitement du langage naturel pour détecter ces éléments à partir de discussions liées à l'utilisabilité sous forme libre.»

Les développeurs et les autres membres de la communauté peuvent utiliser ArguLens pour différencier et synthétiser les demandes concrètes formulées par les membres de la communauté (capturées dans la catégorie «Réclamation»), ainsi que des faits sur leur système qui intéressent la communauté (capturés dans la catégorie «sol») et des opinions personnelles sur la raison pour laquelle les faits individuels sont particulièrement importants pour les utilisateurs (saisis dans la catégorie «mandat»). Dans l'ensemble, le cadre peut donc être utilisé pour des discussions sur un échafaudage et pour analyser les problèmes d'utilisation d'OSS.

Dans le cadre de ses recherches, l'équipe a évalué et vérifié l'évolutivité d'ArguLens à l'aide de techniques d'apprentissage automatique supervisé pour l'extraction d'arguments automatisée. Ils ont également demandé aux développeurs expérimentés d'utiliser ArguLens et de donner leur avis pour savoir si cela les avait aidés à comprendre les commentaires de la communauté. Les commentaires qu'ils ont reçus étaient très prometteurs, car la majorité des utilisateurs ont déclaré que le cadre les avait aidés à mieux digérer et examiner les opinions liées à la convivialité.

"Une application directe du cadre ArguLens pourrait être dans les outils des systèmes de suivi des problèmes open source pour fournir une interface efficace aux discussions de la communauté sur les problèmes de convivialité", ont déclaré les chercheurs. "Une fois largement adopté, ce cadre peut induire un changement révolutionnaire dans la façon dont les gens considèrent les problèmes de convivialité open source, encourageant une discussion constructive sur ces problèmes et éventuellement contribuant à améliorer la convivialité open source."

Le cadre pourrait bientôt aider les développeurs OSS du monde entier à donner un sens à des opinions contrastées sur la convivialité de leurs projets. Fait intéressant, cependant, il pourrait également être appliqué à d'autres aspects des logiciels qui peuvent être améliorés en fonction des commentaires des utilisateurs, tels que la confidentialité ou la sécurité. L'équipe prévoit maintenant d'améliorer davantage le cadre en se concentrant sur deux nouvelles directions de recherche.

"Premièrement, nous étudions des conceptions d'outils qui peuvent présenter efficacement les informations capturées par le cadre ArguLens", ont déclaré les chercheurs. "Cela nous aidera non seulement à mieux comprendre l'efficacité de ce cadre dans la nature (dans des contextes réels), mais il peut également se traduire par des applications concrètes qui bénéficient directement aux communautés open source. Deuxièmement, nous nous concentrons sur les humains les méthodes de la boucle pour atténuer la classification imparfaite des techniques automatisées, afin de garantir davantage l'évolutivité et l'utilité de ce cadre. "

© 2020 Science X Network