FitByte utilise des capteurs sur les lunettes pour surveiller automatiquement le régime alimentaire

La nourriture joue un rôle important dans notre santé, et pour cette raison, de nombreuses personnes qui essaient d'améliorer leur alimentation suivent souvent ce qu'elles mangent. Un nouveau portable des chercheurs de l'École d'informatique de l'Université Carnegie Mellon aide les utilisateurs à suivre leurs habitudes alimentaires avec une grande fidélité.

FitByte, un système de détection portable non invasif, combine la détection du son, des vibrations et des mouvements pour augmenter la précision et diminuer les faux positifs. Il pourrait aider les utilisateurs à atteindre leurs objectifs de santé en suivant les modèles de comportement et donne aux praticiens un outil pour comprendre la relation entre l'alimentation et la maladie et pour surveiller l'efficacité du traitement.

L'appareil suit toutes les étapes de l'apport alimentaire. Il détecte la mastication, la déglutition, les gestes de la main à la bouche et les visuels de la consommation, et peut être attaché à n'importe quelle paire de lunettes de consommation. "Les principaux capteurs de l'appareil sont des accéléromètres et des gyroscopes, qui se trouvent dans presque tous les appareils à ce stade, comme vos téléphones et vos montres", a déclaré Mayank Goel, professeur adjoint à l'Institut de recherche logicielle et d'interaction homme-machine. Institut.

Un capteur de proximité infrarouge détecte les gestes de la main à la bouche. Pour identifier la mastication, le système surveille le mouvement de la mâchoire à l'aide de quatre gyroscopes autour des oreilles du porteur. Les capteurs regardent derrière l'oreille pour suivre la flexion du muscle temporal lorsque l'utilisateur déplace sa mâchoire. Des accéléromètres à grande vitesse placés près de l'écouteur des lunettes perçoivent les vibrations de la gorge lors de la déglutition. Cette technologie relève le défi de longue date de détecter avec précision la consommation d'alcool et la consommation de produits mous comme le yogourt et la crème glacée.

Une petite caméra à l'avant des lunettes pointe vers le bas pour capturer uniquement la zone autour de la bouche et ne s'allume que lorsque le modèle détecte que l'utilisateur mange ou boit. "Pour résoudre les problèmes de confidentialité, nous traitons actuellement tout hors ligne", a déclaré Abdelkareem Bedri, un étudiant au doctorat de HCII. "Les images capturées ne sont partagées nulle part, sauf sur le téléphone de l'utilisateur."

À ce stade, le système dépend des utilisateurs pour identifier les aliments et les boissons sur les photos. Mais l'équipe de recherche prévoit un déploiement de test plus important, qui fournira les données dont les modèles d'apprentissage en profondeur ont besoin pour discerner automatiquement le type d'aliment.

FitByte a été testé dans cinq situations sans contraintes, notamment un déjeuner, regarder la télévision, prendre une collation rapide, faire de l'exercice dans une salle de sport et faire de la randonnée en plein air. La modélisation de ces données bruyantes permet à l'algorithme de généraliser à travers les conditions.

"Notre équipe peut prendre des données de capteur et trouver des modèles de comportement. Dans quelles situations les gens consomment-ils le plus? Sont-ils en train de manger de façon excessive? Mangent-ils plus quand ils sont seuls ou avec d'autres personnes? Nous travaillons également avec des cliniciens et des praticiens sur le les problèmes qu’ils aimeraient résoudre ", a déclaré Goel.

L'équipe continuera de développer le système en ajoutant davantage de capteurs non invasifs qui permettront au modèle de détecter la glycémie et d'autres mesures physiologiques importantes. Les chercheurs créent également une interface pour une application mobile qui pourrait partager des données avec les utilisateurs en temps réel.