signAloud : des gants pour transcrire la langue des signes

Deux étudiants ont créé un prototype de gants permettant d’interpréter la langue des signes et de la retranscrire en langue anglaise.

Thomas Pryor et Navid Azodi sont deux étudiants de l’Université de Washington, étudiant l’ingénierie aéronautique et le business. Ils ont créé une paire de gants capables d’interpréter les mots réalisés en langue des signes. Les mots détectés sont alors transcrits en anglais puis vocalisés par une synthèse vocale.

Chaque gant contient des capteurs afin de détecter la position et le mouvement de chaque doigt. Les données sont ensuite envoyées en Bluetooth à un ordinateur qui va comparer le modèle de la main avec les signes connus et stockés dans un base. La reconnaissance se fait par des régressions linéaires statistiques, sur le même principe que les réseaux neuronaux. Cette création a été réalisée au University of Washington CoMotion MakerSpace, sorte de fablab mettant à disposition des étudiants un ensemble d’outils et machines pour prototyper des inventions.

Les deux étudiants ont reçu le prix Lemelson-MIT Student Prize en 2016 pour leur innovation, accompagné de 10.000 dollars. Ils prévoient d’améliorer leur prototype et de travailler avec des personnes sourdes. D’autres utilisations de ces gants pourraient être le contrôle à distance d’objets.

D’après le MIT, cette solution serait plus précise que les projets utilisant le Leap Motion (reconnaissance gestuelle par caméras) ou le  Myo Armband (reconnaissance gestuelle par bracelet).

En savoir plus :