04 / 07 / 2017
#HoloLens

Handicap : Kophosight, une appli pour traduire en temps réel la langue orale vers le langage parlé complété

  • Linkedin
Trois étudiants ont développé Kophosight, une application visant à favoriser l’intégration des personnes souffrant d’un handicap auditif grâce au potentiel de la réalité mixte. RSLN a rencontré ses créateurs.

En France, entre 300 000 et 400 000 personnes sont atteintes de surdité profonde. Se rendre à un rendez-vous à la banque, consulter un médecin ou encore suivre un cours sont autant d’actions du quotidien qui nécessitent la participation d’un interprète. Ce qui n’est pas toujours possible, loin de là, que ce soit du fait de contraintes financières ou encore… de la pénurie d’interprètes en Langue Française Parlée Complétée (LfPC).

Alors comment remédier à ce problème ? Que peut apporter la technologie ? Ce sont les questions que se sont posées Louis Brillet, 22 ans, Thibaud Navarre, 23 ans, et Billal Hatoum, 21 ans.

La réponse de ces trois étudiants de l’école d’ingénieurs ECE Paris, réalisée en partenariat avec l’Institut National des Jeunes Sourds, incubée au Studio Kamino de Sogeti et accompagnée par Microsoft, a pris la forme d’une application capable de traduire en direct le langage oral en code LPC (Langage Parlé Complété), très utilisé au sein de la communauté sourde, à l’aide du casque HoloLens de Microsoft. Repéré dans le cadre du défi H 2017 de Sogeti, un concours d’innovation dédié au Handicap pour lequel ils ont été récompensé par le prix de l’innovation Technologique du défi H 2017, le trio a également reçu en mai 2017 le prix Ninja Cat of the Year aux Windows Developer Awards 2017 à Seattle.

En quoi consiste l’application Kophosight ?

Louis Brillet : C’est un traducteur en temps réel de la langue orale vers le langage parlé complété (LfPC). Ce code permet aux sourds de comprendre la langue française phonème par phonème, grâce à des clés de main apportant une information parallèle afin de comprendre les multiples sons syllabiques, en particulier ceux dont il n’est pas possible de voir la différence sur les lèvres. Je pense par exemple à « pain », « bain » ou « main ».

Thibaud Navarre: Pour faciliter ce système, notre application reconnaît le phonème et affiche en temps réel, en réalité augmentée avec le casque HoloLens, la main correspondante pour traduire la langue orale.

Thibaud Navarre, Billal Hatoum et Louis Brillet, les créateurs de Kophosight (c) RSLN

Comment votre application va changer le quotidien des individus souffrant d’un handicap auditif ?

Billal Hatoum: Grâce à Kophosight et HoloLens, les personnes atteintes de surdités profondes ne seront plus obligées, à terme, d’avoir toujours recours à un interprète, ce qui devrait véritablement leur améliorer le quotidien. Cela permet par ailleurs de contourner le problème du manque d’effectif, criant dans cette profession et dans certaines régions françaises par rapport à la demande.

Louis Brillet: Sur un autre niveau, les personnes sourdes vont pouvoir conserver leur vie privée, par exemple en ne divulguant pas à des interprètes qu’elles ne connaissent parfois pas des informations confidentielles, que ce soit lors de rendez-vous chez le médecin ou à la banque.

Thibaud Navarre: Kophosight va aussi pouvoir servir aux jeunes sourds dans leur apprentissage de la langue française. Et ce sera plus simple pour les étudiants de suivre leurs cours.

En effet, les interprètes signent de manière « automatique », peu importe le message véhiculé. L’Institut national des jeunes sourds de Paris a en effet remarqué que les étudiants sourds ont parfois du mal à saisir toute la richesse du discours du professeur en regardant un interprète qui les prive du langage corporel, de l’intonation et des expressions faciales.

L’application peut-elle s’utiliser partout ?

Louis Brillet: Oui totalement. Une fois l’application installée, le dispositif s’utilise dans les transports en commun, dans la rue ou encore à l’école.

Thibaud Navarre: Et l’avantage du casque HoloLens est qu’il est complètement autonome avec sa batterie. L’application peut même fonctionner sans accès à internet et les utilisateurs n’ont pas besoin d’avoir un ordinateur à leurs côtés.

Quand l’application sera-t-elle disponible ?

Louis Brillet: Nous sommes en train d’optimiser l’application en réalisant des tests utilisateurs à l’Institut national des jeunes sourds de Paris avec lequel nous travaillons depuis plusieurs mois. Les premiers retours des tests sont très positifs. Grâce aux remarques des utilisateurs, nous avons amélioré notre dictionnaire et nous travaillons sur de nouvelles améliorations.

Billal Hatoum: Nous voulons obtenir un produit parfaitement fonctionnel avant de rendre accessible l’application. Il nous reste encore de nombreux tests utilisateurs à réaliser, mais nous avançons dans la bonne voie !