Et si une intelligence artificielle permettait de traduire le texte d'un livre en langue des signes ? Voici le concept que Huawei met en avant avec StorySign, une appli mobile qui s'adresse aux enfants sourds et à leur famille.
Alors que se déroule ce lundi 23 septembre la journée internationale des langues des signes, le constructeur chinois généralise ce service sur les smartphones iOS et Android, en s'adressant aux 32 millions d'enfants atteints de ce handicap recensés dans le monde.
L'apprentissage de la lecture étant plus compliqué pour eux (ils ne savent en général lire qu'à l'âge de 9 ans), StorySign va donc prendre le relais pour la lecture de livres simples, dotés de courts textes. L'idée est aussi de venir en soutien des parents qui ne maîtrisent pas non plus la langue.
En France, deux tiers des parents confient ne connaître que partiellement cette méthode, précise Huawei, qui rappellent que «95 % des enfants sourds ont des parents entendants».
Disponible gratuitement, l'application est pour l'heure compatible avec cinq livres. Concrètement, il suffit d'ouvrir StorySign et de pointer l'objectif photo du mobile vers le texte. L'écriture est ensuite automatiquement reconnue par l'appareil et traduite par un petit personnage en 3D, baptisé Star, s'exprimant dans la langue des signes sur l'écran du smartphone.
L'enfant peut ainsi suivre une histoire au fil des pages, sans avoir à se référer à ses parents pour lui faire comprendre. Parallèlement, les parents peuvent aussi regarder attentivement le petit avatar afin de mieux assimiler la langue des signes.
«En France, nous collaborons notamment avec la Fédération nationale des sourds de France et sa vice-présidente Ronit Laquerrière-Leven, afin d'offrir une expérience autour de notre langue des signes nationale», explique Stéphane Curtelin, directeur marketing de Huawei France.
Cette application, qui est une première sur un système grand public, est compatible avec d'autres mobiles que ceux de Huawei. Elle témoigne surtout du potentiel de l'usage de l'intelligence artificielle sur les smartphones actuels, en terme de reconnaissance textuelle.
D'autres livres seront compatibles à terme sur StorySign, tandis que d'autres outils liés à l'IA et au mobile devraient étoffer les possibilités d'interagir avec leur environnement pour les enfants sourds dans les années à venir.
D'autres projets liés à l'IA
Parallèlement, Huawei prépare de nouvelles applications liées à l'intelligence artificielle et la santé. Dans le cadre de l'initiative Tech4Good, la société chinoise met en avant son service Facing Emotion, qui traduit les émotions d'une personne par des sons. L'idée est ici de permettre aux personnes déficientes visuelles d'analyser les émotions perçues sur le visage de leur interlocuteur à l'aide d'un smartphone, ce dernier restituant alors les émotions par différents types de sons. Enfin, l'application Track AI permet d'analyser les yeux, afin de détecter les signes avant coureurs des problèmes de cécité.