Así es Showleap: el traductor de lengua de signos a texto y voz en tiempo real está cada vez más cerca
Dentro de las soluciones que nos ofrece la tecnología en todos los ámbitos imaginables, merecen una mención especial aquellas propuestas que abogan por la accesibilidad. En este sentido, más allá de las aportaciones que hacen gigantes como Google, destaca el trabajo realizado por la Fundación Vodafone España, que actualmente apoya diversos proyectos dirigidos a mejorar la calidad de vida de las personas con algún tipo de enfermedad o minusvalía.
Suyos son, por ejemplo, unos accesorios IoT pensados para cuidar la salud de los deportistas, y la aplicación móvil Tur4All, que permite explorar establecimientos y actividades turísticas accesibles. Recientemente, hemos conocido, además, un proyecto que nos ha llamado mucho la atención: se llama Showleap, es un traductor de lengua de signos en tiempo real y ya hemos podido comprobar cómo funciona.
Una cámara y un software
Showleap, que obtuvo el primer premio en la categoría ‘Accesibilidad TIC’ de la XII Edición de los Premios Vodafone a la Innovación 2018, ha sido creada con el objetivo de ayudar a las personas sordas o con discapacidad auditiva a comunicarse con cualquier oyente que no entienda la lengua de signos. Para ello, se sirve de dos elementos: una cámara que detecta el movimiento y reconoce las imágenes de la persona que está signando, y un software que traduce en tiempo real lo que la persona sorda expresa en lengua de signos y lo pasa a texto y voz.
Los fundadores del proyecto, Teo Atienza y Emilio Guerra, aseguran que el software está evolucionando para intentar “construir el traductor en base a lo que las personas sordas demandan“. Al principio, empezaron con dos brazaletes (fabricados por un tercero) que funcionaban bien con pocos signos, pero al aumentar la base de datos a 20.000 signos, comenzaron a fallar. Además, las personas sordas que los probaban les transmitían que “ellos no querían tener que ponerse nada adicional para entablar una conversación normal”.
En sus inicios, Showleap requería el uso de unos brazaletes; ahora, basta con una cámara que grabe los signos Decidieron entonces cambiar los brazaletes por una cámara y comenzaron un largo proceso “porque el trabajo anterior no servía y había que reprogramarlo todo”. Ahora, aseguran, Showleap “funciona con cualquier cámara o webcam a color”, que es la encargada de grabar en tiempo real los signos para que el programa los procese y aparezca la traducción en pantalla. Dicho programa, de momento, puede instalarse en un ordenador, pero “la idea es que, en un futuro, se convierta en una app para el móvil o tablet”.
Un proyecto con vistas al futuro
Según nos cuentan Teo y Emilio, Showleap es un proyecto complejo a nivel técnico porque utiliza técnicas de deep learning y un programa que consta de tres redes neuronales: la primera procesa el vídeo, la segunda capta los signos que se han hecho y los interpreta, y la tercera es la que se encarga de “unir” los signos y darle un sentido a la frase.
Esta tercera red neuronal es la que está en desarrollo actualmente. Ahora mismo se encuentran en una fase en la que Showleap es capaz de reconocer palabras sueltas sin problemas (como pudimos comprobar en la demo), pero están trabajando para que pueda traducir frases completas. También están colaborando con el Ayuntamiento de Madrid, que les adjudicó un contrato de compra pública de innovación, y en mayo tendrán el primer testeo en entorno real.
Esas pruebas de Showleap con personas sordas se realizarán en dependencias del Ayuntamiento y permitirán comprobar si traduce correctamente frases completas (usarán unas veinte frases en el test, nos dicen) y si la comunicación resulta fluida y “natural”. Aunque las demos que nos han hecho estaban montadas en servidores locales, en mayo realizarán las pruebas con almacenamiento en la nube y a través de un navegador porque la idea, como decíamos antes, es que en un futuro a corto plazo puedan “pasar” Showleap a móvil para que cualquier usuario a nivel particular lo utilice en cualquier momento.
Una vez que hayan perfilado lo que ellos llaman “la parte difícil”, es decir, la traducción de signo a texto, pasarán a trabajar en la comunicación bidireccional. Eso implicará la implementación de la traducción de voz a texto, de manera que, cuando la persona oyente hable a la persona sorda, la aplicación convierta estas palabras a texto para que esta pueda leerlas en su dispositivo.
Marta, sordomuda, nos da las gracias al finalizar la demo y Showleap nos lo traduce al instante Lo ideal, nos dicen, sería que esa comunicación bidireccional incluyera la conversión de voz a signos, pero eso requeriría disponer de una serie de vídeos pre-grabados para que, cuando el problema “oyera” una frase determinada, mostrara su correspondiente vídeo. Y claro, “eso ya se va a medio plazo” porque requiere mucho desarrollo.
Pero el equipo de Showleap es optimista y antes de despedirnos nos aseguran que “lo natural, al final, es que la comunicación sea completamente bidireccional y natural: que la persona sorda signe y se lo traduzca a voz al oyente, y que el oyente conteste hablando y se lo traduzca a signos a la persona sorda”. Esperemos que así sea, de momento, y a juzgar por estos primeros pasos, está claro que Showleap “camina” en la buena dirección.
Más información | Showleap
También te recomendamos
Un wearable para "oír" con la piel: Music:NotImpossible es un "traductor" de sonido a vibración
Estas son todas las muertes que habrías sufrido sin tecnología
Waze: 21 trucos para exprimir a fondo esta app de tráfico y navegación
–
La noticia
Así es Showleap: el traductor de lengua de signos a texto y voz en tiempo real está cada vez más cerca
fue publicada originalmente en
Xataka
por
Laura Sacristán
.