SISTEMA DE RECONOCIMIENTO DE VOCALES DE LA LENGUA DE SEÑAS MEXICANA

Resumen

Resumen

 La lengua de señas es un medio de comunicación tan importante como la lengua hablada para el desarrollo social del ser humano. Tras la aparición de sensores de reconocimiento de gestos, como Kinect, surge especial interés por utilizarlos para interpretar la lengua de señas.

La finalidad del presente trabajo consistió en interpretar las vocales de la lengua de señas mexicana identificadas por gestos estáticos con la mano. Para ello se utilizó el sensor Leap Motion Controller, ideal para esta aplicación al detectar y seguir las manos con tal precisión sin necesidad de entrar en contacto con el usuario. Para lograr el reconocimiento de los gestos correspondientes a las vocales se utilizó el modelo de perceptrón multicapa junto a una interfaz visual en tiempo real. La red fue entrenada y calibrada por un experto en lenguaje de señas, logrando así una razón de reconocimiento de hasta 100%.

Palabras Claves: Leap Motion Controller, Lengua de Señas Mexicana (LSM), perceptrón multicapa, reconocimiento de Imágenes.

SYSTEM OF VOCAL RECOGNITION OF THE MEXICAN SIGN LANGUAGE

Abstract

The Sign Language is a communication mean as important as the speaking language, for the social development of the human being. Thus, after gesture recognition sensors emerged such as Kinect, interest arises for utilize them to interpret the Sign language.

The present work aims to interpret the Mexican Sign Language vowels identified by one-hand static gestures. In order to do so, the Leap Motion Controller was used, ideal for this application while detecting and tracking hand position with such accuracy, without the need to physically interact with the user.

To achieve the vowels’ gesture recognition, the multilayer perceptron model was used along with a real time visual interface. The network was trained and calibrated by a sign language expert, achieving a recognition ratio up to 100%.

Keywords: Image Recognition, leap motion controller, Mexican sign language, multilayer perceptron model.