An animation and transition plataform for 3D avatar in portuguese sign language

Abstract

Portuguese Sign Language (LGP) is one of Portugal’s three official languages, alongside Portuguese and Mirandese, and is the primary means of communication for the country’s deaf community. The problem, despite LGP’s official status, is that only around 30,000 people speak it as their mother tongue. This figure contrasts sharply with Portugal’s population of approximately 11 million. LGP users represent only around 1% of the total population. Furthermore, LGP has a different structure and grammar to Portuguese. When trying to read and understand texts written in Portuguese correctly, this linguistic divergence constitutes a significant barrier for most deaf people. Although numerous technologies facilitate seamless translation between various spoken languages, the availability of translators to bridge the gap between a spoken language and a sign language remains considerably limited. As a result, communication with users and non-users of LGP becomes extremely difficult. In this context, the work carried out as part of the IVLinG - Interprete Virtual de Língua Gestual project, described here, had as its main objective the design and development of an animation component capable of animating gestures in LGP. To this end, studies were carried out on translation systems in Portuguese Sign Language, and various methods were developed and used with other languages. The outcome of this endeavour led to the creation of an animation platform that leverages the user’s machine’s hardware capabilities through an animation system that receives text input, translates it to an LGP gesture, and animates said gesture, using a 3D Avatar directly on the user’s machine.

A Língua Gestual Portuguesa (LGP) é uma das três línguas oficiais de Portugal, a par do português e do mirandês, e é o principal meio de comunicação da comunidade surda do país. O problema, apesar do estatuto oficial da LGP, é que apenas cerca de 30.000 pessoas a falam como língua materna. Este número contrasta fortemente com a população portuguesa de aproximadamente 11 milhões de habitantes. Ou seja, os utilizadores de LGP constituem apenas cerca de 1% de toda a população. Para além disso, a LGP tem uma estrutura e uma gramática diferentes da portuguesa. Ao tentar ler e compreender corretamente textos escritos em português, esta divergência linguística constitui uma barreira significativa para a maioria das pessoas surdas. Embora numerosas tecnologias facilitem a tradução sem problemas entre várias línguas faladas, a disponibilidade de tradutores para fazer a ponte entre uma língua falada e uma língua gestual continua a ser consideravelmente limitada. Consequentemente, a comunicação com utilizadores e não utilizadores de LGP torna-se extremamente difícil. Neste contexto, o trabalho realizado no âmbito do projeto IVLinG - Virtual Sign Language Interpreter, aqui descrito, teve como principal objetivo a conceção e desenvolvimento de uma componente de animação capaz de animar gestos em LGP. Para o efeito, foram realizados estudos sobre sistemas de tradução em Língua Gestual Portuguesa e foram desenvolvidos e utilizados vários métodos com outras línguas. O resultado deste trabalho conduziu à criação de uma plataforma de animação que tira partido das capacidades de hardware da máquina do utilizador através de um sistema de animação que recebe texto, traduz em gesto LGP e anima esse gesto, usando um Avatar 3D, diretamente na máquina do utilizador.