Alunos usam IA em software que converte Libras em texto

Trabalhar com a Língua Brasileira de Sinais (Libras) e tornar a comunicação de surdos e mudos mais acessível foi a motivação para o Trabalho de Conclusão de Curso (TCC) de um grupo de estudantes da Escola Técnica Estadual (Etec) Lauro Gomes, de São Bernardo do Campo. Os alunos desenvolveram um software que identifica um sinal em Libras e o converte em texto. O projeto ultrapassou as barreiras da sala de aula, ficou em nono lugar na votação popular da 19ª Feira Brasileira de Ciências e Engenharia (Febrace) e será apresentado em outras feiras ainda este ano.

Os estudantes do curso Técnico Desenvolvimento de Sistemas Vinícius Luciano Navarrete da Silva, Luciano Dos Anjos Oliveira e Fabrício Holanda de Almeida buscaram uma proposta nova para o mercado e, por intermédio da biblioteca de código aberto MediaPipe, deram origem ao Software de Reconhecimento de Sinais, que já conta com 100 sinais programados para reconhecimento. Para chegar a esse resultado, foi necessário lidar com as adversidades que surgiram com a chegada da pandemia, manter a dedicação, o comprometimento e testar mais de 20 mil vídeos.

“Nosso software tem a função de identificar movimentos por meio de pontos de referências e gerar uma palavra a partir deles. Ele reconhece os pontos da face, mãos e corpo, por meio de coordenadas que foram programadas quando colocamos os vídeos com sinais em Libras, assim geramos coordenadas que o software detecta e, pelas variações de movimentos, gera o texto”, explica Luciano.

A ideia para o software tem relação com uma questão pessoal do estudante, que nasceu com lábio leporino e tem dificuldades de fala. “Por conta do meu problema, falei com meu pai que, quando iniciasse o curso, queria fazer algo para ajudar as pessoas, isso foi o que mais me motivou e me motiva a continuar com o projeto”, afirma Luciano.

A proposta dos alunos é tornar o usuário da tecnologia o agente da ação. “Muita gente não tem conhecimento de Libras, falta acessibilidade para os surdos e mudos em hospitais, metrôs, nas empresas. Com esse projeto, será possível levar mais facilidade de comunicação a todos esses lugares”, diz o jovem.

Vinícius conta que os próximos passos serão finalizar o desenvolvimento do software e criar um aplicativo para que a solução possa ser aplicada no dia a dia. “Queremos conseguir mais espaço para poder dar continuidade a este trabalho, melhorar nossa estrutura e ter apoio no conteúdo de Libras, para levar mais inclusão a todos os lugares. Participar da Febrace foi muito importante para divulgar nossa proposta e nos ajudar nesses objetivos”, diz.

Orientação

Uma equipe de docentes orienta os alunos no desenvolvimento dos projetos de TCC. Cleiton Fabiano Patricio foi um deles. Ele conta como é clara a evolução dos estudantes e diz que é gratificante ver o projeto ganhando reconhecimento. “Dei aula para esse grupo nos três módulos, é nítido que eles entram no curso de um jeito e estão saindo com uma visão muito mais ampla das possibilidades e entendendo que estar nesse mercado exige um aprendizado constante. Quando eu olho para eles, para o nível do trabalho que eles estão aprimorando, é muito perceptível que eles estão aproveitando todas essas possibilidades.”

O docente também explica que o projeto foi baseado em uma tecnologia que ainda é muito nova e está ganhando evidência agora. “Para trabalhar com programação de Inteligência Artificial é preciso muita dedicação e foco do aluno, para que se possa entender toda a arquitetura dela“, diz. “Nós vimos a dedicação desses alunos, desde o início eles queriam trabalhar com identificação de movimentos, mas quando eles conseguiram entender a rede neural do software, começaram a expandir e abrir um leque de possibilidades que deu muito mais forma o trabalho.”

Segundo o educador, esse tipo de projeto faz parte do começo de uma nova era, é um software que vai ter cada vez mais espaço e o desafio é absorver essa tecnologia em tempo real. “Por isso, nós, professores e alunos, temos que entender que as opções de desenvolvimento estão mais amplas e o desafio da aprendizagem é muito maior”, completa.

A coordenadora do curso na Etec Lauro Gomes, Rosa Mitiko Shimizu, explica que a interdisciplinaridade é fundamental para que os alunos despertem o interesse em toda a grade curricular e tenham sucesso na conclusão do curso. “O Software de Reconhecimento de Sinais mostra como o comprometimento do grupo foi importante. Eles foram além do desenvolvimento, houve muita pesquisa científica, muito engajamento em todas as disciplinas na grade curricular para o embasamento e sucesso do projeto.”

Rosa fala sobre o orgulho em ver o êxito dos estudantes e das possibilidades que se abrem com a conclusão do curso: “O TCC não é só reproduzir o que ensinamos em sala de aula, queremos ver os alunos buscando novos horizontes, novas tecnologias e estimulando a criatividade que eles têm, e assim, vê-los alcançando sucesso no mercado”.

Além da conquista na votação popular da Febrace, os jovens foram convidados a participar da Mostratec Jovem-Pará e estão preparando inscrições para outras feiras científicas, entre elas a Siencetec. No momento, também estão focados na divulgação do trabalho nesses eventos, e na busca apoio de intérpretes para aprimorar a programação dos sinais. “Buscamos intérpretes que possam colaborar para ampliar nossa base de dados, precisamos de apoio da comunidade para deixar o software cada vez mais completo”, afirma Vinícius.

Sobre o Software de Reconhecimento de Sinais

O projeto foi desenvolvido pelo sistema operacional Ubuntu. Usando machine learning, o software foi treinado para reconhecer gestos e sinais de mão, face e corpo, por intermédio de uma biblioteca de código aberto, chamada MediaPipe, câmera e vídeos. O objetivo é relacionar o movimento apresentado a uma palavra. De acordo com o código do treinamento, o software reconhece o sinal e gera, na saída, a palavra condizente ao vídeo, em um arquivo TXT ou legendado.

Projeto dos estudantes usa tecnologia de visão computacional para ajudar na comunicação de surdos e mudos

Sobre o Centro Paula Souza – Autarquia do Governo do Estado de São Paulo vinculada à Secretaria de Desenvolvimento Econômico, o Centro Paula Souza (CPS) administra as Faculdades de Tecnologia (Fatecs) e as Escolas Técnicas (Etecs) estaduais, além das classes descentralizadas – unidades que funcionam com um ou mais cursos, sob a supervisão de uma Etec –, em cerca de 300 municípios paulistas. As Etecs atendem mais de 212 mil estudantes nos Ensinos Técnico, Integrado e Médio. Nas Fatecs, o número de matriculados nos cursos de graduação tecnológica supera 89 mil alunos.