Campus Vitória da Conquista Trabalhos de Conclusão de Cursos (TCCs) - Vitória da Conquista
Use este identificador para citar ou linkar para este item: https://repositorio.ifba.edu.br/jspui/handle/123456789/905
metadata.dc.type: Trabalho de Conclusão de Curso
Título: Identificação visual em tempo instantâneo da datilologia em Libras: facilitador na comunicação
metadata.dc.creator: Oliveira, Larissa Santos
metadata.dc.contributor.advisor1: Diaz Amado, Jose Alberto
metadata.dc.contributor.advisor-co1: Alves, Marcelo Meira
metadata.dc.contributor.referee1: Diaz Amad, Jose Alberto
metadata.dc.contributor.referee2: Alves, Marcelo Meira
metadata.dc.contributor.referee3: Santos, Leandro Viturino dos
metadata.dc.contributor.referee4: Libarino, Cleia Santos
metadata.dc.description.resumo: Este trabalho propõe um sistema para facilitar a comunicação entre surdos e ouvintes por meio da tradução automática da datilologia da língua brasileira de sinais (Libras) para texto. Utilizando técnicas de Visão Computacional e Deep Learning, o sistema é capaz de reconhecer o alfabeto da Libras a partir de imagens em tempo imediato das mãos humanas. Para alcançar esse objetivo, foi empregada a arquitetura de rede neural PointNet, especializada no processamento de dados tridimensionais. Um conjunto de dados contendo imagens de mãos em diferentes posições e ângulos, representando o alfabeto da Libras, foi utilizado para treinar a rede. A biblioteca MediaPipe foi crucial para a extração de pontos de referência (Landmarks) 3D das mãos nas imagens, que foram utilizados como entrada para a rede neural. Após o treinamento, a rede PointNet demonstrou alta precisão na classificação das letras, com mais de 98% de acerto. Para aprimorar a experiência do usuário, o sistema foi integrado a um corretor ortográfico, garantindo maior fluidez e naturalidade na tradução. Além disso, a captura imediata permite a interação direta do usuário com o sistema. Os resultados obtidos neste trabalho demonstram o potencial da aplicação de técnicas de Visão Computacional e Deep Learning para o desenvolvimento de sistemas de interpretação de Libras, contribuindo para a inclusão e comunicação de pessoas surdas.
Resumo: This work proposes a system to facilitate communication between deaf and hearing individuals through the automatic translation of the brazilian sign language (Libras) fingerspelling into text. Using Computer Vision and Deep Learning techniques, the system is capable of recognizing the Libras alphabet from real-time images of human hands. To achieve this goal, the PointNet neural network architecture, specialized in processing three-dimensional data, was employed. A dataset containing images of hands in different positions and angles, representing the Libras alphabet, was used to train the network. The MediaPipe library was crucial for extracting 3D landmarks from the hands in the images, which were used as input for the neural network. After training, the PointNet network demonstrated high accuracy in letter classification, with over 98% accuracy. To enhance user experience, the system was integrated with a spell checker, ensuring greater fluency and naturalness in the translation. Additionally, real-time capture allows for direct user interaction with the system. The results obtained in this work demonstrate the potential of applying Computer Vision and Deep Learning techniques to develop sign language interpretation systems, contributing to the inclusion and communication of deaf individuals
Palavras-chave: Língua Brasileira de Sinais
PointNet
Landmark
Deep learning
metadata.dc.subject.cnpq: CNPQ::ENGENHARIAS
metadata.dc.language: por
metadata.dc.publisher.country: Brasil
Editor: Instituto Federal de Educação, Ciência e Tecnologia da Bahia
metadata.dc.publisher.initials: IFBA
metadata.dc.publisher.department: Departamento de Ensino Superior/Bacharelado
metadata.dc.rights: Acesso Aberto
URI: http://repositorio.ifba.edu.br/jspui/handle/123456789/905
Data do documento: 13-Ago-2024
Aparece nas coleções:Trabalhos de Conclusão de Cursos (TCCs) - Vitória da Conquista

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
Larissa_Santos_Oliveira_IFBA_VDC_PFC_VersaoFinal.pdf6.31 MBAdobe PDFVisualizar/Abrir


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.

Ferramentas do administrador