![Page 1: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/1.jpg)
ESCOLA POLITÉCNICA DA UNIVERSIDADE DE SÃO PAULO
Departamento de Engenharia de Computação e Sistemas Digitais
Implementação de buscas utilizando Linguagem Natural
através de Algoritmos Adaptativos
Alencar Jr. CerqueiraAndré Martini Diniz
Carolina DortaPaulo Shindi Kuniyoshi
![Page 2: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/2.jpg)
Agenda Motivação Objetivos Vídeo 1: Complexidade PLN(Mostrar todas as combinações possíveis) Aspectos Conceituais
▪ Linguagem Natural▪ Técnicas de Processamento de Linguagem Natural▪ Autômato de Pilha estruturado▪ Adaptatividade▪ Rede semântica
Implementação▪ Vídeo 2: Funcionamento (Montar árvore sintatica, rede semantica)▪ Escolha do método / técnica(Metodologia)▪ Sistema
▪ Modo de funcionamento / Modo de aprendizado / Mode de utilização▪ Arquitetura: Simplificada / Detalhada▪ Analisador Morfológico: Jspell / Dicionário IBLINAA▪ Analisador Sintático▪ Ações semânticas▪ Rede semântica▪ Adaptatividade▪ Vídeo 3: Petalas
Testes Resultados Trabalhos Futuros Conclusão
![Page 3: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/3.jpg)
Motivação Limitação das buscas por palavras-chaves Busca por semântica
Técnicas de Processamento de Linguagens Naturais
![Page 4: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/4.jpg)
Objetivos
![Page 5: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/5.jpg)
Vídeo 1
![Page 6: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/6.jpg)
Aspectos Conceituais
![Page 7: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/7.jpg)
Linguagem Naturais
![Page 8: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/8.jpg)
Técnicas de PLN Técnicas:
Simbólica Estatística Híbrida
Comparação técnicas PLN
/ Simbólico Estatístico Connectionist
Aquisição de dadosMenos dados para gerar um sistema maduro
Mais dados para gerar sistema maduro
Criação de regras Possuem critérios Pouco especificadas
Teoria ou Modelo Baseada em regras Parametrizado
Robustez Vulnerável aos ruídos Mais tolerantes a ruídos
Flexibilidade Não adaptávelMais indicados para tratar textos irrestritos
![Page 9: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/9.jpg)
Autômato de Pilha Estruturado Extensão do Autômato Finito para ter
aninhamento sintáticos Chamada de Sub-máquina + Pilha
![Page 10: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/10.jpg)
Adaptatividade
![Page 11: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/11.jpg)
Rede Semântica
![Page 12: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/12.jpg)
Implementação
![Page 13: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/13.jpg)
Vídeo 2
![Page 14: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/14.jpg)
Sistema IBLINAA APE Adaptativo Redes semânticas
![Page 15: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/15.jpg)
Modo Aprendizado
Inserção gradual de novas estruturas
Inserção Artig
o
•O usuário insere um artigo no sistema
Pré-Processament
o
•O sistema realiza um pré-processamento que identifica informações relevantes em estruturas de frases conhecidas pelo analisador da linguagem
Rede Semântic
a
•O sistema armazenará as informações retiradas da etapa anterior em uma rede semântica que orientará a busca destas informações
![Page 16: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/16.jpg)
Modo Utilização
Inserção gradual de novas estruturas Estr
utura de Pergunta
•O usuário seleciona uma estrutura de pergunta reconhecida pelo sistema
Pergunta
•Neste momento o usuário faz a pergunta em si e o sistema irá buscar a resposta dentro de sua rede semântica
Respost
a
•O sistema retorna a resposta para o usuário, bem como a fonte de onde esta resposta foi retirada e um link para acessar este documento
![Page 17: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/17.jpg)
Arquitetura Simplificada
Analisador Sintático
Rede Semântica
Adaptativo
Algorítmo
![Page 18: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/18.jpg)
Arquitetura Completa
IBLINAAIBLINAA
Interface de ComunicaçãoInterface de Comunicação
ViewView
ControllerController
ModelModel
Analisador Sintático AdaptativoAnalisador Sintático Adaptativo
Analisador MorfológicoAnalisador Morfológico
ControllerController
ViewView ViewView...
... ControllerController
históriahistória biologiabiologia BDsBDs...
![Page 19: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/19.jpg)
Analisador Morfológico
Jspell : Framework de análise morfológica mais utilizado na língua portuguesa
Dicionário IBLINAA: Construção para suprir as deficiências do Jspell
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
![Page 20: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/20.jpg)
Analisador Sintático
Autômato de pilha estruturado Gramática simplificada do Português pelo
professor João José Neto baseada no livro do Luft Gramática projetada pelo grupo
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
Classes do módulo de Análise Sintática
![Page 21: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/21.jpg)
Analisador Sintático
Sub-máquinas
![Page 22: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/22.jpg)
Ações semânticas
Figura 9- Máquina V
![Page 23: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/23.jpg)
Rede semântica
Estrutura semântica do Banco de Dados
![Page 24: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/24.jpg)
Rede semântica
Exemplo estruturado em rede semântica
Quem
Exemplo de pergunta: Quem ofereceu café?
Para as perguntas iniciadas por Quem, deve-se seguir a seguinte estratégia de busca:
•Identifica-se o verbo: ofereceu
•Identifica-se o objeto (conceito 2): café
•Identifica-se a Ligação Semântica cujo conceito 2 seja café e o verbo seja ofereceu -> José.
•Identifica-se o texto de Sujeito a que o conceito 2 se refere -> O lindo José.
Resposta: O lindo José.
![Page 25: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/25.jpg)
Adaptatividade
![Page 26: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/26.jpg)
Testes e Resultados
![Page 27: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/27.jpg)
Testes
Teste das sentenças (Sub-máquinas) Teste Adaptatividade(Aprendizado) Teste para extração de informação(Busca)
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
![Page 28: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/28.jpg)
Testes Unitários
Testes já realizados
Exemplo: Submáquina Det
Caminho Frase OK?
Det(0123) Todos os meus OK
Det(0123) Primeiro o meu OK
Det(0123) Primeiro aquele seu OK
Det(0123) Todo aquele nosso OK
Det(0123) Todos os primeiros OK
Det(0123) Primeiro o terceiro OK
Det(0123) Primeiro esse terceiro OK
Det(0123) Todos estes primeiros OK
Det(012) Todas as OK
Det(012) Todos nossos OK
Det(012) Primeiro as OK
![Page 29: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/29.jpg)
Testes Rede semânticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
![Page 30: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/30.jpg)
Resultados
Gramática Luft vs Gramática IBLINAA Comparação árvore entre Luft e IBLINAA
Desempenho das „pétalas“ Mostrar os casos de reconhecimento Pergunta / Resposta
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
![Page 31: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/31.jpg)
Trabalhos Futuros
Adaptatividade Dicionário IBLINAA Gramática da língua portuguesa Estrutura Semântica Reconhecimento de estruturas da língua
portuguesa Pesquisa na Internet
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
![Page 32: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/32.jpg)
Conclusão
Vantagens desta técnica: Flexível a outras gramáticas
▪ Fácil de reconhecer sentenças de outras linguagens naturais
Modular▪ Fácil de mudar as sub-máquinas
„Inteligente“▪ Adaptativo
…
Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática
![Page 33: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/33.jpg)
Referências Bibliográficas Laboratório de Linguagens e Técnicas
Adaptativas da USPhttp://www.pcs.usp.br/~lta/union/index.php?cp=4
World Wide Web Consortium (W3C)http://www.w3.org/
DBpediahttp://dbpedia.org/About
![Page 34: Implementação de buscas utilizando Linguagem Natural através de Algoritmos Adaptativos](https://reader031.vdocuments.pub/reader031/viewer/2022013101/56812a52550346895d8d9e1f/html5/thumbnails/34.jpg)
Teste Estatístico
Teste de Reconhecimento
Texto:Coelhinho esperto
Tempo de Processamento : 4 minutos
Quantidade de frases: 50
Quantidade de frases reconhecidas: 5 Possibilidade de reconhecimento com pequenas modificações : + 5 frases
Não reconhecimento por:Gramática não reconheceu (com possibilidade de mudanças) 20
Gramática não reconheceu (mudanças complicadas) 12( Não foram contabilizados os períodos compostos aqui )
Período composto 29
Erro no Jspell (verbo) 6
Erro no Jspell (outras classes) 8
Erro do Analisador Sintático 0