implementação de buscas utilizando linguagem natural através de algoritmos adaptativos

ESCOLA POLITÉCNICA DA UNIVERSIDADE DE SÃO PAULO

Departamento de Engenharia de Computação e Sistemas Digitais

Implementação de buscas utilizando Linguagem Natural

através de Algoritmos Adaptativos

Alencar Jr. CerqueiraAndré Martini Diniz

Carolina DortaPaulo Shindi Kuniyoshi

Agenda Motivação Objetivos Vídeo 1: Complexidade PLN(Mostrar todas as combinações possíveis) Aspectos Conceituais

▪ Linguagem Natural▪ Técnicas de Processamento de Linguagem Natural▪ Autômato de Pilha estruturado▪ Adaptatividade▪ Rede semântica

Implementação▪ Vídeo 2: Funcionamento (Montar árvore sintatica, rede semantica)▪ Escolha do método / técnica(Metodologia)▪ Sistema

▪ Modo de funcionamento / Modo de aprendizado / Mode de utilização▪ Arquitetura: Simplificada / Detalhada▪ Analisador Morfológico: Jspell / Dicionário IBLINAA▪ Analisador Sintático▪ Ações semânticas▪ Rede semântica▪ Adaptatividade▪ Vídeo 3: Petalas

Testes Resultados Trabalhos Futuros Conclusão

Motivação Limitação das buscas por palavras-chaves Busca por semântica

Técnicas de Processamento de Linguagens Naturais

Objetivos

Vídeo 1

Aspectos Conceituais

Linguagem Naturais

Técnicas de PLN Técnicas:

Simbólica Estatística Híbrida

Comparação técnicas PLN

/ Simbólico Estatístico Connectionist

Aquisição de dadosMenos dados para gerar um sistema maduro

Mais dados para gerar sistema maduro

Criação de regras Possuem critérios Pouco especificadas

Teoria ou Modelo Baseada em regras Parametrizado

Robustez Vulnerável aos ruídos Mais tolerantes a ruídos

Flexibilidade Não adaptávelMais indicados para tratar textos irrestritos

Autômato de Pilha Estruturado Extensão do Autômato Finito para ter

aninhamento sintáticos Chamada de Sub-máquina + Pilha

Adaptatividade

Rede Semântica

Implementação

Vídeo 2

Sistema IBLINAA APE Adaptativo Redes semânticas

Modo Aprendizado

Inserção gradual de novas estruturas

Inserção Artig

o

•O usuário insere um artigo no sistema

Pré-Processament

o

•O sistema realiza um pré-processamento que identifica informações relevantes em estruturas de frases conhecidas pelo analisador da linguagem

Rede Semântic

a

•O sistema armazenará as informações retiradas da etapa anterior em uma rede semântica que orientará a busca destas informações

Modo Utilização

Inserção gradual de novas estruturas Estr

utura de Pergunta

•O usuário seleciona uma estrutura de pergunta reconhecida pelo sistema

Pergunta

•Neste momento o usuário faz a pergunta em si e o sistema irá buscar a resposta dentro de sua rede semântica

Respost

a

•O sistema retorna a resposta para o usuário, bem como a fonte de onde esta resposta foi retirada e um link para acessar este documento

Arquitetura Simplificada

Analisador Sintático

Rede Semântica

Adaptativo

Algorítmo

Arquitetura Completa

IBLINAAIBLINAA

Interface de ComunicaçãoInterface de Comunicação

ViewView

ControllerController

ModelModel

Analisador Sintático AdaptativoAnalisador Sintático Adaptativo

Analisador MorfológicoAnalisador Morfológico

ControllerController

ViewView ViewView...

... ControllerController

históriahistória biologiabiologia BDsBDs...

Analisador Morfológico

Jspell : Framework de análise morfológica mais utilizado na língua portuguesa

Dicionário IBLINAA: Construção para suprir as deficiências do Jspell

Figura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática


Autômato de pilha estruturado Gramática simplificada do Português pelo

professor João José Neto baseada no livro do Luft Gramática projetada pelo grupo


Classes do módulo de Análise Sintática


Sub-máquinas

Ações semânticas

Figura 9- Máquina V

Rede semântica

Estrutura semântica do Banco de Dados

Rede semântica

Exemplo estruturado em rede semântica

Quem

Exemplo de pergunta: Quem ofereceu café?

Para as perguntas iniciadas por Quem, deve-se seguir a seguinte estratégia de busca:

•Identifica-se o verbo: ofereceu

•Identifica-se o objeto (conceito 2): café

•Identifica-se a Ligação Semântica cujo conceito 2 seja café e o verbo seja ofereceu -> José.

•Identifica-se o texto de Sujeito a que o conceito 2 se refere -> O lindo José.

Resposta: O lindo José.

Adaptatividade

Testes e Resultados

Testes

Teste das sentenças (Sub-máquinas) Teste Adaptatividade(Aprendizado) Teste para extração de informação(Busca)


Testes Unitários

Testes já realizados

Exemplo: Submáquina Det

Caminho Frase OK?

Det(0123) Todos os meus OK

Det(0123) Primeiro o meu OK

Det(0123) Primeiro aquele seu OK

Det(0123) Todo aquele nosso OK

Det(0123) Todos os primeiros OK

Det(0123) Primeiro o terceiro OK

Det(0123) Primeiro esse terceiro OK

Det(0123) Todos estes primeiros OK

Det(012) Todas as OK

Det(012) Todos nossos OK

Det(012) Primeiro as OK

Testes Rede semânticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise SintáticaFigura 5- Diagrama Classes módulo Análise Sintática

Resultados

Gramática Luft vs Gramática IBLINAA Comparação árvore entre Luft e IBLINAA

Desempenho das „pétalas“ Mostrar os casos de reconhecimento Pergunta / Resposta


Trabalhos Futuros

Adaptatividade Dicionário IBLINAA Gramática da língua portuguesa Estrutura Semântica Reconhecimento de estruturas da língua

portuguesa Pesquisa na Internet


Conclusão

Vantagens desta técnica: Flexível a outras gramáticas

▪ Fácil de reconhecer sentenças de outras linguagens naturais

Modular▪ Fácil de mudar as sub-máquinas

„Inteligente“▪ Adaptativo

…


Referências Bibliográficas Laboratório de Linguagens e Técnicas

Adaptativas da USPhttp://www.pcs.usp.br/~lta/union/index.php?cp=4

World Wide Web Consortium (W3C)http://www.w3.org/

DBpediahttp://dbpedia.org/About

Teste Estatístico

Teste de Reconhecimento

Texto:Coelhinho esperto

Tempo de Processamento : 4 minutos

Quantidade de frases: 50

Quantidade de frases reconhecidas: 5 Possibilidade de reconhecimento com pequenas modificações : + 5 frases

Não reconhecimento por:Gramática não reconheceu (com possibilidade de mudanças) 20

Gramática não reconheceu (mudanças complicadas) 12( Não foram contabilizados os períodos compostos aqui )

Período composto 29

Erro no Jspell (verbo) 6

Erro no Jspell (outras classes) 8

Erro do Analisador Sintático 0

implementação de buscas utilizando linguagem natural através de algoritmos adaptativos

Documents