scorereader protÓtipo para reconstruÇÃo de partituras …
TRANSCRIPT
![Page 1: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/1.jpg)
SCOREREADER – PROTÓTIPO PARA
RECONSTRUÇÃO DE PARTITURAS,
ATRAVÉS DE ELEMENTOS
IDENTIFICADOS A PARTIR DE
IMAGENS
Aluno: Alan Soares Carneiro
Orientador: Marcel Hugo
![Page 2: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/2.jpg)
Roteiro da apresentação
• Introdução
• Objetivos
• Fundamentação Teórica (Pilares)
• Correlatos (Estado da arte)
• O Interpress (Protótipo estendido)
• Especificação
• Resultados
• Dificuldades / Conclusões
• Sugestões
![Page 3: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/3.jpg)
Introdução
• Interesse por música (Pesquisa / Execução);
• Software de apoio ao músico;
• Extensão Interpress;
• Acessibilidade;
• Preservação da cultura musical.
![Page 4: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/4.jpg)
Objetivos
• Torná-lo um OMR – Optical Music Recognition;
• Melhoria etapa de remoção das linhas da pauta
(Musicstaves);
• Melhoria etapa de classificação (Aprendizado
por maquina);
• Reconstrução da partitura (Notação ABC);
• Saídas em formatos Notação ABC, PDF, MIDI e
MUSICXML (Acessibilidade pessoas com
deficiência visual);
![Page 5: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/5.jpg)
Fundamentação Teórica
(Conceitos, Técnicas e Ferramentas
utilizadas)
![Page 6: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/6.jpg)
Pauta (Notação Musical)
Onde a musica é escrita
Símbolos que representam notas ou sons e suas respectivas
durações
Demais símbolos
![Page 7: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/7.jpg)
OMR – Optical Music Recognition
Em vez de confiar na intuição, é preferível defini-lo como sendo o
campo de pesquisa que investiga como ler notação musical em
documentos de forma computacional (CALVO-ZARAGOZA; HAJIČ
JUNIOR; PACHA, 2019).
![Page 8: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/8.jpg)
Etapas de um OMR
![Page 9: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/9.jpg)
PDI - Processamento Digital de
Imagens
Inicia com a captura de uma imagem, que corresponde à iluminação
que é refletida na superfície de objetos. A imagem passa por um
processo chamado de digitalização, onde é representada de forma
apropriada para o tratamento computacional (Queiroz; Gomes, 2006)
Morfologia matemática operações elementares
Erode – Diminuir partículasDilate - Engordar ou conectar grãos próximos
![Page 10: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/10.jpg)
Machine Learning
Aprendizado por máquina
O termo aprendizado por máquina ou Machine Learning, refere-se ao
funcionamento de sistemas computacionais capazes de aprender ou
ter seu comportamento modificado através de experiências
acumuladas durante sua operação (STANGE;2011).
![Page 11: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/11.jpg)
KNN – k-nearest neighbor
(Scikit-learn)Baseado em distâncias
• Hipótese que dados similares tendem
estar concentrados na mesma região
no mesmo espaço de DISPERSAO
• Algoritmo preguiçoso (Lazzy)
• Considera proximidade para realizar as predições
• Menor distância classificado com rotulo da classe
correspondente
![Page 12: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/12.jpg)
KNN – k-nearest neighbor
(Scikit-learn)
• Calcular distancia
• Ordenar do menor para maior [distancia – classe correspondente]
• K é o ponto de corte (k deve ser impar)
![Page 13: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/13.jpg)
MUSICSTAVES (Python API)
Também trabalho acadêmico
![Page 14: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/14.jpg)
Notação ABC (Linguagem)
Utiliza-se de caracteres ASC como forma de representar notação musical
computacionalmente
![Page 15: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/15.jpg)
Compiladores (Notação ABC)
![Page 16: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/16.jpg)
Correlatos
(Estado da Arte)
![Page 17: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/17.jpg)
Castro (2014)
• Reconhecimento de símbolos em partituras
manuscritas em imagens em tom cinza.
![Page 18: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/18.jpg)
Jesus (2015)
• Protótipo autônomo (hardware e software) copista;
• Saída formato MIDI.
![Page 19: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/19.jpg)
Silva (2017)
• Reconhecimento de partituras manuscritas;
• Etapas completas de um OMR.
![Page 20: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/20.jpg)
O Interpress
Mauricenz (2013)
![Page 21: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/21.jpg)
Telas do Interpress
![Page 22: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/22.jpg)
Especificação
![Page 23: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/23.jpg)
Requisitos Funcionais
• Pré-processar e segmentar imagem;
• Reconstruir partitura em notação ABC;
• Apresentar passo a passo etapas do
processamento da imagem de partitura;
• Permitir rotular símbolos e efetuar treinamento
do classificador no protótipo;
• Gerar saída em formato PDF;
• Gerar saída em formato MIDI;
• Gerar saída em formato MUSICXML.
![Page 24: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/24.jpg)
Requisitos Não Funcionais
• Ser desenvolvido em arquitetura cliente servidor;
• Utilizar linguagem de programação Java no Front-End;
• Utilizar linguagem de programação Python no Back-End;
• Utilizar biblioteca do MUSICSTAVES para remoção das linhadas da pauta;
• Utilizar biblioteca OpenCV para segmentação das imagens;
• Utilizar algoritmo KNN da biblioteca scikit-learn para treinamento e classificação dos símbolos.
![Page 25: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/25.jpg)
Diagrama atividades
![Page 26: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/26.jpg)
Caso de
Uso
![Page 27: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/27.jpg)
Classes (Java) – Front-End
![Page 28: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/28.jpg)
Classes (Python) – Back-End
![Page 29: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/29.jpg)
Implementação
• Arquitetura Cliente e Servidor;
• Java como linguagem de Front-End;
• Python como linguagem de Back-End;
• Reaproveitamos e modificamos algoritmos do Interpress;
• Externas Java;– Compiladores Notação ABC (PDF, MIDI, MUSICXML)
– OpenCV (Pré-processamento e Segmentação)
– BATIK (PDF)
• Externas Python– MUSICSTAVES (Remover linhas da pauta)
– SCIKIT-LEARN (KNN – IA)
– OpenCV (Detecção de formas, Segmentação)
![Page 30: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/30.jpg)
O Protótipo
![Page 31: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/31.jpg)
Tela principal
![Page 32: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/32.jpg)
Rotulador
![Page 33: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/33.jpg)
Etapas
![Page 34: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/34.jpg)
Etapas
![Page 35: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/35.jpg)
Etapas
![Page 36: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/36.jpg)
Treinamento
![Page 37: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/37.jpg)
Resultados
![Page 38: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/38.jpg)
Pré-processamento
![Page 39: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/39.jpg)
Experimentos iniciais do
protótipo Estendido
Objetivo de garantir se realmente houve alguma evolução no reconhecimento
![Page 40: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/40.jpg)
Resultado (Etapas)
![Page 41: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/41.jpg)
Resultado (Escala musical)
![Page 42: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/42.jpg)
Resultado (Música)
![Page 43: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/43.jpg)
Falhas
Caso onde não foi possível detectar nome da nota ou altura do som
![Page 44: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/44.jpg)
Comparação com correlatos
![Page 45: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/45.jpg)
Dificuldades
• Segmentação de imagens geradas por diferentes editores e com ruídos;
• Cada qualidade e tipo de imagem demanda mais ou menos tratamento;
• Código notação ABC precisa estar escrito sintaticamente e semanticamente correto;
• Mais de um modelo de treino para imagens com resoluções diferentes;
• Compilador de notação ABC para PDF havia sido descontinuado.
![Page 46: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/46.jpg)
Conclusão
• Todos os objetivos propostos foram alcançados;
• Promoveu melhorias e evoluções no protótipo estendido;
• Contribuiu com o Interpress permitindo alcançar mais etapas que compõem um OMR;
• Acessibilidade. Formato MUSICXML poderá ser convertido para Braile e MIDI pode ser ouvido;
![Page 47: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/47.jpg)
Conclusão
• Permite transcrição de partituras de forma
automática poupando trabalho ao músico;
• Protótipo ainda possibilita geração de saídas
em formato SVG e XHTML;
• Permite criar conjunto de treino dentro do
protótipo para utilizar em outras partituras;
• Permite treinamento utilizando imagens
manuscritas rotuladas externamente através
do MUSCIMA++.
![Page 48: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/48.jpg)
Sugestões
• Focar em mais técnicas para segmentação dos símbolos e tratamento da imagem nas etapas iniciais;
• Permitir a entrada de partituras com ruídos ou danificadas pelo tempo;
• Suporte a partituras com instrumentos de mais de uma voz;
• Adicionar suporte a novos símbolos, como ligaduras, fermatas, pontos de aumento dentre outros;
![Page 49: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/49.jpg)
Sugestões
• Permitir suporte a partituras escritas em
notação musical antiga (Universo menor);
• Possibilitar exportar o código compilado para
impressão em formato braile mas dentro do
protótipo.
• Controle de armazenamento dos arquivos
PDF, MIDI e MUSICXML e Rotulações
gerados.
![Page 50: SCOREREADER PROTÓTIPO PARA RECONSTRUÇÃO DE PARTITURAS …](https://reader034.vdocuments.pub/reader034/viewer/2022050600/6272cb3c42ffec361b585856/html5/thumbnails/50.jpg)
Demonstração
de funcionamento