apresentação de dissertação mestrado em ciências da computação
TRANSCRIPT
![Page 1: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/1.jpg)
Juan José RodríguezOrientadora: Nádia Puchalski
1/68
Clusterização e Visualização Espaço-Temporal de dados georreferenciados adaptando o algoritmo Marker Clusterer – Um caso de uso em Curitiba
1/68
![Page 2: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/2.jpg)
Sumário
2/68
1. Introdução 2. Fundamentação Teórica3. Materiais e Métodos4. Implementações5. Resultados e Conclusões
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 3: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/3.jpg)
![Page 4: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/4.jpg)
Motivação: O que acontece nas cidades?
3/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
consumo dos recursos e de energia do mundo, e geram 80% dos gases-estufa responsáveis pelo efeito estufa (Signori, 2008).
75% 2%ocupando apenas 2% do território mundial (Signori, 2008).
50%vive em cidades e a expectativa é de que, até 2050, essa proporção chegue a 70% (WHO, 2014)
![Page 5: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/5.jpg)
Motivação: O que acontece nas cidades?
4/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
As tecnologias geoespaciais, são o coração fundamental das cidades inteligentes, sendo essencial entender a variável "Onde" para tomar decisões informadas. Moura (2012)
![Page 6: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/6.jpg)
5/68
Motivação: Dados da IPPUC
Autoria Propia (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 7: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/7.jpg)
5/68
Trabalhos relatos:
Um modelo de Representação baseado em Conceitos de
Crescimento Urbano Associados e Alvarás e Primitivas em Banco
de dados Espacial
Analise do banco de alvaras da Prefeitura de Curitiba e
sua influe ncia nos restaurantes de Curitiba.
Kono (2016)
Cunha (2016)
1. Falta de normalizac ao de dados,
2. Duplicac ao de dados,
3. Falta de categorizac ao apropriada dos tipos de alvaras,
4. Qualidade de dados e finalmente,
5. Sobreposic ao de pontos que dificulta a visualizac ao de informac ao em mapas.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Projeto BigSea - Europe – Brazil Collaboration of BIG Data Scientific
Research through Cloud-Centric Applications
![Page 8: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/8.jpg)
INTRODUÇÃO
6/68
SIG
Bibliografia
● Conceitos ● Tipos de dados● Arquiteturas● Relacionamentos● Aplicações
Cid.Inteligentes
● Conceitos ● Necessidades● Características● Arquiteturas● Aplicações
DESAFIOS E TRABALHOS RELACIONADOS
Resultado
Clusterização
● Conceitos● Algoritmos● Aplicações● Comparações
Dados Abertos
● Conceitos● Dados de Curitiba ● Análise preliminar● Aplicações
CLUSTERIZAÇÃO E VISUALIZAÇÃO
Visualização
● Conceitos● Bibliotecas● Aplicações
● Algoritmo Bidimensional de Clusterização.● Qualidade de dados.● Sistema Web/Mobile● Código fonte disponível em Github.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 9: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/9.jpg)
Analisar e adaptar o algoritmo Marker Clusterer que permita resolver problemas de sobreposição de pontos, clusterização e visualização comparativa entre diversos tipos de alvarás usando dados históricos e georreferenciados. Em particular, usaremos dados abertos de alvarás de comércio para os bairros: Centro, Batel e Tatuquara das últimas 3 décadas.
OBJETIVO GERAL
7/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 10: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/10.jpg)
Entender as diversas questões bibliográficas (i) sistemas de informac ao geografica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de clusterizac ao e visualização.
Gerar uma fonte de dados atualizada e recategorizada de Alvarás de Curitiba.
Adaptar o algoritmo Marker Clusterer que permita realizar clusterizac ao e visualizac ao espac o-temporal considerando diversos tipos de alvaras.
Gerar um prototipo accesível e compatível com entornos Web e Mobile.
Realizar uma avaliação preliminar
8/68
OBJETIVOS ESPECÍFICOS
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 11: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/11.jpg)
![Page 12: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/12.jpg)
AplicaçõesArquiteturaRelacionamentos E.Tipos de dados
Sistemas de informação geográfica (SIG), são sistemas de informações baseado em computador que permite a captura, modelagem, manipulação, recuperação, análise e apresentação de dados georreferenciados (Worboys, 1995).
2.1 Sistemas de Informação Geográfica (SIG)
● Vetorial● Matricial
● Topológicas● Métricas● Direcionais
● Apresentação● Processamento● Dados
● TaxiVis● SIG/SAM
9/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 13: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/13.jpg)
Sistemas de Informação Geográfica (SIG)
Adaptado de Li e Torres (2014).
10/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 14: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/14.jpg)
AplicaçõesArquiteturaOGCÁreas
11/68
2.2 Cidades Inteligentes
Cidadãos, Governança, Negócios, Planejamento, Construções, Mobilidade,
Tecnologia da Informação, Energía
Uma cidade inteligente é aquela cidade que utiliza tecnologias inteligentes para integrar suas infraestruturas e serviços, a qual se esforça em aproveitar estas tecnologias para melhorar a eficiência, a eficácia, a transparência e a sustentabilidade. (Alawadhi, 2012).
Tecnologias abertas:GML, KML, WFS, WMS,
WCS, CSW
● Aplicação● Negócio● Dados ● Detecção
● Singapure Online● OneMap
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 15: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/15.jpg)
Percivall, OGC (2015).
12/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 16: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/16.jpg)
Percivall, OGC (2015).
13/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 17: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/17.jpg)
14/68
2.4 Visualização de Dados
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
A visualização significa construir uma imagem visual na mente humana. E isto é mais do que uma representação gráfica de dados ou conceitos. (Card,1999).
Id Estudante Endereço
001 Kathy Magdalena
Rua Arthur Carlos Peralta 1686
002 Kiara Rodriguez
Rua Bartolomé de las casas 163
003 Jorge Lucar Rua Visconde de Guarapuaba 42
004 Marcos Rester Rua 28 de Julho 3421
Dados Informação
Autoria Propia (2016)
![Page 18: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/18.jpg)
15/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Autoria Propia (2016)
![Page 19: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/19.jpg)
16/68
2.5 Clusterização e Visualização de Dados
Clusterização é o processo de realizar agrupamento de objetos que apresentam semelhanças.
MarkerCluster
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 20: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/20.jpg)
17/68
K-Means ( K-Médias)
● Algoritmo usado com contextos de Data Mining não supervisada.
● Classificação de informação de acordo com os próprios dados.
● Input: número de clusters (parâmetro K) a ser utilizados.
Clusters dos pontos de o nibus usando K-means, com K=4. Neves (2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
![Page 21: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/21.jpg)
18/68
DBScan (Density Based Spatial Clustering of Applications with Noise)
● Clusterização baseado na intensidade de markers. Se existir um marker distante, é considerado ruído (noise).
● Input: Total de Pontos, proximidade e minpts (densidade).
● O algoritmo pode ser utilizado para agrupar objetos de um banco de dados em subtipos que expressem algo, por exemplo, ao obter imagens satelitais da terra (Ester, 1996), como rios, estradas, etc.
Clusterização baseado em densidade de markers usando DBSCAN. Adaptado de (Ester, 1996).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
![Page 22: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/22.jpg)
19/68
Marker Clusterer
Clusterização de dados georreferenciados de forma iterativa baseados nas distâncias euclidianas entre Markers, Clusters e nível do zoom sobre o mapa. Para o cálculo da distância euclidiana se usa a fórmula haversin que considera a latitude, longitude, raio da terra e nível do zoom.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Autoria Propia (2016)
2.5 Clusterização e Visualização de Dados
![Page 23: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/23.jpg)
20/68
Comparativa
Critério/Algoritmo K-Means DBSCAN Marker Clusterer
É necessário conocer número de clusters prévios? Sim Não Não
Precisa de um # mínimo de Markers para Clusterizar? Não Sim Não
Permite clusterização em múltiples formas? Não Sim Sim
Por padrão, permite realizar clusterização de dados Georreferenciados?
Não Não Sim
Possui integração com Mapas Web-Mobile? Não Não Sim
Autoria Propia (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
![Page 24: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/24.jpg)
21/68
1 2Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Processo do Marker Clusterer
![Page 25: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/25.jpg)
22/68
Nro Cluster Markers
1 A, B e D
2 C e E
3 F, G, J e I
4 H
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Processo do Marker Clusterer
![Page 26: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/26.jpg)
23/68
Cálculo da Distância Euclidiana
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 27: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/27.jpg)
24/68
Bibliotecas
HeatMapLeaflet JS para OSM Marker Cluster para Google
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Autoria Propia (2016)
2.5 Clusterização e Visualização de Dados
![Page 28: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/28.jpg)
25/68
Comparativa entre Bibliotecas
Autoria própria(2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de Dados
![Page 29: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/29.jpg)
26/68
1. O algoritmo agrupa sem diferenciar os tipos de dados.
2. O algoritmo agrupa sem considerar límites geográficos.
3. O processo de desagregação é realizado usando zoom sobre o mapa, e em muitos casos, esse processo de desagregação implica em gasto de tempo e de interações desnecessárias com o servidor de aplicações para exibir os zooms intermediários.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de DadosDesafios de Marker Clusterer
![Page 30: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/30.jpg)
27/68
4. Se queremos usar o algoritmo em outro sistema de mapas como Open Street Map ou Bing, será necessário a criação da biblioteca que possua compatibilidade com estes sistemas de mapas.
5. Forte dependência com o Google Maps, caso haja uma mudança nas políticas do Google Maps, a aplicação web deve executar as atualizações necessárias para manter o funcionamento.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.5 Clusterização e Visualização de DadosDesafios de Marker Clusterer
![Page 31: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/31.jpg)
28/68
A liberação de dados de alvarás concedidos a localidade do bairro do Tatuquara, Batel e centro de Curitiba entre os anos de 1980 a 2015 (PMC,2015) e (IPPUC, 2016).
PMC (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.6 Dados Abertos: Curitiba
![Page 32: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/32.jpg)
29/68
Desafios: Existência de duplicidade de latitude e longitude gerando sobreposição de pontos,existe tipificação de alvarás que não estão associados corretamente gerando assim registros semelhantes que poderiam ser agrupadas em uma categoria específica e existem ainda alguns problemas como maiúsculas e minúsculas.
Alvarás de Restaurantes.Kono (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.6 Dados Abertos: Curitiba
![Page 33: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/33.jpg)
30/68
Tipos e estilos de restaurantes definidas pelo SEBRAE (2014).Cunha (2016)
Existe uma melhor distribuição e agrupamento de categorias, porém ainda existem problemas de dados não associados corretamente, qualidade de dados e sobreposição de pontos.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
2.6 Dados Abertos: Curitiba
![Page 34: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/34.jpg)
![Page 35: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/35.jpg)
SIG
Cid.Inteligentes
Dados Abertos
Visualização eclusterização
- Complexidade de uso dos SIG (Haklay, 2008).- Revisões históricas (NGB, 2015).- Grande volume de dados (Jacobs, 2009).
- Serviços e aplicações móveis ao desenvolvimento urbano sustentável. (Pentikousis,2011).
- Falta de qualidade, normalizac ao, duplicação, atualização e recategorização de dados (Kono, Cunha, 2016).
- Sobreposic ao de pontos (Kono, 2016).- Clusterização de dados que permita comparação
entre os tipos de dados.
31/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
3/10
1/5
2/5
1/5
3.1 Desafios que serão abordados
7/25
![Page 36: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/36.jpg)
32/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
3.2 Método proposto
Autoria própria(2016).
![Page 37: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/37.jpg)
![Page 38: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/38.jpg)
4.1 Processo de Padronização de Dados
33/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.Autoria Própria (2016)
Alvarás de Curitiba
Out. 2016
Dados Padronizados
Out. 2016Script de
PadronizaçãoOut. 2016
![Page 39: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/39.jpg)
34/68
Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.Autoria Própria (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.1 Processo de Padronização de Dados
![Page 40: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/40.jpg)
35/68
Script que padroniza e recategoriza Alvarás de Restaurantes conforme o SEBRAE.Autoria Própria (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.1 Processo de Padronização de Dados
![Page 41: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/41.jpg)
36/68
Atualização e recategorização de Alvarás de Restaurantes conforme o SEBRAE.Autoria Própria (2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Análise preliminar dos dados
![Page 42: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/42.jpg)
37/68
(A) Crescimento por ano, (B) Distribuic ao geografica,
(C) Alta concentrac ao.
Autoria propria(2016).
Centro
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 43: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/43.jpg)
38/68
Centro
Cinco tipos de negocios que cresceram mais nas ultimas decadas.Autoria propria(2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 44: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/44.jpg)
39/68
(A) Crescimento por ano, (B) Distribuic ao
geografica, (C) Alta concentrac ao.
Autoria propria(2016).
Batel
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 45: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/45.jpg)
40/68
Cinco tipos de negocios que cresceram mais nas ultimas decadas.Autoria propria(2016).
Batel
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 46: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/46.jpg)
41/68
(A) Crescimento por ano, (B) Distribuic ao geografica,
(C) Alta concentrac ao.
Autoria propria(2016).
Tatuquara
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 47: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/47.jpg)
42/68
Cinco tipos de negocios que cresceram mais nas ultimas decadas.Autoria propria(2016).
Tatuquara
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 48: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/48.jpg)
43/68
1. Problemas de Geocodificação: mesmo utilizando o endereço, o processo de geocodificação não foi eficiente para 10% dos dados.
2. Problemas com Padrões: Diversos formatos que variam de UTF8 a Latin. geolocalização usando latitude / longitude (49.343750 -25.564539) ou UTM (666418.3496092 7171543.905212).
3. Diferentes sistemas de coordenadas: IPPUC usa o formato de dados DATUM SAD69, e á integração com Google Maps, OpenStreetMaps requer um sistema diferente de coordenadas (SIRGAS2000).
4. Composição de objetos geométricos: IPPUC trabalha com segmentos de linha para ruas (nó inicial e nó georreferenciado final para cada bloco), mas o Google trabalha com um objeto de linha para uma única rua.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas e abordadas
![Page 49: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/49.jpg)
44/68
5. Inconsistências nos dados: A análise prévia dos dados, se identificou que dos 2337 markers, 25 estabelecimentos apresentam inconsistência nos dados, devido a que segundo a latitude e longitude, não pertencem ao bairro que foram declarados no banco de dados.
6. Outros desafios: Podemos mencionar outros desafios tais como: (i) diferentes granularidades dentro das fontes: fontes governamentais apresentaram maior precisão sobre fontes não oficiais (Google Maps, OSM); e (ii) diferentes tipos e formatos de dados. Alguns são CSV, XLS, JSON e Shapefile. Dependendo da técnica ou processo de integração, esses dados ainda devem ser convertidos para SQL para a definição e inserção de dados.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas e abordadas
![Page 50: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/50.jpg)
45/68
Marker ClustererTradicional
Entrada Saída
Processamento
Lista de Markers
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.2 Adaptações ao Algoritmo: Processo Atual
![Page 51: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/51.jpg)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Marker ClustererBidimensional
MyMaps
Lista de MarkersVisualização baseada no
Tipo de Negócio
E
P
S E
P
S
Etapa 1 Etapa 2
Estrutura bidimensional que armazena os markers de acordo ao
Tipo de Negócio
Banco de Dados
46/68
4.2 Novo Processo Proposto
![Page 52: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/52.jpg)
47/68
4.2.1 Criação do Markers - MyMaps
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.2 Adaptações ao Algoritmo
![Page 53: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/53.jpg)
48/68
Data: Markerdistance ← 40000 //// Distância referencial para clusterizaçãoclusterToAdd ← nullpos ← marker.position
switch marker.BusinessType case 'TipoA' : j ← 0 case 'TipoB' : j ← 1 case 'TipoC' : j ← 2 default: j ← 0 endfor i ← 0 to i ← NumberOfClusters , cluster ← clusters(i)(j) do center ← cluster.center if (center) then d ← distanceBetweenPoints(center, pos) if ( d <distance) then distance ← d clusterToAdd ← cluster end end end
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
NNova condição que identifica o tipo de negócio antes do processo de clusterização.
Cálculo da distância euclideana considerando o array bidimensional (i)(j) do marker e centro do cluster.
4.2 Adaptações ao Algoritmo4.2.2 Criação da nova estrutura MK Bidimensional
![Page 54: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/54.jpg)
49/68
if (clusterToAdd andclusterToAdd.isMarkerInClusterBounds(marker)) then clusterToAdd.add(marker)
else
cluster ← new Cluster cluster.addMarker(marker) clusters.pushNewCluster(cluster, j)
end
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Adiciona o marker ao cluster mais próximo considerando o array bidimensional (i)(j)
4.2 Adaptações ao Algoritmo4.2.2 Criação da nova estrutura MK Bidimensional
![Page 55: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/55.jpg)
50/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.2 Resultado do Novo Algoritmo
Autoria própria (2016).
Marker Clusterer Bidimensional
![Page 56: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/56.jpg)
51/68
1. Pouca experiência em uso de algoritmos de clusterização e visualização.
2. O algoritmo apresentou mais de 1360 linhas de códigos e processos entrelazados, que dificultou a implementação na visualização em Google Maps.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas e abordadas
![Page 57: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/57.jpg)
52/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Filtro temporal
Filtro espacial
Filtro tipo de negócio
4.3 Interface proposta
![Page 58: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/58.jpg)
53/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Interface proposta
![Page 59: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/59.jpg)
54/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Interface proposta
Charts and heatmap visualization. Autoria Própria (2016).
![Page 60: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/60.jpg)
54/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Interface proposta
![Page 61: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/61.jpg)
55/68
Mapa dos Negócios
Mapa de Pontos de ônibus
Código disponível emgithub
juanjoserodriguez.me/map/business
juanjoserodriguez.me/map/bus github.com/jrodriguezv10
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.3 Demo funcional disponível de:
![Page 62: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/62.jpg)
56/68
4.3 Compatibilidade
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 63: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/63.jpg)
57/68
Problemas com qualidade de dados. Autoria própria (2016).
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Dificultades identificadas
![Page 64: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/64.jpg)
58/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Hardware:● Macbook Pro com sistema operacional OS X O Captain 10GB
1333 MHz DDR3
Software● SGBD PostgreSQL 9.6.1● Servidor MAMP V. 3.5.2● Google Chrome V 52 & ● HTML5, CSS3, Javascript, Google Maps API V3, e finalmente,
Biblioteca Marker Cluster V3.
4.4 Software e Hardware utilizados
![Page 65: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/65.jpg)
59/68
● Processo de avaliação composto por: um termo de consentimento estabelecido (Anexo 1), questionário inicial com três perguntas (Anexo 2), e um questionário final com seis perguntas (Anexo 3).
● As respostas podiam ter os valores entre 1 e 5, sendo que 1 era a nota mais baixa e 5 a mais alta.
● 27 voluntários do curso de engenharia da computação da UTFPR e 2337 registros no protótipo de alvarás.
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
4.5 Avaliação preliminar com usuários
![Page 66: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/66.jpg)
60/68
5 Avaliação Preliminar com Usuários
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
Antes de implementar a solução Após de implementar a solução
![Page 67: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/67.jpg)
61/68
5 Avaliação Preliminar com Usuários
69,3%
80,8%
92,3%
84,6%
65,4%
Resultados:
Questionário final com as avaliações antes e após de usar a nova solução. Autoria própria(2016)
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 68: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/68.jpg)
![Page 69: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/69.jpg)
Entender as diversas questões bibliográficas (i) sistemas de informac ao geografica, (ii) cidades inteligentes, (iii) dados abertos, (iv) algoritmos de clusterizac ao e visualização.
Gerar uma fonte de dados atualizada e recategorizada de Alvarás de Curitiba.
Adaptar o algoritmo Marker Clusterer que permita realizar clusterizac ao e visualizac ao espac o-temporal considerando diversos tipos de alvaras.
Gerar um prototipo accesível e compatível com entornos Web e Mobile.
Realizar uma avaliação preliminar
62/68
OBJETIVOS ESPECÍFICOS ATINGIDOS
Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 70: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/70.jpg)
63/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
DESAFIOS ESPECÍFICOS ATINGIDOS
SIG
Cid.Inteligentes
Dados Abertos
Visualização eclusterização
- Complexidade de uso dos SIG (Haklay, 2008).- Revisões históricas (NGB, 2015).- Grande volume de dados (Jacobs, 2009).
- Serviços e aplicações móveis ao desenvolvimento urbano sustentável. (Pentikousis,2011).
- Falta de qualidade, normalizac ao, duplicação, atualização e recategorização de dados (Kono, Cunha, 2016).
- Sobreposic ao de pontos (Kono, 2016).- Clusterização de dados que permita comparação
entre os tipos de dados.
7/25
![Page 71: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/71.jpg)
Conclusões1. A Fonte de Dados ainda apresentou diversos problemas em relação a qualidade
de dados, recategorização, normalização entre outros.
2. Marker Clusterer apresentou um processo mais prático, adaptável e implementável ao contexto de clusterização dos alvarás de Curitiba em relação à outros algoritmos e bibliotecas analisadas.
3. O Processo de avaliação da solução e aceitação da solução apresentou resultados alentadores tendo que 84,6% que consideraram o prototipo como uma soluc ao util.
64/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
![Page 72: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/72.jpg)
65/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016
1. Trabalho submetido titulado: Minha cidade inteligente na Competição de Vídeos sobre Cidades Inteligentes no XXXIII Simpósio Brasileiro de Telecomunicações 2015. O trabalho ganhou o prêmio de primeiro lugar da competição. Link: http://www.sbrt.org.br/sbrt2015/premiacao-competicao-de-video/.
2. Artigo publicado: “Urban Mobility Challenges - An exploratory analysis of public transportation data in Curitiba” na Revista de Informática Aplicada da Universidade Federal do ABC, Brasil.
3. Artigo aceito:: "Uma proposta para apresentar a Computação/Banco de Dados no Ensino Médio para o Público Feminino". O trabalho foi destacado como um dos melhores 5 artigos da seção aplicações e experiências no XII Escola Regional de Banco de Dados 2016, e pode ser verificado no Anexo 1. Link: http://cross.dc.uel.br/erbd2016/programacao/#ST3.
Resultados e reconhecimentos obtidos :
![Page 73: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/73.jpg)
66/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Dissertação | 16 de Dezembro de 2016
DESAFIOS PENDENTES / TRABALHOS FUTUROS
SIG
Cid.Inteligentes
Dados Abertos
Visualização eclusterização
Crowdsourcing e validação de dados, Informação em tempo real, Segurança de dados, Localização em interiores, Integração de dados, etc.
18 desafios pendentes
Infraestruturas para cidades inteligentes, aumentar eficiência energética, pessoas como produtoras de informação, etc.
Qualidade de dados
Clusterização considerando delimitação geográfica, optimização do processo de desagrupamento, dependência de Google Maps.
![Page 74: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/74.jpg)
Sinceros agradecimentos:
1. À Deus, minha esposa, filha e minha querida família,2. CNPQ, Capes, MRE,3. À Profa. Nádia Puchalski,4. Aos Profs. da Dainf,5. A todos que direta ou indiretamente contribuíram e
contribuem para que este sonho de fazer um mestrado fora do meu país seja uma realidade.
67/68Juan José Rodríguez (UTFPR) | Mestrado em Computação Aplicada - Seminário 3 | 26 de Outubro de 2016
![Page 75: Apresentação de Dissertação Mestrado em Ciências da Computação](https://reader031.vdocuments.pub/reader031/viewer/2022030317/586f75461a28ab10258b5fc5/html5/thumbnails/75.jpg)
Google confidential | Do not distribute
Juan José RodríguezOrientadora: Nádia Puchalski
68/68
Muchas Gracias!Clusterização e Visualização Espaço-Temporal de dados georreferenciados adaptando o algoritmo Marker Clusterer – Um caso de uso em Curitiba