apresentacaogeav-anderson carlos moreira tavares-realidade aumentada

Realidade Aumentada

Grupo de Estudo em Ambientes Virtuaishttp://tinyurl.com/geav-grupohttp://tinyurl.com/geav-poli

1

Anderson Carlos Moreira Tavaresacmt@ecomp.poli.br

Carlos Henrique Barbosa da Cunhachbc@ecomp.poli.br

Introdução

• WIMP – Janelas, Ícones,Menus e Ponteiros

• Ambiente Virtual

2

Ação pensada pelo usuário

Execução da ação pelo sistema

InterfaceInterface

– Realidade Virtual– Realidade Aumentada

Realidade Virtual

3

Introdução

Equipamentos

Motivação

Realidade Virtual

4

• HMD: Head-Mounted Displays– Som e estereoscopia

• Luvas:– Háptica

• ProjetorEstereoscópico

• Monitor• CAVE (Cave Automatic Virtual

Environment)

Introdução

Equipamentos

Motivação

Realidade Virtual

5

Introdução

Equipamentos

Motivação

Realidade Aumentada

6

Introdução

Motivação

Dificuldades

Classificação

• Padrão de desenho Câmera

Estereoscopia

Realidade Aumentada

7

Imersiva Não-ImersivaIntrodução

Motivação

Dificuldades

Classificação

Estereoscopia

Realidade Aumentada

8

• Largura de Banda• Equipamentos mais potentes• Hiper-realidade

Introdução

Motivação

Dificuldades

Classificação

Estereoscopia

Realidade Aumentada

9

10 quadros / segundo

Introdução

Motivação

Dificuldades

Classificação

Estereoscopia

Realidade Aumentada

10

• Visão Sólida• Paralaxe• Anaglifo

– Óculos

Introdução

Motivação

Dificuldades

Classificação

Estereoscopia

Realidade Aumentada Espacial (SAR)

• Vídeo

11

Realidade Aumentada sem Marcador (MAR)

• Vídeo

12

Realidade Aumentada (Medicina)

• Vídeo

13

Realidade Aumentada (Cubo)

• Vídeo

14

Exemplo de Sistema Móvel

• Vídeo

15

Hiper-Realidade

• Realidade Virtual• Realidade Física• Inteligência artificial• Inteligência humana• Mundo Misturado

16

Conferências

• ISMAR– International Symposium on Mixed and

Augmented Reality– Flórida - EUA

• SVR– Symposium on Virtual

and Augmented Reality– Natal (RN) - 2010 – Porto Alegre (RS) - 2009

17

Software

18

Software

• OpenCV

19

Etapas do FLARToolkit

• Captura de Imagem• Binarização• Labeling• Busca por Quadrados• Reconhecimento de padrões• Cálculo das transformadas

20

Etapas do FLARToolkit

• Captura da Imagem na Webcam

21

Etapas do FLARToolkit

• Binarização (Escala de tons de cinza)

22

Etapas do FLARToolkit

• Binarização0 255limiar

23

Etapas do FLARToolkit

• Labeling

24

Etapas do FLARToolkit

• Busca por quadrados

25

Etapas do FLARToolkit

• Reconhecimento de Padrões

26

Etapas do FLARToolkit

• Reconhecimento de padrões

27

Etapas do FLARToolkit

• Comparação

28

Etapas do FLARToolkit

0,38 0,29 -0,15 -0,11

0,86 0,20 -0,01 -0,14

0,27 -0,03 0,03 -0,14

0,13 0,16 -0,08 -0,01

29

Etapas do FLARToolkit

• Cálculo das Transformadas

30

Etapas do FLARToolkit

• Exibição do Objeto 3D

31

32

MatemáticaGeometria ComputacionalComputação GráficaVisão ComputacionalReconhecimento de PadrõesRealidade VirtualRealidade AumentadaProcessamento de Imagens

Áreas

33

* A = A

* A = A’ (rotacionado e escalonado)

Transformação Linear

34

Transformação Linear

Rotação

35

Transformação Linear

Escala

36

Fecho Convexo Diagramas Voronoi

Quaternions

Geometria Computacional

37

Computação Gráfica

Shader

38

Computação Gráfica

Iluminação

39

Computação Gráfica

Ray Tracing

Referências• [1] CORDIS. Ícones, janelas, menus, ponteiros - Quando a informática vai evoluir? Inovação

Tecnológica, 2009. Disponivel em: <http://www.inovacaotecnologica.com.br/noticias/noticia.php?artigo=icones-janelas-menus-quando-informatica-vai-evoluir&id=010150090717>. Acesso em: 29 set. 2009.

• [2] KIRNER, C.; SISCOUTTO, R. A. Fundamentos de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 2007. p. 2-21.

• [3] RASKAR, R.; WELCH, G.; FUCHS, H. Spatially Augmented Reality. First International Workshop on Augmented Reality. San Francisco: IEEE. 2008.

• [4] KIRNER, T. G.; SALVADOR, V. F. M. Desenvolvimento de Ambientes Virtuais. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 28 Maio 2007. p. 90-107.

• [5] TORI, R.; KIRNER, C. Fundamentos de Realidade Virtual. In: TORI, R.; KIRNER, C.; SISCOUTTO, R. Fundamentos e Tecnologia de Realidade Virtual e Aumentada. Belém-PA: SBC, 2006. Cap. 1, p. 2-21.

• [6] MACHADO, L. D. S. Dispositivos Hápticos para Interfaces de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 2007. p. 152-167.

• [7] PINHANEZ, C. Interfaces Não-Convencionais. VII Symposium of Virtual Reality. Belém-PA: SBC. 2006. p. 173-198.

• [8] GUTIÉRREZ, M. A.; VEXO, F.; THALMANN, D. Vision. In: ______ Stepping into Virtual Reality. London: Springer, 2008. Cap. 7, p. 125-137.

• [9] MACHADO, L. D. S. Dispositivos Hápticos para Interfaces de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis, RJ: SBC. 2007. p. 152-167.

• [10] SOARES, L. P.; CABRAL, M. C.; ZUFFO, M. K. Sistemas Avançados de Realidade Virtual. VII Symposium on Virtual Reality. Belém-PA: SBC. 2006. p. 51-58.

40

Referências• [11] SISCOUTTO, R. A. et al. Estereoscopia. VII Symposium on Virtual Reality. Belém-PA: SBC.

2006. p. 221-245.• [12] PINHO, M. S.; REBELO, I. B. Interação em Ambientes Virtuais Imersivos. VIII Symposium

on Virtual Reality. Belém-PA: SBC. 2006. p. 145-172.• [13] NORMAN, D. A. The psychology of everyday things. New York: Basic Books, 1988.• [14] AZUMA, R. T. A Survey of Augmented Reality. Presence: Teleoperators and Virtual

Environments, Los Angeles, CA, v. 6, n. 4, p. 355-385, ago. 1995.• [15] KIRNER, C.; TORI, R. Fundamentos de Realidade Aumentada. VII Symposium on Virtual

Reality. Belém-PA: SBC. 2006. p. 22-38.• [16] FUKS, H.; RAPOSO, A. B.; GEROSA, M. A. Do Modelo de Colaboração 3C à Engenharia

de Groupware. IX Simpósio Brasileiro de Sistemas Multimídia e Web. Salvador, Bahia: WebMidia. 2003. p. 445-452.

• [17] DAVE SNOWDON, E. F. C. A. A. J. M. Collaborative Virtual Environments: Digital Spaces and Places for CSCW. In: DAVE SNOWDON, E. F. C. A. A. J. M. Collaborative Virtual Environments: Digital Places and Spaces for Interaction. London: Springer - Verlag, 2001. Cap. 1, p. 3-17.

• [18] WANG, X.; DUNSTON, P. S. Groupware Concepts for Augmented Reality Mediated Human-To-Human Collaboration. Proceedings of Joint International Conference on Computing and Decision Making in Civil and Building Engineering. Montreal, Canadá: [s.n.]. 2006. p. 1836-1842.

• [19] FILIPPO, D. et al. Ambientes Colaborativos de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 2007. p. 168-191.

• [20] KIRNER, T. G. et al. Development of a Collaborative Virtual Environment for Educational Applications. Web3D 2001. Paderborn: ACM. Fevereiro 2001. p. 61-68.

41

Referências• [21] BUCCIOLI, A. A. B.; ZORZAL, E. R.; KIRNER, C. Usando Realidade Virtual e

Aumentada na Visualização da Simulação de Sistemas de Automação Industrial. VIII Symposium on Virtual Reality. Belém-PA: SVR. 2006.

• [22] NUNES, F. L. S. et al. Aplicações Médicas usando Realidade Virtual e Realidade Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis: SBC. 2007. p. 223-255.

• [23] BILLINGHURST, H. K. A. M. Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System. Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality. Washington, DC: IEEE Computer Society. 1999. p. 85.

• [24] STEUER, J. Defining Virtual Reality: Dimensions Determining Telepresence. Journal of Communication. San Francisco: [s.n.]. 1992.

• [25] LIU, T.-Y.; TAN, T.-H.; CHU, A. Y.-L. 2D Barcode and Augmented Reality Supported English Learning System. International Conference on Computer and Information Science. Taipei-TW: IEEE. 2007.

• [26] LANGTON, C. G. Artificial Life: An Overview. 1st Edition. ed. Massachusetts: MIT Press, v. I, 1995.

• [27] MEIGUINS, B. S. et al. Aplicações de Ambientes Virtuais Colaborativos. VIII Symposium on Virtual Reality. Belém-PA: SBC. 2006. p. 334-342.

42

Aplicação de um Ambiente Virtual Colaborativo utilizando Realidade

Aumentada

Orientando: Anderson Carlos Moreira TavaresOrientador: Prof. Dr. Sérgio Murilo Maciel Fernandes

43

Sistemas Colaborativos

44

Modelo 3C

CVE

CSCW Comunicação

Cooperação Coordenação

Percepção

Gera informação para

Gerencia

Demanda

Sistemas Colaborativos

45

• Computer Support Collaborative Work

Ao mesmo tempo Em tempos diferentes

Local

Distribuído

Modelo 3C

CVE

CSCW

Sistemas Colaborativos

46

• Collaborative Virtual EnvironmentModelo 3C

CVE

CSCW

Considerações Iniciais

• Tempo de desenvolvimento;• Impacto pelos sistemas de ambientes virtuais;• Protocolos de comunicação;• Treinamento necessário;• Custo do projeto.

47

Caracterização do Problema

• Benefício do uso de equipamentos tradicionais

• Construção de Sistemas de RA com colaboração na Web

• Geração de Informação tridimensional

48

Questionamentos

49

Projeto NHE

50

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Rede

Projeto NHE

51

• Servidor

• Cliente

z

FLARToolkit

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Projeto NHE

52

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Projeto NHE

53

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Janela | Comando (Parametro1, Parametro2, ...)

Janela | Resposta | Parametro1, Parametro2, ...

Projeto NHE

54

• Servidor de Política• Servidor de Banco de Dados

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

T1T2TS

TS T1T2

Projeto NHE

55

• Login• Cadastro• Tela principal• Visualizar Perfil• Tela do projeto

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Projeto NHE

56

• Custo– Servidor WEB (Apache)– Browser– Webcam

• Facilidade• Interatividade em tempo real

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Projeto NHE

57

• Educação• Engenharia• Automação Industrial• Vendas• Jogos• Medicina

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Projeto NHE

58

• Tempo de RespostaIntrodução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Projeto NHE

59

• MemóriaIntrodução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Projeto NHE

60

• Interatividade– Grau de imersão– Inovação– Influência do sistema na sociedade

Introdução

Planejamento

Tecnologias

Servidor

Cliente

Vantagens

Aplicações

Resultados

Dificuldades

• Linux• Camera• Comunicação• Importação de Modelos• Anaglifo

61

Trabalhos Futuros

• Biblioteca• Simulação Física• Vida Artificial• Inteligência Artificial• Markeless Augmented Reality• QRCode (Quick Response)

62

Realidade Virtual

63

“Realidade virtual é uma interface avan-çada para aplicações computacionais, que permite ao usuário navegar e interagir, em tempo real, com um ambiente tri-dimensional gerado por computador, usando dispositivos multissensoriais.”

Introdução

Definição

Equipamentos

Motivação

Histórico

Realidade Virtual

64

• Anos 50: Sensorama– Morton Heilig

• Anos 60: Ultimate Display– Ivan Sutherland

• Anos 80: Realidade Virtual– Jaron Lanier

Introdução

Equipamentos

Motivação

Histórico

• Azuma– Combina real e virtual– Interativo em tempo real– Registrado em 3D

• Tracking (Rastreamento)

Realidade Aumentada

65

Introdução

Definição

Motivação

Dificuldades

Classificação

Estereoscopia

Realidade Aumentada

66

Realidade Aumentada

67

Vida Artificial

68

Metáfora

69

Condição Epipolar

70

Transformação Homográfica

71

Agradecimentos

• Prof. Dr. Sérgio Murilo• Organizadores do SEC• Prof. Dr. Byron Leite• Colegas de turma• Família• Expectadores

72