[234] 산업 현장을 위한 증강...

55
DAQRI Helmet’s Computer Vision System Development 김병수 1

Upload: naver-d2

Post on 16-Apr-2017

6.664 views

Category:

Technology


8 download

TRANSCRIPT

Page 1: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

DAQRI Helmet’sComputer Vision System Development

김병수

1

Page 2: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Speaker

Byungsoo Kim김병수

- Senior Computer Vision Scientist at DAQRI

- PhD/MS in computer vision from University of

Michigan, Ann Arbor

- Visiting Researcher at Stanford University

- Bachelor from KAIST

2

Page 3: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

DAQRI Helmet

3

Page 4: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

4

Page 5: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

DAQRI Helmet

for

Augmented reality device

Internet of thingsfor industry

5

Page 6: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Why DAQRI Helmet?현장에서의 필요성

Opportunities in Industry

6

Page 7: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

현장에서의 문제점들

- 여기는 어디? 난 무얼 보고 있는가?

- 그래서 뭘 해야 하더라…

- 저 기둥이 살짝 기운 것 같긴 한 것도 같고…7

Page 8: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

DAQRI Helmet

8

정확한 위치 제공 (Vision & Sensors) AR 컨텐츠/매뉴얼 제공

안전 비용 절감업무 효율 향상

Page 9: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

DAQRI Helmet vs VR Devices

- See-through display 투명한 디스플레이

- 실제 환경을 바탕으로 한 콘텐츠9

Page 10: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

10

- 명확한 타겟 설정: Industrial market

- Multi cameras

- High-end sensors

DAQRI Helmet vs Other AR Devices

Page 11: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Visionfor

Augmented Reality

11

Page 12: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

AR의 원리

12

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

Page 13: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

AR의 원리

13

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

Page 14: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

AR의 원리

14

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

Page 15: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

AR의 원리

15

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 16: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

AR의 원리

16

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Computer Vision

Page 17: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

AR의 원리

17

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

영상, 센서 데이터로부터 물체/타겟 종류 인식

타겟과 글래스/유저 사이의 거리 및 각도 파악

Computer Vision

Page 18: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

관련 기술Object Recognition

Tracking

Localization

Mapping

18

Page 19: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

19

관련 기술Object Recognition

Tracking

Localization

Mapping

Page 20: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

20

관련 기술Object Recognition

Tracking

Localization

Mapping

Page 21: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

21

관련 기술Object Recognition

Tracking

Localization

Mapping

Page 22: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

활용 분야에 따른 적절한 응용이 중요

22

관련 기술Object Recognition

Tracking

Localization

Mapping

Page 23: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

23

관련 기술Object Recognition

Tracking

Localization

Mapping

Page 24: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

24

관련 기술Object Recognition

Tracking

Localization

Mapping

Page 25: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

25

Computer Vision

However, camera-only-based computer vision is very challenging in the industrial environment.

Page 26: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

26

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 27: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

27

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 28: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

28

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 29: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

29

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 30: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

30

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 31: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

31

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 32: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

관련 과제들

센서 및 비전 사이의 calibration

데이터 싱크 문제32

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

-����������� ������������������  Image/signal����������� ������������������  processing����������� ������������������  -����������� ������������������  Computer����������� ������������������  vision

Page 33: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

관련 과제들

센서 및 비전 사이의 calibration

데이터 싱크 문제33

Page 34: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Vision + Sensors

Vision의 한계

텍스쳐 부족 or 광원 환경 변화 or 금속성 소재

Useful Sensors

Inertial Measurement Unit

Depth sensor

GPS

관련 과제들

센서 및 비전 사이의 calibration

데이터 싱크 문제34

Page 35: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision System 개발 과정

35

Page 36: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

처리 속도 & 정확도

36

Page 37: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Computer Vision

처리 속도 & 정확도

37

Page 38: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

Use the right tool : 필요한 기술을 잘 고르자.

Visual BoW

TF-IDF

Deep Learning

Bundle Adjustment

Kalman Filter

38

Page 39: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

Use the right tool : 필요한 기술을 잘 고르자.

Visual BoW

TF-IDF

Deep Learning

Bundle Adjustment

Kalman Filter

39

Page 40: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

Use the right tool : 필요한 기술을 잘 고르자.예: 정확성 vs 속도? 스케일?

Visual BoW

TF-IDF

Deep Learning

Bundle Adjustment

Kalman Filter

40

Page 41: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

Speed, speed, speed : Basics can do many things!

Linear algebraGeometryConvex optimizationLinear optimization

Optical flowHomography trackerKalman filter

41

Page 42: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

Speed, speed, speed : 하드웨어 최적화를 항상 염두에!

42

Page 43: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

결론: Build from scratch

Homography Tracker

3DTracker SLAM 2D/3D

Recognition

43

Page 44: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

결론: Build from scratch

Core Math

Linear Algebra Geometry Optimization

PatchTracker Optical FlowKalman

FilterBundle

Adjustment

Homography Tracker

3DTracker SLAM 2D/3D

Recognition

44

Page 45: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

개발 과정

결론: Build from scratch

Core Math

Linear Algebra Geometry Optimization

PatchTracker Optical FlowKalman

Filter

HardwareOptimization

Bundle Adjustment

Homography Tracker

3DTracker SLAM 2D/3D

Recognition

45

Page 46: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

어려운 점들

이론과 실제의 차이 : Computer vision (소프트웨어) <-> Sensors (하드웨어)

46

Page 47: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

어려운 점들

이론과 실제의 차이 :예: 후방 카메라만 이용하면 SLAM이 잘 안 되더라. (왜?)

47

Page 48: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Open Sourcefor

AR Community

48

Page 49: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

오픈 소스

Coming soon!

49

Page 50: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

다루지 않은 주제들

50

Page 51: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

다루지 않은 주제들

안 다룬 주제들

- Optics- Head tracking- Eye tracking- 3D modeling

51

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

Page 52: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

다루지 않은 주제들

안 다룬 주제들

- Optics- Head tracking- Eye tracking- 3D modeling

52

SensorsSensors

Sensors Camera(s)

CPU

+ Optical����������� ������������������  Combiner

Scene

generator

Page 53: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

다루지 않은 주제들

안 다룬 주제들

- Optics- Head tracking- Eye tracking- 3D modeling

53

SensorsSensorsSensors

Camera(s)

CPU +Optical����������� ������������������  CombinerScene

generator

Page 54: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Q&A

54

Page 55: [234] 산업 현장을 위한 증강 현실 기기 daqri helmet 개발기

Thank You

55