증강현실 특허 문헌 제품조사

AR의 세계로

한준희 김현지 하헌규

시장동향

• 인권단체의 사생활 침해 소송준비 • 미국 웨스트버지니아주 입법부는 아직 출시되지도 않

은 구글안경을 운전 중 착용 할 수 없도록 하는 법안을 준비 중.

• 편의성 증대 vs 사생활 위협 논란 확산

위치기반 서비스 구글 안경의 위기

마커인식 증강현실

1.소비자가 안내 기기를 통해 해당 상품을 직접 써보는 것처럼 체험할 수 있게 함. 카메라로 소비자 인식 후 해당 상품과 합성한 이미지를 출력함.

2.그림, 건축물, 책, 꽃등을 카메라로 인식하게 하여 정보를 검색하게 하는 기술이 있음.

3.영화 포스터를 찍으면 영화에 대한 정보와 평점, 상영관 위치를 확인 할 수 있음. 4.스마트폰으로 제품을 비추면 제품에 대한 정보와 카달로그를 제공함. 5.국립고궁박물관에서는 문화재를 스마트폰으로 인식하여 문화재에 대한 정보를 제공함. 대학생 디자인 졸업작품전으로 증강현실과 디자인을 접목한 사례도 있음.

특허 조사 목록

1. 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법 출원번호 1020080067067

2. 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법 출원번호 1020110008073

3. 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법

출원번호 1020110081456

관련특허 1 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법

요약 마커를 둘러싸며 마커에 대한 정보를 가진 마커프레임을 이용하여 마커의 인식 속도와 효율을 향상시킨다. 마커를 둘러싸며 마커에 대한 정보를 가지는 마커프레임의 가로 세로 길이 차이에 따라 마커의 타입을 결정한다. 또한 마커에 가상의 마커프레임을 생성하여 증강되는 객체가 다양한 자세를 가지도록 한다.

해결하고자 하는 과제

인식 대상이 이미지, 로고, 문자, 기호 등 다양할 경우 기존의 증강현실 구현방법은 이미지나 로고를 인식하는 데에 초점을 맞추기 때문에 동시에 모든 대상을 인식한다는 것이 불가능하였다. 또한, 인식 대상이 장애물에 의해 일부라도 차단 될 경우 증강되던 가상 객체가 사라지는 불안정성의 문제점이 발생하였다.

효과

더 정확하고 빠른 마커의 인식이 가능하다. 이미지와 문자 두 가지 마커를 모두 인식 할 수 있다.

관련특허 2 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법

요약 여러 사용자들이 마커를 분할하고 공유하는 시스템을 제안한다. 마커의 영역을 분할하여 영역별로 권한을 설정해서 각 영역에 해당하는 권한을 가진 사용자들끼리 객체를 공유한다.

해결하려는 과제

마커를 분할하고 영역별로 접근할 수 있는 권한을 설정하여, 권한을 가진 사용자들과 증강현실 객체를 공유하는 증강현실 시스템을 제공한다.

클라이언트 장치는 마커를 검출하고, 호스트로부터 영역권한을 받아, 해당영역에 객체를 디스플레이 한다. 호스트 장치는 마커의 영역정보를 클라이언트 장치들과 공유하고 각 영역의 권한을 가진 클라이언트간 객체가 공유되도록 한다.

효과

증강현실을 이용한 경매시스템, 전략 시뮬레이션 게임 등에 이용 할 수 있다. 하나의 마커를 분할하여 사용하므로 서비스에 필요로 하는 마커의 수를 줄일 수

있다. 접근 권한을 통해 다양한 응용이 가능하다.

관련특허 3 마커를 기반으로 하는 증강현실 시스템 및 그 객체 증강방법

요약 마커를 기반으로 하는 본 증강현실 시스템은 촬영부, 영상처리부, 마커검출부, 마커정보 저장부, 객체 증강부 로 구성된다. 도중에 마커정보가 검출되지 않는 경우 미리 저장된 마커정보에 따라 마커의 특징점을 추적하여 상기 객체를 증강시킨다. 마커가 일시적으로 가려지는 경우에도 지속적으로 증강이 가능하다.

해결하려는 과제

마커가 일시적으로 가려지는 경우에도 객체를 지속적으로 증강시킨다. 마커의 가림현상을 이용하여 증강현실에서 상호작용이 가능하도록 한다.

효과

획득한 영상에서 마커가 일시적으로 가려지는 경우에도 객체를 지속적으로 증강시킬 수 있다.

마커의 가림현상을 이용하여 증강현실의 상호작용이 가능하다.

문헌조사 목록

증강현실 게임을 위한 경계선 기반 마커 이진화 방법

맥락 정보를 이용한 장방형 마커 인식 및 증강현실 응용

증강현실 구현을 위한 Multi-Marker에 관한 기법


경계선을 검출하기 위해 원 영상을 1) 그레이 스케일 영상으로 변환한 뒤 경계선을 검출하고 2) 마커영역의 경계선을 폐구간으로 만들기 위해 모든 경계선 화소에 대해서 4방향 확장 연산을 수행한다. 3) 검출된 모든 경계선에 대해서 좌․우 화소의 명도를 비교하여 낮은 쪽에 검은색, 높은 쪽에 흰색을 할당하여 씨앗 영역 확장 기법을 통해 내부 영역을 채우면 마커영역의 이진화가 완료된다. 조명의 영향에 민감하지 않은 경계선 정보를 이용하여, 기존 단일 임계값을 사용한 이진화 방법에 비해 단계적 조명이나 그림자의 영향을 받은 영상에서도 마커 인식이 가능한 이진화 결과를 보였다.

맥락 정보를 이용한 장방형 마커 인식 및 증강현실 응용

증강 현실 응용 분야에서 널리 쓰이고 있는 마커는 단순히 마커를 구분하기 위한 ID에 대한 정보만을 가지고 있기 때문에 마커의 크기를 미리 알고 있어야 하며, 한 종류의 마커만을 사용할 수 있는 제약이 있었다. 이와 같은 문제점을 해결하기 위해서 마커 디자인에 마커의 ID 정보 외에, 마커의 종류, 크기 및 회전 정보를 마커 내부에 2차원 바코드의 형태로 포함한다. 이와 같은 마커의 맥락 정보를 마커의 패턴에 저장함으로써 여러 종류의 마커를 사용할 수 있다. 그 외에도 마커의 크기 정보를 바탕으로 서로 다른 크기를 갖는 마커들 사이에 일관성을 유지하면서 동일한 비율로 콘텐츠를 증강하는 것이 가능하며, 가로/세로 비율이 알려져 있지 않은 직사각형의 마커들도 인식이 가능하다. 마커에 담긴 맥락 정보를 바탕으로 마커를 인식함으로써, 제안된 마커 디자인은 불특정 다수의 마커들이 존재하는 모바일 증강현실에 유용하게 쓰일 수 있다.

증강현실 구현을 위한 Multi-Marker에 관한 기법

가상과 현실을 이어주는 하나의 방법인 마커(Marker)인식방법에서 멀티마커방법을 사용하여 복잡한 환경이나 또는 손으로 가려지는 현상에서도 추적이 가능한 기법을 제안한다. 기존의 마커인식 방법은 한 개의마커에만 의존하기 때문에 마커가 가려짐 현상에서 객체가 깜박이는 현상을 볼 수 있는데 이 시스템에서 마커가 가려지더라도 여러 개의 마커가 가려진 마커를 대신함으로써증강된 객체가 나타남을 확인 할 수 있다. 이러한 기술을구현하기 위해 관점 매트릭스(perspective matrix)를 이용한 멀티 마커 추정 방법으로 다른 연산이 없기 때문에 빠르게 추정 할 수 있는 것이 특징이다.

증강현실 특허 문헌 제품조사

Technology