KRnet 20011 / 44

멀티미디어 검색기술

한국통신 멀티미디어연구소

2001. 6. 27김 진 한(jinhan@kt.co.kr)

KRnet 20012 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 20013 / 44

멀티미디어의 활성화

멀티미디어의 조건

문자, 이미지, 그래픽, 오디오 및 비디오 등의 디지털 데이터를 통합

대용량 정보의 효율적인 저장

시공간을 초월한 공유

멀티미디어의 활성화

손쉬운 멀티미디어 정보의 디지털화

저가의 대용량 저장장치 보급

초고속통신망의 보급

KRnet 20014 / 44

멀티미디어 검색

정보표현의 변화

문자 이미지/오디오비디오/그래픽

단일미디어 복합미디어

KRnet 20015 / 44

멀티미디어 검색

멀티미디어 검색의 필요성 대두

멀티미디어 정보의 범람

특정 미디어 검색요구 증가

멀티미디어 검색의 특징

다양한 미디어 검색

유사정보 검색

KRnet 20016 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 20017 / 44

멀티미디어 검색에서의 고려사항

검색속도

검색의 정확성

검색대상의 선정

사용자 인터페이스

저작권 보호

KRnet 20018 / 44

검색속도

검색속도 결정요인

검색대상 데이터의 양

검색방법(선형검색, 트리검색)

비교방식 (단순검색, 복합검색)

응답시간

응답은 빠르면 빠를 수록 좋다

사용자가 지루하지 않을 정도의 시간 내에 응답하여야 한다

네트워크를 통한 검색의 경우 전송시간을 고려하여야 한다

인터넷 검색은 수초 이내에 검색이 이루어져야 한다.

KRnet 20019 / 44

검색속도(계속)

검색속도 향상방안

색인(Indexing)

분류(Classifying)

클러스터링(Clustering)

KRnet 200110 / 44

검색의 정확성

정확한 검색을 위한 고려사항

사용자가 원하는 결과를 제공

사용자마다 다른 표현방법 채택

정확도 향상방안

다수의 키워드 이용

다단계 검색(사용자 피드백 제공)

멀티모달 검색

검색범위 제한

세밀한 특징 표현

KRnet 200111 / 44

검색의 정확성(계속)

속도 vs. 정확성

속도와 정확성을 모두 만족하기는 어려움

사용자의 숙련도에 의존

캐시를 활용한 속도 및 정확도 향상

사용자의 요구 고려

검색결과가 분명한 경우에는 정확성을 중시

검색결과가 분명하지 않은 경우에는 속도를 중시

KRnet 200112 / 44

검색대상

검색대상의 제한

전문 검색

쇼핑몰의 물품가격, 전화번호, 지문

일반 검색

인터넷 검색, 사이트 내부검색

선별 검색(Filtering)

뉴스, 주식정보, MP3, 이미지, 동영상

정보의 현행화

dead link 삭제, 신규정보 추가

적절한 현행화 주기

KRnet 200113 / 44

사용자 인터페이스

편리한 정보입력

자연어처리를 이용한 복합단어 입력

음성인식을 통한 음성입력

멀티미디어 정보 입력수단 제공

효과적인 검색결과 제공

우선순위/일치도 고려

대표이미지/요약비디오 제공

컨텐트/사이트 URL 제공

KRnet 200114 / 44

저작권 보호

불법사용 제한

유료정보의 무단 사용 제한

저작권 문제 고려

디지털 컨텐트 보호

컨텐트의 회손방지

원본 컨텐트(사이트)의 기능에 의존

KRnet 200115 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 200116 / 44

인터넷 검색의 구성

KRnet 200117 / 44

문서수집기

인터넷 문서/컨텐트 자동수집

문서수집 로봇 이용

인터넷 사이트를 이동

소수의 seed 사이트에서 출발

현재 사이트의 Link 사이트로 이동

특정 사이트의 문서 수집은 제한 (제한 사이트리스트 보유)

각 사이트와 멀티미디어 컨텐트의 URL 추출

KRnet 200118 / 44

특징추출기

각 문서의 키워드 추출

멀티미디어 컨텐트의 특징추출

컬러 히스토그램, 레이아웃, 텍스추어

에너지분포, zero-crossing rate

키 프레임, 요약비디오, 메타데이터

각 컨텐트의 유효성 검사

KRnet 200119 / 44

서버

인덱싱 서버

고속 검색을 위한 인덱싱

질의에 대한 검색결과를 미리 계산

질의를 제한

인덱스의 주기적인 현행화

서비스 서버

사용자 질의 수집 및 해석

인덱스를 이용하여 검색

검색결과 제공

KRnet 200120 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 200121 / 44

질의

질의 형태

키워드(단일, 복수)

자연어

질의방법

키보드로 직접 입력

미리 선정된 키워드 목록에서 선택

음성으로 입력

KRnet 200122 / 44

응답

응답 리스트 선정

정확하게 일치하는 정보만을 선정

직접 검색

미리 구해진 색인정보 이용

응답방법

키워드를 포함한 문서만 제공

키워드를 포함하는 문서와 함께 컨텐트 정보 제공

요약정보(디스크립션, Thumbnail, 요약비디오, …)

멀티미디어 컨텐트 정보(형태, 메타정보, URL, …)

KRnet 200123 / 44

키워드 검색사례

KRnet 200124 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 200125 / 44

내용기반 검색의 특징

내용기반 검색의 필요성

멀티미디어 정보는 추상적인 정보

정보 제공자와 이용자의 관점의 차가 존재

멀티미디어 특징정보 표현의 표준화(MPEG-7) 및 활성화

텍스트 문서보다 멀티미디어 컨텐트 자체에 관심이 집중

내용기반 검색에서의 고려사항

다수의 특징 포함

각 특징은 고차원(High Dimension)

표현하기 어려운 질의

KRnet 200126 / 44

내용기반 검색

검색을 위한 사용자 인터페이스 필요

질의가 되는 컨텐트 선택/작성

특징별 가중치 조절

Feedback 기능 제공

유사 컨텐트 선정방법

스크립트/메타파일의 유사도 이용

컨텐트 자체 특징의 유사도 이용

KRnet 200127 / 44

내용기반 검색사례

KRnet 200128 / 44

Feedback 사례

KRnet 200129 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 200130 / 44

멀티모달 검색

멀티모달 검색이란?

성질이 다른 특징을 융합한 검색기법

텍스트와 컨텐트 특징을 동시에 만족하는 검색

대용량 정보의 경우 검색의 정확도가 획기적으로 향상

멀티모달 검색의 필요성

내용기반 검색기술의 한계

대용량 데이터 처리의 한계

질의정보 입력의 제한

KRnet 200131 / 44

멀티모달 검색사례

KRnet 200132 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 200133 / 44

동영상검색의 필요성

동영상 검색의 필요성

초고속통신망/인터넷 방송서비스의 활성화로 동영상정보 유통확산

키워드 검색만 존재

방대한 정보량으로 인해 특징추출이 어려움

내용기반 유사동영상 선정이 어려움

동영상 검색의 요구사항 변경

동영상의 존재 검색 키워드 검색 이용

동영상 자체에서의 특정 컷 검색이 주 요구사항

(VOD서비스, Digital Library, 영화제작사, …)

KRnet 200134 / 44

동영상검색이란?

Partition

RepresentationClassification

Indexing

Retrieval

Interactive Tools (User Interface)

KRnet 200135 / 44

Partition

동영상 검색의 최소단위로 동영상을 분리

의미상 연속성을 갖는 부분(Scene)

메타정보를 부가하는 최소 단위

물리적 연속성을 갖는 Cut의 집합

문자정보의 연속성 이용

특정 이미지로 시작

오디오 정보 이용

수작업으로 처리

KRnet 200136 / 44

Cut 검출

컷 검출 기법

이미지 프레임 정보의 연속성

오디오 정보의 연속성

자막/캡션 정보의 연속성

카메라 동작의 연속성

경계검출 가속화 방안

압축파일에서의 경계검출

다단계 경계검출

KRnet 200137 / 44

이미지의 연속성을 이용한 cut 검출

cut

wipewipe and cut

KRnet 200138 / 44

검색

검색을 위한 동영상/Scene 표현

메타정보

수작업 / 자동추출

문자정보, 대표이미지, 요약비디오

멀티미디어적 특징

자동으로 추출한 키워드(자막, 캡션, 음성인식)

얼굴인식을 통해 추출한 정보

검색방법

메타정보를 이용한 검색

브라우징을 통한 검색(키 프레임, 요약비디오, 디스크립션)

KRnet 200139 / 44

검색결과의 표현

검색결과

메타정보/요약정보 등의 다양한 정보 포함

동영상 정보제공 및 Play

동영상 표현방법

문자

계층적 브라우저

대표 이미지

요약 비디오

파노라마 이미지, …

KRnet 200140 / 44

문자

KRnet 200141 / 44

계층적 브라우저

KRnet 200142 / 44

대표이미지/요약비디오/파노라마이미지

대표이미지 요약비디오

파노라마 이미지

KRnet 200143 / 44

멀티미디어 검색의 필요성

멀티미디어 검색에서의 고려사항

인터넷 검색의 구성

텍스트기반 검색

내용기반 검색

멀티모달 검색

동영상 검색

결론

KRnet 200144 / 44

결론

멀티미디어 검색의 발전방향

사용자 인터페이스 기능 강화

멀티미디어 특징 추출/표현/인덱싱 기술의 발전

MPEG7을 이용한 정보표현 및 검색

XML을 이용한 메타정보의 표현 및 검색