제4 장 영상부호화의표준기법 -...

1 인하대학교 정보통신대학원Prof. Sang-Jo Yoo

제 4 장

영상 부호화의 표준 기법

MPEG(MPEG-1,-2,-4,-7)


구 성

주요내용MPEG-1

q표준화

qMPEG-1 부호화/복호화

q데이터 계층 구조

MPEG-2

q등장배경 및 표준화

qMPEG-1과의 차이점

qMPEG-2를 위한 주요 부호화 기술

q확장성 기능

q프로파일과 레벨


구 성

MPEG-4

q표준화 배경 및 특징

qMPEG-4 영상 부호화의 기본 구조

q비디오 객체의 부호화

q향후 전망

MPEG-7

q표준화 배경 및 목적

q표준화 범위와 응용


MPEG 1 & 2


1. MPEG-1

표준화ISO/IEC JTC1/SC2/WG8

qIS 1117-1(다중화), 1117-2(영상), 1117-3(음성)

qMPEG (Motion Picture Experts Group)

1988년 저장매체(예,CD)에서의 응용을 위해 처음 출발

qVTR급의 저장 및 전송 품질 (320*240) (1 ~ 1.5 Mbps)

1993년 11월 국제표준으로 완성

H.261에 사용되었던 기법(MC-DCT 외)을 중심으로 표준화


MPEG-1

다양한 용도

Disk Storage

Broadcast of Digital video

Switched Digital Video

qreal time encoder & decoder

qSpecial modem technology (ADSL)

• 1.5~6Mbps의 bit rate 에서 전화선으로 디지털 signal전송

Networked Multimedia

qpersonal computer,workstation


MPEG-1

H.261과의 비교

비교대상 H.261 MPEG-1

주요대상 통신미디어 저장미디어

비트율 Px64 kbps(p=1-30) 약 1.5 Mbps까지영상타입 기본적으로 한종류 세종류 (I, P, B)예측구조 순방향예측 순방향/쌍방향화면내 구조 GOB 슬라이스

움직임 벡터 정수 화소단위 반 화소단위루프 필터 있음 없음


MPEG-1

H.261과 MPEG-1의 공통점부호화 단위는 MB(Macro Block)

q휘도블록(16*16 )의 MV(Motion Vector)를 이용 MB단위의MC(Motion Compensation) 프레임 예측방식.

시간적 화면상관도 따른 정보압축

MB를 8*8로 나눠 DCT로 공간적 정보 압축

q휘도4, 색차2 블록 단위

위의 것을 조합하여 엔트로피 부호화(Huffman Coding)

DCT계수의 양자화 step제어에 의해 전체 부호 발생량 제어


MPEG-1

MPEG-1 표준의 기본요구사항 및 압축방식의 특징임의 접근성

q예측 부호화를 사용하나 일정 주기의 I 프레임 삽입 (예: 1/2 초)

편집 가능성

qGOP(Group of Picture) 단위의 편집 제공

고속 순방향 탐색/역방향 탐색 및 재생

음성/영상 동기화

부호화/복호화 지연

q실시간 영상전화 (150ms 이내), 비실시간 상호작용(1초 이내)

GOP 구조와 화면별 부호화 방식

q주기적인 I, P, B 화면배열

쌍방향 예측 (부호화 효율 증대)


MPEG-1 부호화 및 복호화

MPEG-1 부호화기

이산여현변환

화면순서재배열

Group of Pictures

+ 양자화

역양자화가변길이부호화

다중화

버퍼

비트열

이산여현역변환+

예측 메모리2

예측 메모리1

움직임 예측움직임 추정

-+

버퍼 제어



q움직임 보상 (시간적 중복성 제거) - P, B 화면

q이산여현변환 (DCT) (공간적 중복성 제거)

q가변길이 부호화(VLC)

MPEG-1 복호화기

가변길이복호화

버퍼

비트열

역양자화

화면 순서 재배열

출력 화면

예측메모리 및

예측기

이산여현역변환 +

부가 정보

움직임 벡터



입력신호 부호화 형태순행주사방식(progressive scan) 지원

영상크기 : SIF(source input format) : 한 개의 field에 해당

q352 x 240 : NTSC

q352 x 288 : PAL

화소 값: 8비트로 표시

칼라영상 부 표본화

q칼라공간 : (Y, Cr, Cb)

q표본화 : 4:2:0

전처리

q입력영상을 신호원 부호화 형태로 변환

q잡음 감소 기법



4:2:0

10

324 5

Y Cb Cr

4:2:2

10

32

4

6

5

7

Y Cb Cr

4:4:4

10

32

84

106

95

117

Y Cb Cr

MPEGMPEG--22

4:2:0

10

324 5

Y Cb Cr

MPEGMPEG--11



움직임 보상화면 별 예측 방식

대블록 단위로 예측오류를 최소화 시키는 방법 선택

qI 화면 : 화면내 (움직임 보상 없음)

qP 화면 : 화면내, 순방향 예측

qB 화면 : 화면내, 순방향, 역방향, 쌍방향 예측(화면재구성, 지연)

1 GOP

o o oI

시간

o o o B B P IB B



B화면블록 별로 화면내 부호화, 순방향, 역방향, 쌍방향 보간 예측기법 선택적 사용

새롭게 드러난 영역등의 예측에 적합

과거화면 미래화면

사이에위치하는 화면

순방향 예측

과거 재생영상

으로부터의

순방향 예측

미래 재생영상

으로부터의

역방향 예측



반화소 움직임 보상(half pel motion compensation)

qMPEG에서의 움직임 보상은 통상 반화소 단위(정수 표현도 가능)

q예측 정밀도 향상

q영상을 부드럽고 평활화 하는 작용 (루프 필터 대체)

A B

C D

1

2 3 4

5

정수단위 화소위치

1=(A+B)//22=(A+C)//23=(A+B+C+D)//24=(B+D)//25=(C+D)//2



1 2 4 6 7

y=M/256

NoMC

y=x/1,1

2.7

0.5

1.5 MC

x=Z/256

0 3 5

MC

0 64 128 192 2560

64

128

192

256Non-Intra

vard

varc

Intra

Intra

Z=움직임 벡터가 0일 경우이전화면의 대블록과 현재화면의 대블록과의 휘도차M=움직임 보상된 대블록과 현재 화면의 대블록과의휘도차

varc: 현재 부호화할 대블록의 분산vard: 움직임 보상된 대블록의 분산



공간 영역 부호화이산여현변환(DCT)

양자화 (손실압축)q양자화 행렬 (인간의 시각특성 이용 : JPEG에서 사용된 방법)

q화면내 부호화

• DC : 8로 나누고 반올림

• AC : 16*DCT/(2*양자화 행렬값*MQUANT)

q화면간 부호화 : 16*DCT/(2*양자화 행렬값*MQUANT)

8 16 19 22 26 27 29 34

16 16 22 24 27 29 34 37

19 22 26 27 29 34 34 38

22 22 26 27 29 34 37 40

22 26 27 29 32 35 40 48

26 27 29 32 35 40 48 58

26 27 29 34 38 46 56 69

27 29 35 38 46 56 69 83

16 17 18 19 20 21 22 23

17 18 19 20 21 22 23 24

18 19 20 21 22 23 24 25

19 20 21 22 23 24 26 27

20 21 22 23 25 26 27 28

21 22 23 24 26 27 28 30

22 23 24 26 27 28 30 31

23 24 25 27 28 30 31 33

(a) 화면내 부호화 용 (b) 화면간 부호화 용

16



DCT계수

Q scale조정

Ratecontroller

VideoBuffer

QuantizationMatrix

ScalarQuantizer

Zig-zag/RLC/VLC

Bit stream

MQUANT

Default for intra blocks

8

16

16 19 22 26 27 29 34

16 22 24 27 29 34 37

19

22

22 26 27 29 34 34 38

22 26 27 29 34 37 40

22

26

26 27 29 32 35 40 48

27 29 32 35 40 48 58

26

27

29 29 34 38 46 56 69

35 35 38 46 56 69 83

Default for inter blocks

16

16

16 16 16 16 16 16 16

16 16 16 16 16 16 16

16

16

16 16 16 16 16 16 16

16 16 16 16 16 16 16

16

16

16 16 16 16 16 16 16

16 16 16 16 16 16 16

16

16

16 16 16 16 16 16 16

16 16 16 16 16 16 16

2 4 6.5-.5-2-4-1

-3

-5

1

3

5

Input

Reconstructedlevel

데드존이 없는 양자화기(화면내 부호화 블록)

2 4 6 8 10-2

3

5

7

9

-3

-5

-7

-9

데드존이 있는 양자화기(화면간 부호화 블록)


MPEG-1 데이터 구조

SH

MB MB MB MB ... ...

3 4

1 2 5 6

. . . . . . . . . . .

. . . . . . . . . . .

1 2

3 4

8

8

16

16블록

Cr

Cb

Y

8

8

단,MB는 대블록

Cb Cr

I B B P B B P ... P

슬라이스

GOPSH

GOPSH

GOP ...SH

블록층

대블록층

슬라이스층

화면층

GOP층

시퀀스층

SH : Sequence Header GOP : Group of Picture

(4:2:0)


MPEG 프레임 재 정렬

At the encoder input (display order)

At the encoder output (coding order)

At the decoder output

1

I

2

B

13

P

12

B

3

B

4

P

5

B

6

B

7

P

8

B

9

B

10

I

11

BB B

1514

1

I

2

B

13

P

12

B

3

B

4

P

5

B

6

B

7

P

8

B

9

B

10

I

11

BB B

1415

1

I

2

B

13

P

12

B

3

B

4

P

5

B

6

B

7

P

8

B

9

B

10

I

11

BB B

1514

# of pictures in a GOP, N = 15Distance between successive I/P pictures, M = 3


2. MPEG-2

등장 배경 및 표준화1990년 부터 5Mbps 이상의 방송용 통신 압축 부호화 표준화시작

기존의 TV(NTSC, PAL, SECAM)화질과 HDTV 급의 화질 제공

ISO/IEC JTC1 IS : 1994년

q13818-1(시스템), 13813-2(영상), 13813-3(음성)

ITU-T H.262

MPEG-3?

qMPEG-3는 원래 HDTV급을 위해 준비되었으나,

qMPEG-2에 포함됨 (1992.3)


MPEG-2

MPEG-1과의 차이점

비교대상 MPEG-1 MPEG-2

주요대상 저장 미디어 저장, 방송, 통신 미디어비트율 약 1.5 Mbps까지 수 Mbps – 수십 Mbps

영상포맷 순행주사 비월주사 포함

색차포맷 4:2:0 4:2:2 및 4:4:4 포함다양한 예측방법

프레임예측 프레임예측, 필드예측,듀얼 프라임예측

확장성공간적 확장성시간적 확장성

SNR 확장성유연성 프로파일/레벨

(부호기/복호기 구연의 선택)오류견고성 오류은익을 위한 고려


MPEG-2

MPEG 2 응용 예

통신회선을 이용한 고품질 디지털 영상의 제공 영상회의,영상전화, 원격감시 등

통 신

전파,케이블을 이용한 고품질 디지털 영상의 제공.

TV프로그램 방송,영화 등방 송

디지털 저장매체(CD-ROM이나 하드디스크)를 이용한 고화질 디지털 영상의 제공,가라오케, 영화, 멀티미디어 시스

템,하이퍼미디어 시스템

컴퓨터

응용 예분 야


MPEG-2 부호화 및 복호화 기술

MPEG-2를 위한 주요 부호화 기술순행주사와 비월주사

q비월주사 시 각 필드의 정보를 따로 이용하면 부호화 효율 증대

• 화면(픽쳐)에 프레임이 할당되면 → 프레임 구조

» 프레임 구조에서도 필드의 개념은 사용될 수 있다.

• 화면(픽쳐)에 필드가 할당되면 → 필드구조

1/30 초

1/60 초

홀수필드

짝수필드

홀수필드

짝수필드

필드

구조

프레임

구조

간 시



다양한 이동보상 예측 방법

q필드예측

• 프레임 구조: 16x8 서브 대블록에 대해 필드별 MV 구함 → 대블록에대해 예측

• 필드 구조: 16x16 대블록에 대해 예측신호를 얻음

예측모드 프레임 구조 필드구조

필드예측 사용(MV 2개) 사용(MV 1개)

16 x 8 필드예측 사용(MV 2개)

프레임 예측 사용(MV 1개)

듀얼 프레임예측

사용

(MV 1개 + DMV 1개)사용

(MV 1개 + DMV 1개)



q16 x 8 필드 예측

• 16 x 8 서브 대블록 으로 나누어서 각각 MV 전송

• 필드화면에서는 수직거리가 너무 멀기 때문

q듀얼 프라임 예측

• B 화면이 없는 구조에서 P 화면의 움직임 예측에 사용

• 각 필드별 16 x 8 서브블럭의 움직임 정보 이용

필드 화면에서의대블록

1616

16

16

8

8



프레임 DCT/필드 DCT

qMPEG-2에서의 DCT 모드

• 프레임 모드

• 필드 모드 : » 필드구조의 화면부호화

» 프레임 구조에서 필드간 운동체의 이동이 클 때 등

(a) 프레임 이산여현변환 블록

(b) 필드 이산여현변환 블록



DCT 계수 scan

qAlternate scan (비월주사에 효과적) 추가



양자화기

q화면간 부호화에 인간의 시각특성 고려한 양자화 행렬 사용

8 16 19 22 26 27 29 34

16 16 22 24 27 29 34 37

19 22 26 27 29 34 34 38

22 22 26 27 29 34 37 40

22 26 27 29 32 35 40 48

26 27 29 32 35 40 48 58

26 27 29 34 38 46 56 69

27 29 35 38 46 56 69 83

16 17 18 19 20 21 22 23

17 18 19 20 21 22 23 24

18 19 20 21 22 23 24 25

19 20 21 22 23 24 26 27

20 21 22 23 25 26 27 28

21 22 23 24 26 27 28 30

22 23 24 26 27 28 30 31

23 24 25 27 28 30 31 33

(a) 화면내 부호화 용 (b) 화면간 부호화 용



확장성(scalability) 기능공간적 확장성

q기반계층 : 낮은 해상도 지원

q향상계층 : 높은 해상도를 위한 차신호 부호화

시간적 확장성

q기반계층과 향상계층에 시간적 해상도를 분담시킴

q예 : 기반계층 30Hz(홀수 필드), 향상계층 30Hz(짝수 필드)

SNR 확장성

q기반계층 : 거친 양자화 사용 (대역폭 줄임)

q향상계층 : 차신호를 보다 세밀한 양자화기로 부호화

데이터 분할

q기반계층: DC와 첫번째 AC 값

q향상계층: 나머지 AC 값


MPEG-2

프로파일과 레벨부호화기 및 복호화기의 유연한 선택을 위해 제공

프로파일 : 기능상의 차이

레벨 : 영상의 크기

MPEG-2 에서는 11개의 클래스를 규정

가장 많이 사용되는 클래스는 ITU-R권고 601의 영상에서는MP@ML , HDTV 영상에서는 MP@HL 로 예상


프로파일레벨

Simple Main SNR Spatial High

High

전송속도

(Mbps)

80 100

화소수/줄 1920 1920

줄수/프레임 1152 1152

프레임/초 60 60

High-1440

전송속도

(Mbps)

60 60 80

화소수/줄 1440 1440 1440

줄수/프레임 1152 1152 1152

프레임/초 60 60 60

Main

전송속도

(Mbps)

15 15 15 20

화소수/줄 720 720 720 720

줄수/프레임 576 576 576 576

프레임/초 30 30 30 30

Low

전송속도

(Mbps)

4 4

화소수/줄 352 352

줄수/프레임 288 288

프레임/초 30 30

지원 색차 포맷 4:2:0 4:2:0 4

:

2

:

0

4:2:0 4:2:0 및

4:2:2

특징 B 화면 없음

확장성 지원 안

됨

확장성 지원

안됨

SNR 확장성

지원

SNR 확장성

과 공간 확장

성 지원

SNR 확장성

과 공간 확장

성 지원

4:2:0


MPEG 4 & 7


3. MPEG-4

표준화 배경 및 특징여러 가지 멀티미디어 서비스들이 혼합

통신, 컴퓨터, 방송간의 경계 불분명

복합적이고 다양한 서비스 제공

1997년 7월 표준화 시작 2000년 초 완전 마무리

버전 1, 2로 나뉘어 표준화

새로운 기능 제공

q내용 기반의 대화형 기능 (content-based interactivity)

q다양한 전송 환경의 수용성 및 오류에 대한 강인성

q자연 영상(natural image) 및 합성 영상(synthetic image)의 부호화

q보다 높은 압축 효율


MPEG-4

표준화 배경 및 특징내용 기반의 대화형 기능 (content-based interactivity)q객체(object)단위 데이터 처리

q멀티미디어 데이터 베이스등과 같은 분야에서 요구되는 기능

다양한 전송 환경의 수용성 및 오류에 대한 강인성

q공중 전화망(PSTN)의 수십 kbps의 초저속 전송

q저장 매체나 고화질 방송 등의 수 Mbps의 초고속 전송

q이동 통신등과 같이 채널 오류가 심한 전송 매체에 대응

자연 영상(natural image) 및 합성 영상(synthetic image)의 부호화

q3차원 컴퓨터 그래픽에 의한 가상 공간에 관한 연구

보다 높은 압축 효율

q초저속 부호화 시 우수한 영상 품질


MPEG-4

부호화 기법

qDCT, 움직임 보상 예측, VLC

q이진 모양 부호화( binary shape coding)

• 임의의 모양의 객체 부호화에 필요

q스프라이트(sprite)

• 효율적인 배경 영역 부호화

q프로파일(profile)/레벨(level)사용

q표준화 목표

• 표준화 초기: 초저속 전송 채널을 위한 고압축율 부호화

• www가 계기가 된 인터넷을 통한 멀티미디어 서비스 보급 증가

• 이동 통신을 통한 영상 서비스의 필요성 대두 응용 분야 확장

• 복잡한 표준 방식이라는 단점


MPEG-4

MPEG-4 영상 부호화의 기본 구조기존의 영상 표준: 정방형의 연속 프레임 데이터 취급 비디오 (video) 표준

MPEG-4: 비디오 데이터 + 인공적인 영상 데이터 비주얼 객체 ( visual object)

비쥬얼 객체의 데이터 종류

q비디오 객체 (VO: video object)

q얼굴 객체 (face object)

q그물 객체 (mesh object)

q정지 질감 객체 (still texture object)


MPEG-4

MPEG-4 영상 부호화의 기본 구조비디오 객체 (VO)

qMPEG-1, MPEG-2의 비디오에 대응

q임의의 모양을 갖는 화면 내의 의미 있는 하나의 객체

qVOP(video object plane): 비디오 객체의 매 순간에서의 영상 데이터

qVOP 별로 부호화 되므로, 수신자가 다양한 조작 가능

VOP1:사람VOP2: 토 끼

사람

VOP3:배경

여러 개의 VOP를 이용한 프레임의 구성


MPEG-4

얼굴 객체

q인간의 얼굴을 표현하기 위해 사용

q초기 상태의 얼굴 모양 정의: 중립 표정의 일반적인 얼굴(generic)

q얼굴 정의 파라미터(FDP: facial definition parameter)• 얼굴의 모양, 질감 변화 새로운 얼굴

q얼굴 동작 파라미터(FAP: facial animation parameter)• 표정 지시

q가상 인간 표현

그물 객체

q삼각형 조각들로 분할된 구조

q시간의 변화에 따라 움직이는 객체를 표현하는데 적합

q삼각형 조각들의 시간에 따른 변화만을 정의

q조각 위에 그릴 질감 정보는 관여치 않음


MPEG-4

정지 질감 객체

q질감과 같은 정지 영상의 부호화에 사용

q파소(wavelet) 변환에 기반

• 고압축율 실현

• 공간 또는 화질 확장성(scalability) 실현

그물 객체


MPEG-4 구조

계층구조VS (visual sequence)

VO (video object)

VOL (video object layer)

qscalable 부호화 지원

GOV (group of VOP)

VOP (video object plane)

qMPEG 2의 한 화면에 대응

MB(macro block)

VS0 VS1

VO0 VO1

VOL0 VOL1

GOV0 GOV1

VOP0 VOP1

SOL0


MPEG-4

부호기/ 복호기 구조

Video ObjectsSegmentation

Video ObjectsSegmentation

Video Object 0Encoder






Video ObjectsCompositer

Video ObjectsCompositer

Video Object 0Decoder






System

s Multiplexer

System

sD

emultiplexer

video in video out


MPEG-4

MUX Buffe

Previous ReconstructedVOP

Shapeinformation

ShapeCoding

MotionEstimation

MotionCompensation

TextureCoding

–

Motioninformation

+

Textureinformation

VOP_of_arbitrary_shap

VOP_of_arbitrary_shape

VLC


MPEG-4

부호기/ 복호기 구조

객체 역다중화

얼굴 객체 복호화

그물 객체 복호화

정지 질감 객체복호화

질감 정보 복호화

움직임 정보 복호화및 움직임 보상

모양 정보 복호화

비디오 객체 복호화

화면 구성

MPEG-4 영상 복호기의 개념도


MPEG-4

비디오 객체의 부호화입력 영상 형태

q해상도: SQSIF/SQCIF, QSIF/QCIF, SIF/CIF, 4*SIF/CIF, ITU-R 601 영상 및 임의의 모양을 가지면서 8x8 ~ 2048x2048의 해상도

q색상: 흑백 영상( 4:0:0) 및 Y, Cr, Cb 컬러 영상(4:2:0, 4:2:2)

q프레임율: 최대 초당 60장, 프레임 단위의 가변 프레임율 가능

q화소 깊이(pixel depth): 화소당 8비트 또는 12비트

q주사 방식: 순차(progressive) 및 비월(interlaced) 주사

q비트율: < 64kbps (저속), 64 ~ 384 kbps (중간), 384 kbps ~ 4 Mbps (고속)

qVOP: I-VOP, P-VOP, B-VOP


MPEG-4

비디오 객체의 부호화모양 정보 부호화

q모양 정보: 이진 값(binary value) 또는 8비트 그레이 값(grey value)

q그레이 모양 정보: 겹침효과

• DCT 이용 부호화

q이진 모양 정보: 블록 단위 부호화

• BAB(binary alpha block)

» 불투명 BAB

» 투명 BAB

» 경계 BAB

투명BAB

불투명BAB

경계BAB

이진 마스크


MPEG-4

모양 정보 부호화

q이진 모양 정보

• 주변 화소들을 문맥으로 하여 조건부 산술 부호화

• 확률 표

» 화면 내: 2 x 210 = 2048 bytes

» 화면 간: 2 x 29 = 1024 bytes

• 무손실 부호화

• 손실 부호화: 부표본화 기법 사용

문맥으로 사용되는 주변 화소들

현재 화소

현재 화소움직임 보상에 의해

대응되는 화소

현재 화면이전 화면

화면내 이진 모양 정보 부호화 시의 문맥 화면간 이진 모양 정보 부호화 시의 문맥


MPEG-4

움직임 추정 및 보상

qH.263 방식과 유사

q매크로 블록 단위 움직임 추정

q블록 단위의 움직임 추정

q전역 움직임 보상(global motion compensation)이 가능

• sprite: 배경을 담아 둔 커다란 영상

• 정적(static) 스프라이트

» 실시간 전송에는 사용이 부적합하다

• 동적(dynamic) 스프라이트

» 매 화면을 이용하여 새로운 스프라이트 생성


MPEG-4

움직임 추정 및 보상 (스프라이트의 전역 움직임이 고려됨)

스프라이트

VOP:사람

재생된화면

스프라이트에 의한 배경 영상의 재생


MPEG-4

Sprite ForegroundObject

DecodedFrame


MPEG-4

질감 부호화

q이산 여현 변환에 기반

q개선 사항

• 화면 내 부호화 모드 시

» 직류/교류 계수의 예측 부호화, 비선형 양자화기

» I-VOP의 경우에 상당한 비트율 감축

• MPEG-1과 H.263에 기반한 2가지 양자화 방법을 모두 수용, 선택적사용 가능


MPEG-4

비디오 객체의 부호화비트열 오류 발생시의 대응책들 (무선망, 인터넷 환경)

q비디오 패킷(video packet)구조: 재동기화

• 비디오 패킷 밖의 정보를 이용하지 않음

q오류 은닉(error concealment)

q데이터 분할(data partitioning): 중요정보를 앞에 일괄 배치

qRVLC(reversible variable length code): 질감 정보의 부호화 시

재동기마커

대블록번호

양자화계수

헤더 확장부호 (HEC)

대블록데이터

재동기마커

비디오 패킷의 구조복수개의

MB


MPEG-4

재동기마커

대블록번호

양자화계수


대블록데이터

재동기마커

움직임 및헤더 정보

움직임마커

텍스춰정보

재동기마커

대블록번호

양자화계수


대블록데이터

재동기마커

움직임 및헤더 정보

움직임마커

텍스춰정보

텍스춰헤더

이산여현변환 계수

오류 발생 부분

순방향 복호 역방향 복호

데이터 분할 시 비디오 패킷의 구조

RVLC에 의한 순방향 및 역방향 복호화

비디오 객체의 부호화


MPEG-4

비디오 객체의 부호화

확장성

q비디오 객체 단위의 확장성 지원

q하나의 화면 내에서도 각각 다른 객체간에 다른 화질 실현 가능

q공간 확장성

• 기본 계층(base layer): 가장 낮은 해상도

• 향상 계층(enhanced layer): 점점 높은 해상도

q시간 확장성

• 비디오 객체들간에 프레임율을 다르게 함

• 더 중요한 비디오 객체를 더 높은 프레임율로 재생

q복합 확장성(hybrid scalability)

• 공간 확장성 + 시간 확장성


MPEG-4

향후 전망영상 및 음향 부호화와 컴퓨터 그래픽에 관련된 수 많은 응용분야를 갖는 비대한 표준 방식

MPEG-4의 장점 이자 단점

인터넷, 이동 통신, PSTN등을 통한 멀티미디어에 데이터 전송이 얼마나 활성화 되느냐가 가장 중요한 문제


4. MPEG-7

표준화 배경 및 목적다양한 형태의 멀티미디어 정보를 설명하기 위한 표준화된 기술(description) 방법 정의

사용자가 빠르고 효과적으로 원하는 정보를 찾도록 하자

유용한 정보의 범람 정보를 찾기가 어렵다

효과적인 정보 검색을 위한 표준


MPEG-7

표준화 범위와 응용Multimedia Content Description Interface

1996년부터 시작

표준화 내용

q여러 가지 형식의 멀티미디어 정보를 기술하는 descriptor의 기본

집합

qdescriptor들과 이들간의 관계를 나타내는 description scheme

qdescription scheme을 기술하기 위한 description definition language

대상이 되는 material들

qstill pictures, graphics, 3D models, audio, speech, video

q이들이 결합된 정보


MPEG-7

표준화 범위와 응용정보에 대한 특징 추출 방법

q하위 레벨: 자동 추출 방법

• 영상: shape, size, texture, color, movement and position

• 음성: key, mood, tempo changes, position in sound space

q상위 레벨: 인간과의 상호작용을 통해 추출

• 영상/ 음성의 실제 의미 표현

MPEG-7의 추상적 블록도

q표준화 영역: 추출된 특징을 기술하는 방법

특징 추출 표준 기술 검색 엔진


MPEG-7

MPEG-7의 응용디지털 도서관, 방송 매체 선택, 멀티미디어 저작 도구, 교육, 여행정보, 쇼핑

qMusic : 악보의 일부를 입력하고 이와 동일하거나 유사한 음악을 찾는 예

qGraphics:주어진 몇 개의 선과 비슷한 것을 포함하는 graphic, logo 등을 찾는 예

q Image: 색상이나 질감을 가지는 객체를 정하고 이것으로 구성되어 있는 영상을찾는 예

qMovement: 객체들이 주어지고 이들 간의 움직임의 시공간 관계를 기술한 뒤 이와 비슷한 애니메이션들을 찾는 예

qScenario:주어진 행위의 내용과 비슷한 행위들이 일어난 scenario를 찾는 예

qVoice: 주어진 목소리로 그 사람의 음반, 비디오 클립 등을 찾아내는 예


MPEG-7

From VisualSEEK (Columbia Univ.)


MPEG-7

제4 장 영상부호화의표준기법 -...

Documents