1

멀티미디어 데이터멀티미디어 데이터압축 압축 & & 복원복원 ::

영상 코딩 기법영상 코딩 기법 (2)(2)

Lecture #8Lecture #8

2

강의 내용강의 내용

하이브리드 코딩 기법 영상 코딩 기법 개요 이진 영상 코딩 기법

ITU-T G3/G4 JBIG / JBIG2

정지 영상 코딩 기법 JPEG / JPEG-2000

통신용 동영상 코딩 기법 H.261 / H.263

고품질 동영상 코딩 기법 MPEG

3

H.261 (1)H.261 (1)

H.261 ITU 가 디지털 비디오에 대한 압축 및 복원 표준으로 재정 전화망이나 ISDN 상에서 비디오 전화기와 화상회의 시스템

운용을 위한 표준으로 적용 “ p x 64” (p = 1,…, 30) 기법

PSTN 의 기본 대역폭 : 64 Kbps p = 1 or 2 : 대역폭이 낮은 비디오 전화 등에 응용 p >= 6 : 화상 회의 등에서 응용

4

H.261 (2)H.261 (2)

H.261 ( 계속 )

지원하는 영상 포맷 QCIF(Quarter CIF) - required CIF(Common Intermediate Format) - optional TV 방송 표준의 차이점에 따른 문제 해결을 위해 제시 YUV 칼라시스템 , 비월 주사 방식 & 30 fbs(frames per secon

d) 주사선과 픽셀 수 비교 : pp 182, 표 4.6

데스크탑 비디오 회의 응용의 요구 대역폭 & 압축률 QCIF, p =2 인 경우 pp. 182 예

5

H.261 (3)H.261 (3)

H.261 비디오 구조 픽쳐 (Picture) : 비디오의 한 프레임 GOB(Group Of Block)

Picture 는 GOB 로 구성 크기 : CIF/12 or QCIF/3

마이크로 블록 (Microblock) GOB 는 33 개의 마이크로 블록으로 구성 하나의 마이크로 블록은 6 개의 8 x 8 블록으로 4 Y + Cb + Cr

블록 (Block) 8 x 8 픽셀로 구성된 DCT 변환 최소 단위

6

H.261 (4)H.261 (4)

H.261 비디오 구조

7

H.261 (4)H.261 (4)

H.261 압축 과정 프레임내 (Intraframe) 및 프레임간 (Interframe) 압축

기법을 동시에 사용 프레임내 압축

DCT 압축 기법 사용 MPEG 의 I- 프레임 코딩에 해당

프레임간 압축 DPCM 과 움직임 예상의 의한 움직임 보상 (motion comp

ensation) 기법 사용 MPEG 의 P- 프레임 코딩에 해당

8

Intraframe coding & Interframe Coding

9

Intraframe coding

10

Interframe Coding

11

H.261 (5)H.261 (5)

H.261 압축 과정 - 특징 양자화 테이블 대신에 양자화 인수를 사용 양자화 인수는 버퍼에 있는 데이터 양에 의해 결정 개별적인 프레임 내용과 비디오 장면의 내용에 따라 화질이

달라진다 양방향 실시간 전송을 위해서는 압축 지연이 150ms 이내

이어야 한다

12

H.263 (1)H.263 (1)

H.263 압축기법 H.261 압축기법을 확장한 표준 특징

64Kbps 이하의 저 대역폭을 대상 DPCM 과 DCT 변환 기법을 결합하여 사용 PB 프레임 개념을 사용 – P 프레임과 B 프레임이 한 단위로

코딩된 것 산술 코딩 기반의 엔트로피 코딩을 적용 H.261 기법 보다는 2.5:1 정도로 성능이 우수

최근 사양이 보완된 H.263+ 표준 지원

13

H.263 (2)H.263 (2)

H.263 압축기법 지원되는 Video Formats :

Videoformat

LuminanceImage

Resolution

ChrominanceImage

Resolution

H.261support

H.263support

Bit-rate (Mbit/s)(if uncompressed, 30 fps) Max bits allowed

per picture(BPPmax, Kb)

B / W Color

SQCIF 128 x 96 64 x 48 n/a Required 3.0 4.4 64

QCIF 176 x 144 88 x 72 Required Required 6.1 9.1 64

CIF 352 x 288 176 x 144 Optional Optional 24.3 36.5 256

4CIF 704 x 576 352 x 288 n/a Optional 97.3 146.0 512

16CIF 1408 x 1152 704 x 576 n/a Optional 389.3 583.9 1024

14

MPEG (1)MPEG (1)

MPEG 표준 개요 Moving Picture Coding Experts Group

비디오 압축 , 오디오 압축 그리고 비디오와 오디오간의 동기화에 관한 표준

MPEG 표준 구성 : 시스템 코딩 표준 비디오 코딩 표준 오디오 코딩 표준

MPEG 표준의 특징 랜덤 접근 (Random Access) 기능 제공 VCR 기능 지원 : FF, FR 기능 등 Reverse Playback 기능 지원 오디오 / 비디오 동기화 짧은 압축 / 복원 지연 프레임 단위 편집 기능 경제성

15

MPEG (2)MPEG (2) MPEG 표준 개요 ( 계속 )

MPEG-1 : CD-ROM 저장매체에서의 비디오와 오디오에 대한 압축과

복원에 대한 표준 1 ~ 1.5 Mbps 대역폭 지원

MPEG-2 : 디지털 TV(HDTV) 에 대한 표준 2 ~ 80 Mbps 대역폭 지원

MPEG-4 : 멀티미디어 응용에 대한 표준과 시청각 정보를 객체 단위로

부호화 목표 대화형 멀티미디어 시스템 , 화상 회의 , 비디오 전화 등의 저

대역폭을 요구하는 응용에서 비디오와 오디오 압축에 관한 표준 9 ~ 40Kbps

MPEG-7 : 정보검색을 위한 내용 표현을 목표

16

MPEG-1 MPEG-1 압축 알고리즘압축 알고리즘

시간적 중복성 제거 연속된 일련의 프레임 사이의 중복성 제거 움직임 추정 (Motion Estimation) 움직임 보상 (Motion Compensation)

공간적 중복성 제거 부호화 중복성 , 화소간 중복성 : VLC, RLC 인지시각적 중복성 : DCT 및 양자화

17

시간적 중복성 제거 시간적 중복성 제거 (1)(1)

Group of Pictures I (Intra)

임의로 선정된 frame (random access) 낮은 ( 시간적 ) 중복성

P (Predicted) 이전의 I 또는 P frame 을 기준으로 예측된 영상 중간 정도의 압축률

B (Interpolated) 두 개의 I 또는 P frame 으로 부터 양방향 예측된 영상 가장 높은 압축률

크기 비교 : I-frame >= P-frame >= B-frame

18

I, P, B Picture 부호화

19

시간적 중복성 제거 시간적 중복성 제거 (2)(2)

움직임 추정 (Motion Estimation) Macro Block 단위의 움직임 벡터 추정

1616 sub-image 임의의 부영상 ( 예 : 3232 영역 ) 에서의 블록 매칭

Cost Function

20

시간적 중복성 제거 시간적 중복성 제거 (3)(3)

21

시간적 중복성 제거 시간적 중복성 제거 (4)(4)

움직임 보상 (Motion Compensation) - P

22

시간적 중복성 제거 시간적 중복성 제거 (5)(5)

움직임 보상 (Motion Compensation) - B

23

공간적 중복성 제거 공간적 중복성 제거 (1)(1)

적용 대상 모든 I frames B, P frame 의 차분치

압축 단계 블록 (88) 단위로 DCT 변환계수의 양자화 RLE 부호화 (run-length encoding) via Zig-zag scanning

24

공간적 중복성 제거 공간적 중복성 제거 (2)(2)

Zig-Zag Scanning

25

MPEG-1 MPEG-1 비디오 계층 비디오 계층 SyntaxSyntax

MPEG-1 비디오 계층 Syntax pp 198, 그림 4.31, 그림 4.32 Sequence Layer : 하나의 MPEG-1 file ( 여러 개의 GOP la

yers) GOP Layer : a set of I, B, P’s Picture Layer : one of I, B, P frame is a set of Slices Slice Layer : a Slice is a set of MB’s MB Layer : 1 MB = 4 Blocks Block Layer : 88 화소단위 부영상 집합

26

27

28

MPEG-1 MPEG-1 비디오 압축비디오 압축 // 복원복원

압축 / 복원 순서 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, … I, B, B, P, B, B, P, B, B, I, B, B, P, B, …

MPEG-1 Encoder 의 입력 1, 2, 3, 4, 5, 6, 7, 8, 9/ 10, 11, 12, 13, 14

MPEG-1 Encoder 의 출력 1, 4, 2, 3, 7, 5, 6/10, 8, 9, 13, 11, 12, …

MPEG-1 Decoder 의 입력 1, 4, 2, 3, 7, 5, 6/10, 8, 9, 13, 11, 12, …

MPEG-1 Decoder 의 출력 1, 2, 3, 4, 5, 6, 7, 8, 9/ 10, 11, 12, 13, 14, …

29

MPEG-1 CODEC (1)MPEG-1 CODEC (1)

MPEG-1 시스템 코딩 MPEG-1 인코딩 시스템

pp 189, 그림 4.26 비디오와 오디오간의 동기화 목적으로 시스템 클럭을 사용

MPEG-1 디코딩 시스템 pp 196, 그림 4.29

30

MPEG-1 CODEC (2)MPEG-1 CODEC (2)

31

MPEG-2 (1)MPEG-2 (1)

MPEG-2 등장 배경 H.261

ISDN 을 이용한 화상전화 및 화상회의 64 ~ 1920Kbps 전송률 지원

MPEG-1 CD 등 디지털 저장매체에 1.5Mbps 전송률 동영상 및 오디오를 압축하여 다중화하는 표준

MPEG-2 5~10Mbps 정도에서 현행 TV 품질을 구현 현재 HDTV 표준을 위한 MPEG-3 를 흡수 (20Mbps 이상 )

32

MPEG-2 (2)MPEG-2 (2)

33

MPEG-2 (3)MPEG-2 (3)

34

MPEG-2 (4)MPEG-2 (4)

35

MPEG-2 (5)MPEG-2 (5)

36

MPEG-2 EncoderMPEG-2 Encoder

프레임 /필드 구조에 있어서I,P,B 픽처의 매크로블록 타입

양자화특성 지정정보

양자화 변환계수

37

MPEG-2 DecoderMPEG-2 Decoder

프레임 /필드 구조에 있어서I,P,B 픽처의 매크로블록 타입

양자화특성 지정정보

양자화 변환계수

38

MPEG-1 MPEG-1 과의 차이점 과의 차이점 (1)(1)항목 MPEG-1 MPEG-2

영상포맷

색차포맷

순차주사(Progressive Scan) 4:2:0

순차주사(Progressive Scan), 비월주사(Interlaced Scan) 4:2:0, 4:2:2, 4:4:4

영상품질 1.5Mbps

4Mbps : TV 화질 10Mbps : 스튜디오 TV 화질 30Mbps : HDTV 방송품질 70Mbps : HDTV 의 스튜디오 품질

부호화 비트율의 유연성

CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원

CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원

부호화 . 복호지연 프레임구조 프레임구조, 필드구조

랜덤 액세스 채널 호핑

GOP 구조 GOP 구조를 잘 활용함으로써 랜덤억세스와 채널호핑에 필요한 시간을 줄일 수 있다

비트열 스케일러빌리티

Spatial Scalability Temporal Scalability SNR Scalability

39

MPEG-1 MPEG-1 과의 차이점 과의 차이점 (2)(2)

Y, Cb, Cr 포맷

○○ ○○

○○ ○○

○○ ○○

○○ ○○

○○ ○○

○○ ○○

○○ ○○

○○ ○○

××

××

××

××

○○ ○○ ○○ ○○

○○ ○○ ○○ ○○

××

××

××

××

○○ ○○ ○○ ○○×× ××

○○ ○○ ○○ ○○×× ××

○○ ○○

○○ ○○

××

××

××

××

○○ ○○×× ××

○○ ○○×× ××

○○

○○

××

××

○○××

○○××

○○

○○

××

××

○○××

○○××

(a) 4 : 2 : 0 format (b) 4 : 2 : 2 format ( c) 4 : 4 : 4 format(a) 4 : 2 : 0 format (b) 4 : 2 : 2 format ( c) 4 : 4 : 4 format

○ ○ : Luminance (Y): Luminance (Y)× : Chrominance (Cb, Cr)× : Chrominance (Cb, Cr)

40

MPEG-1 MPEG-1 과의 차이점 과의 차이점 (3)(3)

양자화 계수들의 스캔 방식

Zig-Zag Scan and Alternate ScanZig-Zag Scan and Alternate Scan