M. Y. Sung1

Chapter 2Multimedia Systems

Requirements

멀티미디어 시스템 요구 기능

M. Y. Sung2

2.1 멀티미디어의 특별한 것은 ?

멀티미디어 데이터 특징 대용량 (Large amounts) 주기적 동기화 (Periodic synchronization)

멀티미디어 시스템 설계 시 고려 사항 출발지와 목적지의 특성이 주어진 상황에서 어떻게 네트워크를

설계할 것인가 ? 네트워크가 주어진 상황에서 어떻게 목적지를 구성할 것인가 ? 출발지 , 목적지 , 네트워크의 조합이 주어진 상황에서 지원될 수

있는 응용은 어떤 것인가 ? 네트워크가 비동시성 (asynchrony) 를 만들더라도 멀티미디어

시스템에서는 인간의 인내심에 따라 어느 정도 허용가능 하다 .

M. Y. Sung3

M. Y. Sung4

2.2~2.6 이산 미디어 .vs. 연속 미디어

이산 미디어 (Discrete Media): 시간은 의미 없음 (time-independent) 데이터 또는 텍스트

프로그램 파일 메시지 파일

24 lines x 80 characters x 2 bytes = 3840 bytes 데이터 파일

이미지 256 colors 8 bits 640 x 480 x 1 bytes = 307200 bytes

그래픽스 PHIGS (Programmer’s Hierarchical Interactive Graphics

System) GKS (Graphics Kernel System)

연속 미디어 (Continuous Media): 시간이 의미 있음 (time-dependent) 오디오 비디오 애니메이션

M. Y. Sung5

2.7 아날로그와 디지털 신호

물리적 ( 자연 법칙에 따르는 ) 세계의 변수들은 연속적으로 변화하며 물리적 세계에서의 변화는 전자적으로 기록될 수 있음

모든 것인 연속적인 물리적 세계와는 달리 디지털 세계는 이산적임 디지털 세계에서는 모든 것을 0 과 1 로 표현할 수 있음 , 이 두

값으로부터 높은 차수의 숫자를 만들어 낼 수 있으나 이산성은 여전히 계속됨

물리적 변수의 값의 영역은 요구되는 비트의 개수를 의미함

M. Y. Sung6

M. Y. Sung7

M. Y. Sung8

2.7 아날로그와 디지털 신호

디지털화 = 샘플링 (Sampling) + 양자화 (Quantization) + 부호화 (Coding) 샘플링 : 디지털화 과정

샘플링 간격 (Sampling interval): 시간 인스턴스 사이의 간격 공간 이산화 (Space discretization) 시간 이산화 (Time discretization) 샘플링 간격은 어떻게 결정하나 ?

Nyquist theory (1924): 원래 신호의 최고 변화 속도의 두 배 이상의 속도로 샘플링 해야 원래 속도를 복원할 수 있음

Shannon: Nyquist 의 연구 결과를 무작위 잡음 (random noise) 통신채널에 적용 시킴

양자화 : 각 샘플에서 얻어낸 값을 일정 개수의 수자로 된 디지털 형태로 표현 양자화 오류 : 양자화 과정에서 샘플의 값이 가장 가까운 사용 가능한 표현 값으로

사상되면서 생기는 오차 부호화 : 샘플의 값을 위치에 기반한 숫자 체계의 코드로 표현 , ( 예 ) octal,

hexadecimal, excess-3

M. Y. Sung9

2.8 오디오와 비디오의 디지털화

오디오 공기 압력 에너지 (Atmospheric pressure energy) 전자 신호

디지털화 비디오

빛 에너지 (Light energy) 전자 신호 디지털화 신호는 교환되어야 하므로 호환성 (compatibility) 을 위하여 신호의

디지털화 , 기록 , 처리에 대한 표준이 필요함

M. Y. Sung10

2.9 연속 미디어 : 오디오

오디오 부호화CodingSampling Rate Data RateL16 48 KHz 768 Kbps

44.1 KHz 705.6 Kbps22.05 KHz 352.8 Kbps11.025 KHz 176.4 Kbps

L8 8 KHz 64 Kbps 오디오 샘플들은 일정한 순서 (order) 와 일정한 간격 (interval) 으로

재생되어야 함

M. Y. Sung11

M. Y. Sung12

2.10 보는 것은 작업이다

우리는 물체에 입사 된 빛 (the light incident) 을 감지한다 . 단색광 (Monochromatic light): 하나의 파장 (wavelength) 과 하나의 빛의

강도 (intensity) 비단색광 (Non-monochromic light): 파장과 빛의 강도의 영역 (range) 인간의 눈은 무지개 색 VIBGYOR 중 GY 에 더 예민함 물체에 빛 에너지가 입사 되었을 때 , 물체는 빛을 반사 :

30% 이하 : black 80% 이상 : white

그레이 - 스케일 (Grey-scale): 무채색 물체 (achromatic object) 를 위한 검정과 흰색 사이의 점차적인 색감 (graded sensation)

휘도 (Luminance): 빛의 파장에 대한 눈의 전반적인 반응치 명도 (Brightness): 특정 영역의 빛의 발산에 대한 시각적 감도 , 주위 환경에

좌우됨 밝기 (Lightness): 회색의 정도

M. Y. Sung13

M. Y. Sung14

2.10 보는 것은 작업이다 : RGB & YUV

이론적으로는 , 임의의 세 색상이 원색 (primary colors) 이 될 수 있으나 , 실제로 자연의 어떤 색상은 그 삼원색으로부터 합성될 수 없음 . 그러나 많은 표준이 RGB 를 삼원색으로 정의하고 있음

가법 색상 (Additive primary colors): R(Red)=700nm, G(Green)=546nm, B(Blue)=436nm

CIE(Commission International de l’Eclairage) 의 삼원색 비디오 카메라와 디스플레이 모니터도 RGB 이용

YUV YUV

Y: Luminance(lightness + brightness) U: Chrominance V: Chrominance

U + V = C (chrominance signal or chroma signal) 사람의 눈은 빛의 밝기보다 색상에 덜 민감하므로 색상 신호는 휘도 신호보다

더 낮은 정밀도 (lower accuracy) 와 더 작은 대역폭 (lesser bandwidth)으로 표현될 수 있음

M. Y. Sung15

M. Y. Sung16

M. Y. Sung17

2.10 보는 것은 작업이다 : 아날로그 비디오 신호

아날로그 비디오 신호 : 스캐닝 규정에 따라 미리 정의된 시공간 정보 (spatio-temporal information ) 가 시간의 함수로 정렬되어 있는 시간에 대한 일차원 아날로그 신호

스캐닝 기법 점진적 스캐닝 (progressive scanning): 컴퓨터 모니터

매 1/72 seconds 마다 한 프레임 인터레이스 스캐닝 (interlaced scanning): TV

홀수 번째 라인 필드 짝수 번째 라인 필드

표준 Analog TV: NTSC, PAL, SECAM Digital TV: ITU-R 601 Video conferencing: ITU-TS H.261

M. Y. Sung18

M. Y. Sung19

M. Y. Sung20

2.10 보는 것은 작업이다 : 아날로그 비디오 신호

NTSC(National Television Systems Committee) America, Korea, Japan YIQ

Y = 0.30R + 0.59G + 0.11B I = 0.74(R-Y) - 0.27(B-Y) = 0.60R + 0.28G + 0.32B Q = 0.48(R-Y) + 0.41(B-Y) = 0.21R + 0.52G + 0.31B

2:1 interlaced scanning(2 fields in one frame), 4:3 aspect ratio, 525 lines, 29.97 frames/second, 6MHz analog channel

PAL(Phase Alteration Line) Europe, Australia YUV

Y = 0.30R + 0.59G + 0.11B U = 0.493(B-Y) = -0.15R - 0.29G + 0.44B V = 0.877(R-Y) = 0.62R + 0.52G + 0.10B

2:1 interlaced scanning, 4:3 aspect ratio, 625 lines, 25 frames/second, 8 MHz analog channel

SECAM(Systeme Electronique Color Avec Memoire) France, Russia, Eastern Europe YUV 2:1 interlaced scanning, 4:3 aspect ratio, 625 lines, 25 frames/second, 8 MHz analog

channel, FM(Frequency Modulation)

M. Y. Sung21

2.11 연속 미디어 : 비디오

역사적 배경 TV 제작 (production), 방송 (broadcasting), 시청 (reception) 작업에

사용하는 장비는 호환성이 필요함 기본 사항

비디오 : 프레임의 연속 디지털 이미지 : matrix Ivideo

수평 (horizontal) 동기화 : 수평 재생 펄스 (horizontal retrace pulse) 수직 (vertical) 동기화 : 수직 재생 펄스 (vertical retrace pulse) 일정 샘플링 속도로 아날로그 비디오 신호를 샘플링

Analog TV RGB 를 YUV 로 변환

Y: luminance (0.30R + 0.59B + 0.11B) U(R-Y): chrominance V(B-Y): chrominance

M. Y. Sung22

2.11 연속 미디어 : 비디오

디지털 TV 아날로그 TV 기술 ( 자연 장면 ) + 신호 처리 기술 ( 아날로그를 디지털로 ; 샘플링 , 양자화 , 부호화 ) + 컴퓨터 디스플레이 기술 ( 디지털 TV 모니터에 디스플레이 )

서브샘플링 (Subsampling) 개념 각 색상 신호를 위한 비트율 (bit-rate) 을 50% 로 감소 전체 33% 감소 스튜디오급 (studio quality) 디지털 TV (studio quality digital TV)

표준의 Y:C1:C2 = 4:2:2 샘플링 비율에 따라 비트율 변경

스튜디오급 TV ITU-R 601 표준 : 기존 아날로그 TV 와 호환될 수 있는 해상도와 프레임율

(resolution and frame rates) 을 정의 Y: 13.5 MHz, C1: 6.75 MHz, C2: 6.75 MHz Y:720(C:360) samples/line, 486 lines/frame

M. Y. Sung23

M. Y. Sung24

2.11 연속 미디어 : 비디오

Videoconferencing Quality-CIF (Common Interchange Format) ITU-TS H.261 권장안 (recommendation) Y:352(C:172) samples/line, Y:288(C:144) lines/frame Y:U:V = 4:1:1

Videoconferencing Quality-QCIF (Quarter CIF) ITU-TS H. 261 낮은 질 권장안 Y:176(C:88) samples/line, Y:144(C:72) lines/frame

Videoconferencing Quality-Super CIF ITU-TS H. 261 준 스튜디오급 권장안 Y:704(C:352) samples/line, Y:576(C:288) lines/frame

VCR Quality -SIF (Standard Interchange Format) MPEG1 모션 비디오 압축 (motion video compression) 표준 Y:352(C:176) samples/line, Y:240(C:120) (NTSC) or 288

(PAL/SECAM) lines/frame Y:U:V = 4:1:1

M. Y. Sung25

2.12 Multimedia: Data, Audio, Video, Image, and Graphics

저장 장소 요구량Media Storage in KBData (typical) 50 - 500Audio (1 second, L16, 48 KHz) 64 - 768Video (1 second, 640x480, 24 bits, 60 fr) 27648Image or Graphics (640x480) 307.2

M. Y. Sung26

2.13 시간 분석 (Timing Analysis)

스트림 내 동기화도 코딩 되도록 보장해야 함 오디오 샘플을 잘못된 시간에 재생 (playing) 하는 것은 샘플을 전혀 재생하지 않는 것보다 못함

만일 샘플이 적시에 이용가능하지 않으면 , 비록 그것이 나중이 이용 가능해 질지라도 그것을 버림

ti+1 – ti = t’

I+1 – t’I =

ti < t’I < t’

I+1 «

ti, ti+1 refer to time instants at the generating end, t’

I, t’I+1 refer to time instants at the replayng end,

is the inter-sample spacing at the generating end, is the variation that can be tolerated at the replaying end.

M. Y. Sung27

M. Y. Sung28

2.14 멀티미디어를 위한 이상적인 네트워크 환경

멀티미디어는 대용량 데이터와 적시 처리 (timely handling) 를 뜻함 저장과 재생을 위한 대용량 Large volume for storage and retrieval 전송을 위한 적시 처리

네트워크에서 전송율 (transfer rate) 을 보장해야만 함 지연 지터 (delay jitter) 가 매우 작아야 함 압축 후의 대용량을 지원하기 위해 네트워크에서 등시성 (isochronous)

이 필요함 Isochronous: 함께 또는 동시에 (together or at the same time) 한 프레임을 표현하는 비디오 샘플 같은 비트 그룹은 함께 또는

동시에 네트워크 통해 이동되어야 함

M. Y. Sung29

과제

교재 p46 연습문제 1-8 http://visviz.gmd.de/MultimediaInfo/ ? http://viswiz.gmd.de/MultimediaInfo/ ?

교재 p75 연습문제 2-4 교재 p75 연습문제 2-10 교재 p75 연습문제 2-11