-
1 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2장. 영상 신호의 표현과 특성
2 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
구 성
주요 내용영상 정보의 수학적 표현
인간의 시각 시스템
Contents1. 2차원 신호와 시스템의 표현2. 영상의 인지 특성3. 색과 색 좌표계3. 표본화 원리와 TV 신호
-
3 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
1. 2차원 신호와 시스템의 표현
1.1. 영상 정보
1.2. 공간 표본 (spatial sample)
X
Yy
x
f (x, y)
x
y
y) (x, f =f빛의 휘도(Luminance)
y)} (x, f y), (x, f y), (x,{f greenblue red=f t)y, (x, f =f
X
Y
X
Y
여파기 통과
표본 추출 및 양자화(sampling and quantization)
∫ ∫+
−
+
−
−
−−=δ
δ
δ
δ
y
y
x
x cdwdzzywxhyxfyxf ),(),(),(
},...,1,,...1),,({ yxii NjNiyxf ==∧
TV신호는 2차원 영상신호를 주사선을 이용해 1차원 신호로 바꿔줌.
pixel (picture element)
4 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2차원 신호와 시스템의 표현
x
y
Origin
f (x, y)
(Gray level)
-
5 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2차원 신호와 시스템의 표현
( )( ) ( ) ( )( ) ( ) ( )
( ) ( ) ( )
f x y
f f f Mf f f M
f N f N f N M
,
, , ,, , ,
, , ,
=
⋅ ⋅ ⋅ −⋅ ⋅ ⋅ −
⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅− − ⋅ ⋅ ⋅ − −
⎡
⎣
⎢⎢⎢⎢⎢
⎤
⎦
⎥⎥⎥⎥⎥
0 0 0 1 0 11 0 1 1 1 1
1 0 1 1 1 1
6 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
공간 해상도
256x256 128x128 64x64
32x32 16x16 8x8
-
7 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
Gray 해상도
256
248
1632
8 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
1. 2차원 신호와 시스템의 표현
여파기 (Filter)대역 겹침을 피하기 위해 필요이상의 고주파 성분 (예: 잡음)을제거하기 위해 인접 부분과 가중치 평균을 취함
표본화 (Sampling)공간적으로 연속적인 영상의 정보 값을 한정된 점으로 표현
공간 표본화 (spatial sample) : 표본점을 화소 (pixel)이라 한다.
양자화 (Quantization)입력 신호의 연속적인 값을 이산적인 값으로 대응시킴
양자화기의 입력을 L 구간으로 나누고, 출력은 각 구간에 해당하는 대표값을 사용
-
9 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
1. 2차원 신호와 시스템의 표현
q균일 양자화기
t1 t4t3t2
l1
tL-1···
l2
l3
l4
lL-1
lL
···
출력
입력
양자화잡음
10 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
1. 2차원 신호와 시스템의 표현
공간 영상 신호를 주파수 영역으로 변환함으로써 영상처리, 부호화 처리 과정 등에서 좀 더 편리한 표현이 가능
영상 정보의 주파수 영역 표현에 대한 설명
2.1 푸리에 변환1차원 푸리에 변환 과 역변환
2차원 변환 과 역변환
∫∞
∞−
−=≡ dxexfxfFuF uxj π2)()]([)( ∫∞
∞−
− =≡ dueuFuFFxf uj τπ21 )()]([)(
∫ ∫∞
∞−
∞
∞−
+−= dxdyeyxfvuF yx yuxuyx)(2),(),( π
∫ ∫∞
∞−
∞
∞−
+= yxyuxuj
yxyx dudueuuFuuf yx)(2),(),( π
-
11 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
1. 2차원 신호와 시스템의 표현
이산신호의 푸리에 변환
이산 푸리에 변환(DTF: discrete Fourier transform)이산적인 신호를 이산적인 푸리에 신호로 바꿈 (DSP)
πωωπωω ωω
-
13 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2. 영상의 인지특성
물체의 밝기 정도의 반응 모형
q물체로부터 받은 빛의 세기
q물체의 (x,y)점으로 부터 나온 빛으로 눈이 느끼는 휘도(luminance)
)()()( λλρλ LI =입사 에너지 분포 )(λL
물체의 반사율 )(λρ
∫∞
=0
)(),,(),( λλλ dVyxIyxf
시각계의 상대 휘도 효율 함수)(λV
0
1.0
380 460 540 620 700 780
0.8
0.4
0.6
0.2
파 장(nm)
14 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2. 영상의 인지특성
광색소 반응 모형
q추체에 440nm, 535nm, 570nm 의 광색소 존재• 가 눈으로 들어오면, 세 종류의 광색소가 흡수한 빛의 양은,)(λC
3,2,1 ,)()( == ∫ idCSii λλλα
)( ),( ),( 321 λλλ SSS : 파장에 따른 광색소 흡수도
∫ S1(λ)C(λ)dλ
∫ S2(λ)C(λ)dλ
∫ S3(λ)C(λ)dλ
α1(C)
α2(C)
α3(C)
C(λ)
0
20
40
60
80
100
400 450 500 550 600 650 파 장(nm)
%
)(1 λS)( 2 λS
)( 3 λS
추체의 색 반응 모형
-
15 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
영상의 인지특성
색의 3가지 속성- 영상데이터는 빛의 파장에 의해 정의되는 색도, 빛의 양인 휘도 등과
같은 물리량이다.- 감광신경은 이들의 자극을 뇌에 전달하고 뇌는 색상(Hue)이나 명도
(brightness), 채도(saturation)와 같은 속성으로 감지한다.
① 명도(brightness) : 색의 밝기, 휘도② 색상(hue) : 색의 종류③ 채도(saturation) : 색의 선명도, 포화도(백색광의 포함정도)
%(percent)로 나타냄
380 460 510 530 600 780
적외선자외선색상
파장(nm)
16 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2. 영상의 인지특성
동시 대비 효과 (Simultaneous Contrast Effect)q물체의 밝기가 그 물체를 둘러싼 배경의 휘도에 의하여 다르게
느껴지는 형상, 휘도대비 (constrast)에 더 민감
같은 휘도 다른 휘도
fffs ∆+=
f 0.02
flog
ff∆
f∆ Just noticeable difference (JND)
JND 는 f 에 비례
와 f의 비는 일정(Weber 법칙)
f∆
-
17 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2. 영상의 인지특성
마하 (Mach band) 효과q물체와 배경 휘도의 공간적 상호 작용으로 나타나는 현상
휘도
밝기강도
거리
강도
D B
거리
밝기
휘 도
18 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2. 영상의 인지특성
공간 주파수 응답
• 휘도가 정현파 형태로 변화하는 줄 무늬 영상에 대하여 대비 감도를공간 주파수의 함수로 표현한 것을 MTF(Modulation Transfer Function)
0
50
0.5 1 5 10 50
40
20
30
10
공간 주 파 수cycles/degree
대비강도[dB]
-
19 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
2. 영상의 인지특성
시각의 시간 특성
• 빛이 천천히 켜짐과 꺼짐을 반복하면 깜박임(flickering)을 느낀다.• 반복하는 주파수를 증가 시키면, 어느 주파수 이상부터 빛이 항상
켜져 있는 것으로 느끼게 된다.• 깜박임을 느끼지 못하는 최소 주파수를 임계 융합 주파수 (CCF:
critical fusion frequency) 라 함.
1 2 3 4 5 6 7 8 910 20 30 40 50 60 7080901
10
100
Mod
ulat
ion
Sen
sitiv
ity (m
-1)
9300 td 850 td 77 td 7.1 td 0.65 td 0.06 td
Mod
ulat
ion
Thr
esho
ld (m
)
Frequency (Hz)
td: 망막 조도 단위 =빛의 밝기 단위(troland)
m: 변조도 주파수의 단위
20 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
3.1 색정합과 색도 도표(Chromaticity Diagram)색정합 (color matching)q원하는 색의 재현 목적
q선택된 삼원색의 적절한 혼합을 통한 임의의 색 구현
q색정합 삼원색
• 435.8nm Blue, 546.1nm Green, 700nm Red (CIE-국제 조명 위원회 정의)
시험색
B
G
R
반사면
관찰자
감광 조절기3원색 광원
)(λC
-
21 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
색정합 함수
q시험색 과 같게 느끼는 색을 만들기 위하여 필요한 RGB 의 혼합된 양
• 초록과 빨강의 색정합 함수 값이 음이 되는 부분이 존재• 이것은 삼원색을 조합하여 주어진 시험색을 만들 수 없는 경우에 해당• 이때는 삼원색중 하나 또는 두개의 원색을 주어진 시험색에 더함으로써 구현
)(λC
22 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
삼자극치 (tristimulus value)q시험색 를 기준 백색(reference white)로 놓고 색정합이 이루어
진 경우, 삼원색 각각이 혼합된 양을q원하는 시험색에 대하여 색정합이 된 경우, 삼원색의 혼합된 양
을
q이때, 시험색 의 삼자극치
)(λC
1,2,3 , =kwk
1,2,3 , =kkβ
)(λC
3,2,1 )( == kw
CTk
kk
β
-
23 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
정규화된 색도 좌표 (Chromaticity Coordinate)q삼자극치 R,G,B 는 아래의 변환을 통해 정규화된 색도 좌표로 표현
BGRRr++
=BGR
Gg++
=BGR
Bb++
=
1=++ bgr 이므로, 2좌표만 있으면 가능
CIE 의 (r,g)에 대한 색도 도표
경계선: 순색 궤적 (spectral locus)
삼자극치로표현 가능한 범위
점선 삼각형: 좌표의 선형 변환, 새로운 삼원색 X, Y, Z 를 정의
24 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
3.2 색좌표계qR,G,B 가 가장 대표적, 그러나 여러 이유로 다른 색 좌표계의 필요성 대두
• 3원색 값이 양수가 되도록 하기위한 XYZ• 방송과 텔레비전 시스템을 위한 YIQ, YUV 등
RGB 색 좌표계
q실제에 있어서 영상 표현에 효과적이지 못함
• RGB 의 화소 깊이와 해상도가 동일해야함• 시각은 색보다 휘도에 더 민감함
White
Yellow
Magenta
Black
Blue
Cyan
Red
Green
-
25 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
XYZ 색 좌표계q가상의 3원색을 설정하여 색정함 함수가 항상 양의 값을 갖도록 개발qY 신호는 휘도값을 의미함
YUV 색 좌표계qNTSC, PAL, SECAM 컬러 텔레비전에서 사용하는 기본적인 색 형식qY 회도, UV 색 정보
q 는 감마 보정된 RGB 신호
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
BGR
ZYX
990.0010.0000.0011.0813.0177.0200.0310.0490.0
BGRY ′+′+′= 114.0587.0299.0
)(492.0436.0289.0147.0 YBBGRU −′=′+′−′−=
)(877.0100.0515.0615.0 YRBGRV −′=′−′−′=
BGR ′′′ ,,
26 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
감마 보정 (Gamma Correction)• 모니터를 통한 색상 표현시, 색 요소는 순간적인 전압 파형과 같음• CRT 의 전달함수는 빛의 세기 I 를 출력할때, 신호 전압 V 에 대해
• 여기서 를 디스플레이 감마라 하며, 2.0 에서 3.0 사이에 범위를 가짐• 즉, 디스플레이시 발생하는 비선형적 처리에 대한 보상
VI receineddisplayγ ∝
γ
0.2 0.4 0.6 0.8 100
0.2
0.4
0.6
0.8
1
감마 보정
재현 특성
전압 V
세기
I
-
27 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
U*V*W* 색 좌표계q원점 이 u, v 색도 평면의 기준 백색 위치로 옮겨진 수정된
USC (Uniform Chromaticity Scale) 좌표계q색차를 양적으로 측정하는데 유용
• 색입체에서 회색 근처에 위치한 색들에 대해 두 색의 색차는 두 색을 연결하는 직선의 길이에 비례
YIQ 색 좌표계qNTSC 에서 사용
• Y: 휘도, I: 색상, Q: 채도
),( 00 vu
)(13 0** uuWU −=
)(13 0** vvWV −=
1001001 ,17)100(25 31
* ≤≤−= YYW
BGRY ′+′+′= 114.0587.0299.0BGRI ′−′−′= 322.0274.0596.0BGRQ ′+′−′= 312.0523.0211.0
28 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
YCbCr 색 좌표계• NTSC, PAL, SECAM 에서 서로 호환되는 디지털 신호의 개발을 위
한 시도로 ITU-R BT.601 에서 표준으로 채택
SMPTE 240M 색 좌표계• 미국내의 HDTV 제품을 표준화 하기 위해 개발
BGRY ′+′+′= 114.0587.0299.0
BGRCb ′+′−′−= 500.0331.0169.0
BGRCr ′−′−′= 081.0419.0500.0
BGRY ′+′+′= 087.0701.0212.0
826.1/)(500.0384.0116.0 YBBGRPb −′=′+′−′−=
576.1/)(055.0445.0500.0 YRBGRPr −′=′−′−′=
-
29 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
3. 색과 색 좌표계
CMYek 색 좌표계qCMYek (청록, 진홍, 노랑, 검정) 색 형식은 컬러 인쇄에서 사용q잉크를 빼면서 생기는 특성에 기초
표 2.3.1 HDTV 시스템용 신호 계수미국 유럽
프레임당 총 주사선 1125 1250프레임당 유효선 1035 1152필드율( Hz ) 60 50종횡비 16:9 16:9주사 형태 2:1 비월 주사 2:1 비월 주사대역폭 30 30선당 유효 화소:
휘도 1920 1920 색도 960 960
표본화 주파수( Mhz ): 휘도 74.025 72 색도 37.125 36
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡−
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡=
⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎣
⎡
BGR
YMC
e 111
30 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
대역제한 신호의 표본화 정리Nyquist 표본화 정리에 의한 표본화 및 신호 복원
uB
x
s(x)
u u-B
x
f(x)s(x)
x
f(x)
F(u) S(u)
(가)
(나)
(다 )
(바 )
(마)
(라 )x1
x1
2x1
-
31 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
대역겹침 (aliasing)q표본화 율이 Nyquist 표본화율 보다 낮으면, 출력에서 원 신호에
해당하는 F(u)만을 분리해 낼 수 없다.qLPF의 대역폭이 원 신호에는 없었던 고주파 성분을 포함하게 되
는 경우 발생.
B
Fs(u)
(a)
u1x
B
Fs(u)
(b)
1x
u
32 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
표본화 정리의 2차원 확장
0)],([),( == yxfFuuF yx yyxx BuBu ≥≥ ,
대역 제한된 2차원 신호
ux
uy
ux
uy
By
Bx-Bx
-By
대역제한 신호의 푸리에 변환 x,y 평면에서 위치한 영역
-
33 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
표본화 함수
∑ ∑∞
−∞=
∞
−∞=
∆−∆−=k l
ynyxmxyxs ),(),( δ ∑ ∑∞
−∞=
∞
−∞= ∆−
∆−
∆∆=
k lyxyx y
lux
kuyx
uuS )1,1(11),( δ
s(x,y)
x
y
y
x
s(ux,uy)
uy
uxy1
x1
(가) (나)
34 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
표본화된 함수의 푸리에 변환
∑ ∑∞
−∞=
∞
−∞= ∆−
∆−
∆∆=
∗=
k lyx
yxyxyx
ylu
xkuF
yx
uuSuuFuuF
)1,1(11
),(),(),(
ux
uy
By
Bx
x1
y1
-
35 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호순차 주사(Progressive Scan)와 비월 주사(Interlace Scan)
2차원 영상을 공간 표본화 하여 1차원 파형으로 바꾸는 방법가로선 주사(raster scan)
),()( tt yxftf−−
=
LL iTtTi
-
37 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
컬러 텔레비전의 국제 표준NTSC (National Television System Committee): 한국, 미국, 일본
• 1952년에 만들어짐• YUV 또는 YIQ 색 좌표계 이용• 4.2 MHz 대역폭내 한 화면을 525개의 주사선으로 구성• 1초에 30화면을 전송, 2:1 비월 주사로 60필드(field) 전송
)](cos[)2sin(),,( )](cos[)2cos(),,(),,(),,(
yftfxftyxQyftfxftyxItyxYtyxf
rsc
rsc
l
l
−++−++=
πφππφπ
38 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
표본화 원리와 TV 신호
TV 신호 레벨
흑색레벨
Blanking level(pedestal level)
동기첨단레벨
수평귀선시간0.714V
0.286V
Setup Level
0.05V
-
39 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
PAL (Phase Alternation by Line): 독일, 영국, 중국 등• YUV 색 좌표계• 5MHz 또는 5.5MHz 의 대역내에서 한 화면을 625개의 주사선으로
구성, 1초에 25장의 화면, 2:1 비월 주사로 50필드 전송• 추가적 BW 증가 없이 컬러 신호 전송을 위해, NTSC 와 같이 부반송
파 주파수 선택
)()()(2sin)1(2cos)(
tctYtftfVtfUtc c
mc
+=−+= ππ
40 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호
SECAM (Sequentiel Couleur Avec Meroire)q프랑스, 동유럽, 러시아
• 프랑스에 의해 만들어짐• 6MHz 대역폭에서 한 화면을 626개의 주사선으로 구성• 1초에 25개의 화면 전송, 2:1 비월 주사로 50 필드를 전송• 휘도 신호 Y 와 매 선마다 색차신호 U 또는 V를 번갈아 전송• 색차 신호는 주파수 변조 방식으로 전송표 2.3.2 컬러 텔레비전의 국제 표준
NTSC PAL SECAM
초당 화면수 (Hz) 59.94 50 50한 화면당 주사선 수 525 625 625초당 주사선 수 15734 15625 15625오디오 반송파 (MHz) 4.5 5.5, 6.0 6.5
컬러 부반송파 (Hz) 3579545 44336184250000 (+U)4406500 (-V)
컬러 변조 QAM QAM FM휘도 대역폭 4.2 5.0, 5.5 6.0
색차신호 대역폭1.3 (I)0.6 (Q)
1.3 (Ut)1.3 (Vt)
> 1.0 (Ut)> 1.0 (Vt)
-
41 인하대학교 정보통신대학원Prof. Sang-Jo Yoo
4. 표본화 원리와 TV 신호CCIR 601
• NTSC, PAL, SECAM 에서 서로 호환되는 디지털 신호를 개발 목적• ITU-T BT.601 에서 표준으로 채택
• 표본화 형식: 4:4:4, 4:2:2, 4:1:1 (4:2:0)
16219 += YYd
128886.0
)(112+
−′=
YBCb 128701.0)(112+
−′=
YRCr
값의 범위: 16 ~ 235
값의 범위: 16 ~ 235, 중앙값 128