카메라시스템中 i. cmos image sensormtnu.co.kr/download/camera3.pdf · mt&u co., ltd...

www.mtnu.co.kr MT&U Co., Ltd

카메라 시스템 中

I. CMOS Image Sensor


@ CCD와 CMOS 이미지센서는 광검출 방식에 있어서 모두 p-n 포토다이오드(photodiode)를 이용한다. 그러나 CCD와 CMOS는 포토다이오드에서광 검출을 통해 출력된 전자를 전송하는 회로에 있어서 근본적으로 전혀 다른방식을 채택하고 있다.

@ CCD는 개개의 MOS (metal oxide silicon) 캐패시터가 서로 매우 근접한 위치에있으면서 전하 캐리어가 캐패시터에 저장되고 이송되는 방식이며, CMOS 이미지센서는 제어회로 (control circuit) 및 신호처리회로 (signal processing circuit)를 주변회로로 사용하는 CMOS 기술을 이용하여 화소 (pixel) 수만큼 MOS 트랜지스터를 만들고 이것을 이용하여 순차적인 출력을 검출하는 스위칭 방식을사용한다.

CCD / CIS


Pixel 구조


화소 신호 흐름


화소 신호 흐름

@ CCD는 1970년 미국 벨 연구소에서 처음 개발되었는데, 반도체기판 표면의절연막에 전극을 형성시킨 구조이다. 전극에 전압을 가하면 절연막과 반도체 기판계면에 공핍층이 형성된다. 이는 소수캐리어에 대해서 에너지 준위가 낮게형성된다. 이것을 전위 potential well이라고 하며, potential well에 전하를 주입하면아날로그 양으로 축적된다. 따라서 복수개의 전극을 근접 배치시키면 전극에전압을 가함으로써 potential well에 저장된 아날로그 전하량을 순차적으로전송하는 방식이다.

@ CMOS 이미지센서는 MOS 기술의 발전이 선행된 1990년대에 들어서야본격적으로 개발되기 시작하였는데, 이미지센서의 단위픽셀 (unit pixel)는 하나의포토 다이오드와 네 개의 MOS 트랜지스터로 구성된다. 포토다이오드에서 집속된광전하 (photogenerated charge)는 실리콘 기판 상의 절연막 위에 형성된금속전극에 의해서 네 개의 MOS 트랜지스터의 제어를 받아 전송하는 방식이다.


장 / 단점


①②③

④

⑤

① . 접안렌즈 : 상이 가장 뚜렷하게 보이는 위치를 정함② . 대물렌즈 : 물체의 상을 맺기 위해 사용하는 렌즈(역상)③ . 볼록렌즈 : 역상으로 맺힌 상을 다시 변환하여 투과 함.④ . IR Filter : 자외선 차단으로 Sensor의 damage를 막음⑤ . Sensor : Sensor

Camera 모듈 각 부분의 역할


CIS Principle

Feature of CIS Structure

● Photo Diode의 면적이 넓을 수록 많은 빛 집광- Net Die 및 수율과 관계 (현재 8x8, 5.6x5.6 um2 )- Customer입장에서는 Lens 사양과 관계

● Supply Power 가 높을 수록 유리- 높은 voltage를 256등분 하는 것이 보다 정확한 code 변화가능

(현재 3.3V-0.5uTech, 2.8V-0.35uTech)

● Tech 와 Supply Power의 발전 방향은 CIS 구조에는 불리한 쪽으로가고 있는 것임.


CIS Features유효 구경

렌즈 광 축에 평행한 광선을 투사했을 때, 조리개의 구경을 통과하는 렌즈 전면의 지름을 말하는

것이다. 조리개는 일반적으로 렌즈 경동의 중간에 위치하는데, 유효구경과 조리개의 구경은 서로

다르다.

유효 규경과 렌즈의 초점 거리와의 비의 역수가 F넘버이다.

( ISO규격은 1 / 1.4 / 2 / 2.8 / 4 / 5.6 / 8 / 11 / 16 / 22 )

F넘버는 렌즈의 밝기를 나타낸다고 할 수 있다.

유효 구경비

물체로부터 렌즈 표면에 도달한 밝기가 초점면에 전달되는 정도는 렌즈의 구경을 얼마나 넓게

열어주는 가에 달려있다. 이 경우 실제 열려 있는 유효구경 직경의 절대 수치 그 자체는 큰 의미가

없고, 초점거리에 대한 유효구경 직경의 비율이 밝기의 전달비를 상대적으로 표시하여 준다.

초점거리가 다른 렌즈라 할지라도 두 렌즈의 구경비가 같다면 렌즈 표면에 도달한 밝기가 같을

경우 초점면에 도달되는 밝기도 같아지는 것이다. 대개 이 비율은 1보다 작은 경우가 대부분

이므로, 이 값의 역수를 구하여 렌즈의 광량전달 정도(speed:밝기속도)를 표시하고 있다. 예를

들어, 어떤 렌즈의 초점거리가 50mm이고, 유효구경 직경이 25mm라면, F값은 초점거리를

유효구경 지름으로 나눈 값이므로 2가 되며, F2.0 또는 f/2.0 또는 1:2 등으로 표시한다.

일반적으로 렌즈는 f=50mm, 1:1.4와 같이 초점거리와 함께 최대 유효구경비도 동시에 표시한다.


F# - Lens의 밝기를 나타내는 양으로 촛점거리와 입사광의 직경의 비로 표현 된다.

. F# = f / D f : Lens의 초점거리

D : 렌즈의 유효구경(입사동)

· F#가 작을수록 유효구경이 커서 많은 광량이 통과하고

F#가 클수록 D가 작아지므로 광량이 줄어들게 된다.

· 일반적으로 F# 값은 1.4, 2, 2.8, 4, 5.6, 8, 11, 16, 22로 표기.

F1.4가 가장 밝은 값이며 한단계식 숫자가 커질수록 광량의 통과는 1/2 로 줄어들게 된다

렌즈의 해상력과 MTF (Modulation Transfer Function)

· 렌즈의 결상 능력은 보통 그의 해상력으로 표시 한다.

· 해상력 이란 1 mm 의 간격 내에 미세한 선들을 몇 개까지 재현해 낼수 있는가로 표시하며

그 단위로는 [ Line pair / mm ]로 나타낸다.

( 이는 TV의 해상도 단위 [ TV Line , TV 本 ] 과는 구별 된다. )

· 같은 해상도를 내기 위해서는 촬상 소자의 Size가 작을수록 렌즈의 해상력은 높아야 한다.

CIS Features


일반 텔레비젼은 수평:수직 비율이 4:3 이며 HDTV는 16:9의 이미지 사이즈를갖는다. 이미지사이즈 안에 들어올수 있는 범위를 각도로 표시한 것을 화각(Angle of view or field angle) 이라고 한다. 보통은 렌즈를 무한대로 했을 때의각도이다. 초점거리와 이미지사이즈를 알고 있으면 화각을 구할수 있다.

CIS Features


CMOS Image Sensor

CMOS image sensor 개념

• 빛 에너지를 감지하여 이에 비례하는 전기적 에너지로 변환시키는 Device

• 빛 에너지중 가시광선 파장대(400∼650㎚)를 Silicon 표면(Photo Diode)에서 집광시킴

• Silicon 표면은 빛 에너지를 받으면 공유결합이 끊어져 Electric/Hole Pair생성하는 원리

• 생성된 Electric/Hole Pair의 전위를 AD Converter를 거쳐 0∼255의 Code Data로 표시

CMOS image sensor에서의 중요 기술• Photo Diode의 집광기술 : 좁은 면적, 적은 노출시간동안보다 많은 빛을 집광

• 집광된 빛을 Loss없이 Digital화 시키는 고정밀도 A/D Converter기술

• High Amplified Gain 기술 및 각종 신호 처리 기술

Micro-Lens Cross Section

GRG

Color Filter Array Pattern

BGB

GRG

(有,無에따라 Color or B/W Sensor)

• Low Power, Low Noise

• High Image Quality

• High Sensitivity


Color Filter 분광특성


CMOS Image Sensor BLOCK


APS ARRAY 구조


3-Tr APS 구조

Pixel내에 source follower를 삽입한 구조로써 photo-diode type active pixelsensor(APS)라고 부르기도 한다. 1 pixel내에 3개의 Tr과 1개의 photo-diode가첨가되어있으므로 1-Tr 구조에 비해 상대적으로 fill factor가 낮으며, parasticcapacitance에 의한 noise 제거를 위해서 삽입된 source follower의 pixel간threshold voltage uniformity에 따라 noise가 발생할 소지가 증가하게 된다. Toshiba 및 VLSI Vision 등 여러 회사에서 사용하고 있는 구조이기도 하다.


3-Tr APS 동작원리

1. Reset Tr이 ON 되면서 reset Tr의 source node potential이 VDD가 된다. 이렇게함으로써 initialization이 끝나며 이때 reference value를 detection하게 된다.

2. 외부에서 수광부인 photo-diode에 빛이 입사하면 이에 비례하게 EHP가 생성된다.3. 생성된 신호전하에 의하여 reset Tr의 source node(또는 select Tr의 gate bias node)의

potential 이 생성된 신호전하의 양에 비례하게 변화한다.4. Select Tr의 gate bias가 신호전하량에 따라 변하게 되면 결과적으로 select Tr의

source node(access Tr의 drain node)의 potential이 변하게 된다.5. 이때 access Tr이 ON state가 되면 column쪽으로 data가 readout되게된다.6. Reset Tr이 ON 되면서 reset Tr의 source node potential이 VDD가 된다.


4-Tr APS 구조

Readout noise 억제를 위해 1980년대에 일본의 Hamamatsu가 제안한 구조이다. CCD의 출력단과 거의 흡사한 구조를 가지고 있으며, 4개의 Tr과 1개의 photo-diode로 구성이 되어 있다. 이 구조의 경우 CCD와 마찬가지로 출력단을 floating diffusion node를 이용하므로image lagging이 발생할 소지가 높다. 또한 3-Tr 구조와 마찬가지로 pixel내에존재하는 Tr들의 threshold voltage uniformity에 따라 noise가 발생할 소지가높으며, 1pixel당 Tr수가 상대적으로 다른 구조에 비해 많기 때문에 fill factor가낮은 단점이 있다.


4-Tr APS 동작원리

1. Reset Tr이 ON 되면서 output floating diffusion node potential이 VDD가 된다. 이때 reference value를 detection하게 된다. 2. 외부에서 수광부인 photo-diode에 빛이 입사하게 되면 이에 비례하게 EHP가 생성된다. 3. Photo-gate에 bias가 인가되면 생성된 신호전하들은 transfer Tr의 source 로 전달이 잘 되도록photo-gate 하단부의 표면으로 모이게 된다. 4. photo-gate 하단부 ~ Transfer Tr의 source node의 potential이 생성된 신호전하의 양에 비례하게변화한다.5. Transfer Tr이 ON이 되면 축적된 신호전하는 floating diffusion node로 전달되게 되며 전달된신호전하량에 비례하게 output floating diffusion node의 potential이 변하며 동시에 select TR의 gate bias가 변화하게 된다. 이는 결국 select Tr의 source potential의 변화를 초래하게 된다. 6. 이때 access Tr이 ON state가 되면 column 쪽으로 data가 readout 되게 된다. 7. Reset Tr이 ON 되면서 output floating diffusion node potential이 VDD가 된다.


CDS

Correlated Double Sampling (CDS)이란 pixel에서 readout시 발생하는 noise를 제거하기위하여 reference value와 signal value를 각각 읽어 두 값의 차이로부터 순수한 신호레벨을찾아내는 방법을 말하며, Reset noise와 DC Offset을 빼주기 위함이다


CDS

RESET LEVEL

Why CDS ?

●각각의 Pixel에대해서초기값을측정하고, 빛을받은후의값을측정해서두값을뺀다.

●위와같이하면각각의 Pixel의 deviation을배제한순수한빛에의해측정된값만을얻을수있다.

Problem of CDS ?

●측정신호의 Level을결정하는신호를잘못줄경우심각한 Fixed Pattern Noise가발생.

●기존제품은위신호(Reset Level)를 customer에게조정하도록해서 mis-control로인한문제발생.

현재 & 향후 trend of CDS ?

● Auto Reset Level control function merge

● 0.35u Tech 제품은 CDS완료된 Data 출력(customer가 CDS에대해신경쓸필요없슴)


ADC

ADC 의 Gain은 DCLK가 아닌, MCLK와 ADC resolution에 의해 결정된다.


Global Gain = (sgg[3:0]+1) / 8

Display 소자들과 관련된 Gamma correction용으로 사용되기도 하나, ISP에 존재하는 Gamma correction 기능보다는 매우 안좋은 특성을 지닌다.

ADC


CIS 주요 Function

1. Main Clock Divider : 레지스터 setting을 통한 CIS 에 사용할 MCLK dividing 기능 수행2. 동기 신호 출력 : Vsync & Hsync 출력하는 기능3. Window of Interest Control : 아래 왼쪽 그림 <WOI definition> 참조4. Mirror 기능 : pixel data 받아들이는 순서를 변경하므로써 수행5. 서브샘플링 : Horizontal과 Vertical 방향 각각 full, 1/2 , 1/3 , 1/4 등이 가능함.

아래 오른쪽 그림 <Bayer Space Sub-Sampling Examples> 참조6. Virtual Frame : 1 frame time = { wrd / (subsr+1) + vblank } * (1 line time)

1 line time = { wcw / (subsc+1) + hblank } * (DCLK period)


CIS 동기 신호


CIS 서브샘플링

Sub-Sampling

R1 G1

G2 B1

R=R1G=(G1+G2)/2B=B1

R1 G1

G2 B1

R G

G B

R2 G3

G4 B2

R G

G B

R=(R1+R2)/2G=(G1+G2+G3+G4)/4B=(B1+B2)/2

1/4

1/16

유효한 Video Data는한줄 건너마다 생긴다(480 Line ---> 240 Line)

즉, 640x480이 320x240이 된다.

유효한 Video Data는네줄마다 생긴다(480 Line ---> 240 Line)

즉 640x480이 160x120이 된다.


CIS 센서 성능 판단 주요 Factor1. Saturation Level : Measured minimum output level at 100 lux illumination for exposure time 1/30 sec. [mV]2. Sensitivity : Measured average output at 25% of saturation level illumination for exposure time 1/30 sec. [mV/lux sec] Green channel output values are used for color version.

3. Dark Level : Measured average output at zero illumination without any offset compensation for exposure [mV/sec] time 1/30 sec.

4. Dynamic Range : 20 log (saturation level/ dark level rms noise excluding fixed pattern noise). [dB]

5. Signal to Noise Ratio : 20 log (average output level/rms noise excluding fixed pattern noise) at 25% of [dB] saturation level illumination for exposure time 1/30 sec.

6. Dark Signal non-uniformity : Difference between maximum and minimum pixel output levels at zero [mV/sec] illumination for exposure time 1/30 sec.

7, Photo Response non-uniformity : Difference between maximum and minimum pixel output levels divided [%] by average output level at 25% of saturation level illumination for exposure time 1/30 sec.

8. Vertical Fixed Pattern Noise : For the column-averaged pixel output values, maximum relative deviation of [%] values from 7-depth median filtered values for neighboring 7 columns at 25% of saturation level

illumination for exposure time 1/30 sec.9. Horizontal Fixed Pattern Noise : For the row-averaged pixel output values, maximum relative deviation of [%] values from 7-depth median filtered values for neighboring 7 columns at 25% of saturation level

illumination for exposure time 1/30 sec.10. Fill Factor (Aperture Efficiency) : Light Sensitive Area / 1 pixel Area ) X 100 [%]11. Fixel Pattern Noise (FPN) : 전하 transfer circuit과 source follower circuit을 구성하는 Tr의 threshold

mismatch 에 의해 주로 발생함. 이는 dark 상태에서 system gain을 높이면 눈으로 식별 가능하다. Gain type FPN 은 pixel size 가 작을 때 pixel의 geometry 변화에 의해 발생한다.

12. Reset Noise (kTC Noise) : 개별 pixel로부터 신호를 Readout 한 후, Reset 할 때 발생하는 thermal noise. 13. Quantum Efficiency : (Photo - generated electrons / Incident photons on the pixel Area) X 100 [%]

일반적으로 양자효율(quantum efficiency)라 함은 입사된 photon 1개당 생성되는 EHP의 개수를 의미한다.


카메라 시스템 中

2. Image Signal Processor


ISP 위치에 따른 장 / 단점

CIS ISP Comp-ression

Save &Transfer

LENS

RAWData

Backend Processor

YCbCrData

ISP내장 CIS의 Advantage● Sensor Control의용이성 –추가적인 Image처리불필요.● Sensor 사용의편리성및응용분야의범용성. -영상표준규격인 YCbCr출력

ISP내장 CIS의 Disadvantage● Die Size증가로 cost 증대.●제한된 Image처리

Backend ISP의 Advantage● Sensor Die Size감소● Backend 성능에따른 Image처리향상

Backend ISP의 Disadvantage● Sensor control의어려움증대.● CIS의장점부분(Integration) 약화


CIS+ISP 1chip BLOCK


CIS DATABayer Data

● 8bit 의 raw data.

● Data 추출순서에따라 RGRG…또는 BGBG 등의 format.

●칼라 sensor도 Bayer Data 자체는흑백으로보임. 8-bit Bayer Image


ISP 기능Interpolation

● 8bit Bayer raw data에서 24bit RGB data 만드는것.

●영상이가지고있는 R,G,B 정보는 Color Filter에의해서각각의값들만 CIS가받아들인다.

● 8bit Bayer data만으로는 color정보를표현할수없어서이웃에있는 data로 24bit data 재생.

●방법에따라서 2x2, 3x3, 5x5 등이있슴.

GR G

BG B

GR G

R

G

R

BG BG

● B = B● R = 이웃하는 R 값들의평균● G = 이웃하는 G 값들의평균

Interpolated Image


ISP 기능Color Correction

● CIS의 data는 Color Filter 의 distortion등으로인해정확한파장대의성분으로추출되지못한다.

●이러한 distortion성분을포함한값을추출해이것의역계수값으로 origin의 data 가지도록보정필요.

Rm

Gm

Bm

R G B

R G B

R G B

Rc

Gc

Bc

3x3

Invers

Matrix=

Corrected value

Extracted coefficient

measure value


ISP 기능Gamma Correction

● CRT나모니터등의 Display장치는고유의왜곡값을가진다.

●이러한왜곡값을미리보정해주는처리.

● Output = (input/255) Υ x 255

● Typically Υ=0.45

Display 특성

Gamma Correction

Desired Data

Input

Output

Gamma Image


ISP 기능

Color Space Conversion

● Convert RGB to YCbCr color space.

●각각명암과색정보를갖는 YCbCr로변환시킴으로영상처리를보다쉽고잘할수있다.

● Format : YCbCr 4:2:2, YCbCr 4:4:4 등

Conversion Equation

● Y = ( 77R + 150G + 29B ) / 256

● Cb = ( -44R - 87G + 131B ) / 256 + 128

● Cr = ( 131R -110G -21B ) / 256 + 128


ISP 기능Auto White Balance

●사물에서반사되는영상은광원에따라 spectrum이 shift된다.

●위의 spectrum shift에무관하게사물본래의색을보여줘야한다. .

● Cb,Cr값을체크하여 shift 된값만큼원래되로가도록 control해준다.

(Cb/Cr Frame Mean Value가매 Frame마다계산되어Cb/Cr의 Target Point로부터의 Displacement에따라, R/B Data에대한 Scaling 값이변한다.)

Auto Exposure

●원하는 target 영상 data level이나올때까지자동으로노출시간을조정해준다.

( Y값이매 Frame마다계산되어, Integration Time값이 Y Target값과현재의 Y Mean Value의차이에따라증감한다)

Edge Enhancement

●영상에서눈에민감한부분은배경보다는윤곽선임.

●위윤곽선부분은 high frequency 성분으로이성분을더욱 sharp하게처리.

카메라시스템中 i. cmos image sensormtnu.co.kr/download/camera3.pdf · mt&u co., ltd...

Documents