1

4. 사운드데이터의표현과처리

1. 소리의특성

• 음원(sound source) : 공기진동을유발하는물체

• 음파(sound wave) : 음원에의해발생된진동

• 소리의특성

♦ 음향학적인면에서볼때음원으로부터발생된소리는장해물에의해반사되는성질을갖는다.

♦ 소리는주변의벽, 물체의수, 음원과장애물과의거리, 장해물의크기, 음원과장해물과의

놓여진 각도등에따라그특성이달라짐.

♦ 물체의재질에따라소리의일부가소멸또는흡수됨

♦ 반사된두소리의파형이 180°의위상차이를갖게되면두소리는상쇄되어소멸됨

♦ 둘이상의소리가합쳐질때주파수가약간상이하게변화하는두개의유사한소리에서는또

다른화합음을발생하기도함

♦ 주파수와진폭은소리의특징을결정하는중요한요소임

2

• 주파수(frequency) ♦ 전파나음파등이반사또는굴절하여파동의방향을주기적으로바꾸는현상이 1 초동안반복되는횟수

♦ 단위 : Hz, KHz, MHz 1 Hz = 1 초동안에하나의파동이발생1 KHz = 1,000 Hz, 1 MHz = 1,000 KHz

♦ 인간의가청주파수는 20 Hz ~ 20 KHz

♦ 주파수는음의높낮이를결정하는중요한요소임(주파수가높으면고음, 낮으면저음발생)

주파수

2 431파동의수

+진폭 0

-시간

2 431

6 872 4 531파동의수

+진폭 0

-시간

2 431

파동주파수

3

• 진폭(amplitude)

♦ 파동의최고점에서최저점까지의거리

♦ 전파의세기또는소리의크기를결정, 음파의진폭이클수록 소리가커지고진폭이작으면

소리도작아짐

♦ 두가지이상의소리가더해질때진폭이더해져더욱큰소리를발생함

• 데시벨(dB) : 소리의강도(크기, intensity))를나타내는단위

진폭의합성

-2 -2 -2

+1

0

-1

+1

0

-1

+

=

+2

0

+1

0

-1

+1

0

-1

+

=

+2

0

+1

0

-1

+1

0

-1

+

=

+2

0

+1

-1

4

• 데시벨(decibel : dB)

♦ 소리의강도(크기, intensity))를나타내는단위

♦ dB = 20 log 10 (A/B)

A : 데시벨크기값을알고자하는소리의강도

B : 기준이되는소리강도로서 B=2.83*10 - 4 dyne/cm2

1dyne는 1g 질량의물체에 1cm/sec2의가속도를주는힘의크기

• 사람은약 100 dB 에서 120 dB 정도의소리에대하여청각적으로고통을느낌(threshold of pain)

소리의강도

5

• 물리적현상으로얻어진아날로그음향신호를멀티미디어시스템에서활용하기위해서는이

신호를디지털형태의데이터로변환해야함

• 디지털데이터로의변환시장점

♦ 신호의변형최소화

♦ 데이터의가공과전송이용이

음향신호의변환

아날로그신호의디지털변환과정아날로그신호의디지털변환과정

디스크

아날로그파 아날로그파DACADC 메모리

ADC : Analog-to-Digital ConverterDAC : Digital-to-Analog Converter

: 디지털데이터

6

• Sampling rate

♦ 단위시간당신호를획득하는횟수

♦ 샘플수/초또는 Hz, KHz 단위로표현

♦ sampling rate 이높을수록음질이향상됨(WHY?)

♦ 아날로그신호가갖는주파수의빠르기보다 2 배이상의빠르기를가지고 sampling하면원래

소리신호와거의차이가없는소리정보를얻을수있다.

따라서 f0[Hz]의재생음을얻기위해서는 2× f0[Hz]의주파수로 sampling할것을요구함

음향신호의변환(Sampling Rate)

Sampling Rate(KHz) 장치명

811.025

18.922.05

3237.844.148

NeXT Workstation, 전화표준MPC-I의오디오규격CD-ROM/XA(표준)Macintosh, MPC-I의오디오규격Digital radio, 일본 HDTVCD-ROM/XA(고품질)CD, MPC-II의오디오규격가정용 DAT

Sampling RateSampling Rate

7

• Resolution(분해능)

♦ Sampling된신호를얼마나정밀하게표현하는가를나타내는척도(진폭을분할하는간격)

♦ 진폭을분할하는단계가많을수록음질향상, 적을수록음질저하♦ Resolution의단위 : bit

8 bit : 256 단계로표현16 bit : 65,656 단계로표현

음향신호의변환(Resolution)

Sampling Rate과 ResolutionSampling Rate과 Resolution

8

• PCM(Pulse Code Modulation) 방식♦ 소리의파형을특정한주파수로 sampling한후신호의크기를 ADC로변환하여메모리에저장함. 소리재생을위해필요한시간에데이터를읽어서 DAC로소리파형을재생한다.

♦ 장점 : 신호의합성과정이간편하고음질이뛰어남. ♦ 단점 : sampling frequency와 resolution이높을수록저장공간을많이차지

음향신호의표현

• DPCM(Differential PCM) 방식♦ 현재신호와이전신호를비교하여두신호의증감분만을기록하는방식♦ 4 비트의데이터중첫째비트는신호의증가(0) 또는감소(1) 여부를표시하고나머지 3 비트에증감분기록

• ADPCM(Adaptive Differential PCM) 방식♦ 변화폭이클때는신호차이값을표현하는단위를크게하고그렇지않은경우는반대로적게하여정밀한신호표현과함께신호의변화폭이클때에도잘적응할수있도록하는방법

♦ CD-I(CD Interactive)에서사용

DPCM 방식의데이터구조DPCM 방식의데이터구조PCM 방식의데이터구조PCM 방식의데이터구조

0 0 1 0 0 1 0 0

1 1 1 0 1 0 1 0

MSB LSB

MSB LSB

+2 +4

-6 -2

0 0 0 0 1 1 0 00 0 0 0 1 1 1 00 0 0 1 0 0 1 00 0 0 0 1 1 0 00 0 0 0 1 0 1 0

1214181210

9

• FM(Frequency Modulation) 방식♦ 음향에대한파형을미리기억시킨후이파형을직접조작해새로운파형을만들어내는방식

음향신호의변조

10

• Waveform(wave) 파일(.wav의확장자화일) ♦ MS Windows 상에서음성이나음악을재생시키기위해소리정보를저장한화일♦ PCM코딩기법에의해생성된디지털데이터형태♦ Sound Card 가 ADC, DAC 역할수행♦ Sampling Frequency 는 44.1 KHz, 22 KHz, 11 KHz 지원♦ Wave 파일재생소프트웨어의가능한연산

전방향/역방향재생, 느리거나빠른속도의재생, mixing 혹은편집

음향신호의저장과재생 종류

• CD-Audio♦ 44.1 KHz frequency로 sampling 됨♦ 각 sampling 데이터는 16 비트

11

• 사람의음성을인공적으로생성하는것• 음향학적인측면과언어학적인측면모두에서고려되어야함

♦ 음성학적측면 : 인간의발성은각개인의신체특성에따라서로다른차이를가지며이로인해서로구별되는음성신호를냄. 인간음성에가까운소리를내기위한연구수행

♦ 언어학적측면 : 동일한단어에대하여그단어의문장내의위치, 문맥에따라매우다른방식으로발음함. 소리내고자하는음성정보를분석하여실제대화에가까운음성신호생성연구

음성합성

1922 년 J.Q. Stewart에의한합성기♦ 세계최초의전기식음성합성기

♦ resonance circuit을이용한모음생성수준

1939 년 H. Dudley의음성합성기 VODEC 개발♦ 페달과 10 개의키보드를갖는인터페이스

♦ 자음과모음을내는모듈로각각분리♦ 기존개념이지금의음성 합성기술에서도사용

기술발전과정기술발전과정

현재 DSP(Digital Signal Processing)으로제작

12

음성의기억과재생방식

• 파형코딩방식(PCM, ADPCM, ADM 방식)

• Analysis-Synthesis(Formant 방식, LPC)♦ 음성생성모델에근거를둔합성방식으로음원의특성과음성스펙트럼재생을목표로함♦ Formant 방식 : 파형을스펙트럼분석기로분석하여각주파수의분포를구하는방식(모음과자음분리). 이때분리된주파수를 Formant라함♦ 단점 : 양질의합성음을얻을수있으나 formant 변화를추출하기위해방대한음성신호를

분석해야함

♦ 대표적제품 : Votrax(음소와지속시간, 피치를입력받아합성을수행)♦ LPC(Linear Prediction Coding) 방식 : 모든스펙트럼성분포함

♦ 장점 : 적은 bit를가지고실용적인음질을얻을수있음♦ 단점 : 파형코딩에비애음질이떨어지고음성합성파라메터를추출하는절차가복잡함

• 혼합부호화방식♦ 시간영역을기준으로하는합성방식

♦ 대표적시스템 : REPL(Residual Excited Linear Prediction) vocoder, APC(Adaptivr Predictive Coder)

♦ 주파수영역을기준으로하는합성방식♦ 대표적시스템 : SC(Sub-band Coder), ATC(Adaptive Transform Coder)

♦ 파형부호화방식에비하여합성음의데이터양이훨씬적으나시스템구성이복잡한단점이있다

13

디지털음성합성방식비교디지털음성합성방식비교

구 분 방 식 데이터 양 음질 회로의 구성

파형 부호화 PCM 7~8KB 매우 우수 간단ADPCM 2~6KB 우수 간단

Analysis-Synthesis LPC 1KB 미만 보통 복잡Formant 1KB 미만 취약 매우 복잡

환합 부호화 RELP, APC, 2~3KB 양호 복잡SBC, ATC

14

음성합성단계

문서전처리단계♦ 기호,수자, 약어등을찾아내고문장내의의미를파악하여어떻게발음할지를 결정

♦ 예 : $30에서 ‘$’기호발음결정

문장분석단계

♦ Syntax tree를생성

사전참조단계♦ 사전에있는문장형태와 syntax tree를대조하여가장적합한문장형태(감탄문, 의문문)를선택하고각 단어들의억양결정

기술발전과정음성합성단계

음조처리단계♦ 억양정보와 단어사전을통하여각단어에대한구체적발음결정

음성합성단계♦ 실제음성의파형을생성하는단계

♦ 음소, 음절등을생성하고조합하여사람소리에가까운음성신호를내도록함

단어사전참조

15

음성인식

• Pattern matching 방식♦ 화자를대표할수있는패턴들을미리작성한다음시험패턴과기준패턴사이의유사도를측정하여시험패턴의신원을파악하는방법

• 통계적성질을이용한 방법♦ 각화자에서추출한음성요소들을오랜시간동안관찰하여통계량을구한후이것으로신원을파악하는방법

요소 추출

음성인식시스템의처리과정음성인식시스템의처리과정

패턴작성

시간보정

유사도측정

판단논리

기준패턴시험과정

학습과정

음성신호

신원확인

16

음향처리모형

Windows 환경에서의음향처리모형

Windows 환경에서의음향처리모형

응용프로그램

미디어제어인터페이스소프트웨어

음향구동기 합성구동기 MIDI 구동기

디지털음향 FM 합성 MIDI음향입력

음향출력

MIDI 입출력

17

멀티미디어시스템별음향규격

• 음질의결정요소♦ 샘플링비율♦ 샘플당저장되는정보의양(resolution)♦ 기록채널수

시스템별음향규격시스템별음향규격

Mac(all type) 8 22 1

Mac(Newer) 16 64 4

Apple IIgs 8 32 / > 70 8(스테레오)

PC/Sound Blaster V1 8 13/22 1

PC/Sound Blaster V2 8 15/44.1 1

Atari ST 8 22 1

Atari Falcon 030 16 50 8(스테레오)

Amiga 8 29 4(스테레오)

Sun Sparc U-LAW 8 1

Sun Sparc St.10 U-LAW, 8, 16 48 1(스테레오)

NeXT U-LAW, 8, 16 44.1 1(스테레오)

SGI Indigo 8, 16 48 4(스테레오)

VAXstation 4000 U-LAW 8 1

DEC 3000/300-500 U-LAW 8 1

시스템명 Resolution(bit) 최대샘플링비율(KHz) 출력채널의수

18

음향파일포맷

• Self-describing 포맷♦ 장치와 encoding에관계되는파라메터를헤더에명시가능♦ 헤더필드에샘플링장치의파라메터와샘플데이터의저장형태등이포함됨

• Raw 포맷♦ 파라메터가고정됨

시스템별음향규격Self-describing 파일포맷

.au, .snd

확장자명

.aif(f), AIFF

.iff, IFF/8SVX

.voc

.wav, WAVE

None, HCOM

.mod, .nst

NeXT, SUN

시스템명

Apple, SGI

Amiga

Sound Blaster

Microsoft

Macintosh

Amiga

.aif(f), AIFF Apple, SGI 샘플링비율, 채널수, resolution, 정보량,(AIFF의압축포맷)

샘플링비율, 채널수, encoding 정보

파라메터

샘플링비율, 채널수, resolution, 정보량

샘플링비율, 채널수, 장치의정보

샘플링비율

샘플링비율, 채널수, resolution, 정보량

샘플링비율(Huffman 압축사용)

(샘플의수및재생방법을기술)

19

음향파일포맷

• AIFF(Audio IFF)와 AIFC 포맷♦ 고품질의소리와음악기기들의정보를저장하기위하여 Apple 사에서개발♦ SGI를비롯한몇몇의전문오디오패키지에의해사용됨♦ AIFC는 AIFF의확장버전으로데이터를압축하여저장함

• Snd 포맷♦ NeXT 및 Sun 시스템등일부기종에서통용되는음향파일규격♦ 음재생을위한 SNDSoundStruct 구조정의, Interface Builder에음을기술함

시스템별음향규격파일포맷

바이트 번호 필드명 설 명

0~3 Magic number SNDSoundStruct의 식별을 위한 것

(0x2e, 0x73, 0x6e, 0x64)

4~7 data location 데이터의 위치를 지정

8~11 data size 데이터의 크기를 byte로 표시

음향의 형태를 식별하기 위한 정보 수록, 32 비트 정수로 표기

12~15 data format (0에서 255까지는 예약되어 있으므로 사용자는 255이상의 값으로 자신의 포맷을 규정할 수 있음) 대부분의 NeXT 포맷은 샘플된 데이터의 진폭값을 표시

16~19 sampling r e음향의 샘플링 비율을 표기

20~23 channel count 샘플된 음향의 채널 수를 표기

24~27 optional) informatio 기타의 정보를 수록

28~32 data location 데이터 위치의 최소값을 기록

20

음향파일포맷

• VOC 포맷♦ Creative Lab. 사의 voice 파일포맷♦ 헤더(파일의식별자, 데이터가저장된곳의위치, 버전번호등을기술)와일련의데이터블록(데이터의형식규정)으로구성됨

시스템별음향규격파일포맷

데이터블록 바이트번호 설 명

파일식별자(“Create Voice File”)EOF(파일의끝을나타냄)음향파일의첫번째데이터블록의 offset버전 number버전 number의 2의보수타입 명칭 크기(byte) 수록정보00 Terminator 0 없음

01 Sound data 2데이터의길이(샘플링비율, 압축형식등)

음향정보

02 Sound 데이터의길이 음성데이터

07 End repeat 0 없음

03 Silence 3(silence 길이, 샘플링비율등)

Silence 정보

04 Maker 2 마커번호05 ASCII 문자열길이 문자열06 Repeat 2 반복횟수

08 Extended 4(시간상수, 채널모드등) 확장정보

00H~12H13H

14H~15H16H~17H18H~19H

1AH~

헤더(20바이트)

데이터블록

21

음향파일포맷

• WAV 포맷♦ IBM사와Microsoft사에의해만들어진음향파일포맷

시스템별음향규격파일포맷

바이트수 필드명 설 명

4 ‘RIFF’

식별자4 length4 ‘WAVE’4 ‘fmt’4 length 데이터블록의길이

2 Format tag

파일의WAVE 포맷 category를나타냄0001H=Microsoft PCM 포맷0101H=IBM U-LAW 포맷0102H=IBM A-LAW 포맷0103H=IBM AVC ADPCM 포맷

2 channel Wave 데이터로표현되는채널수1=mono, 2=stereo

4 samples per second 각채널의샘플링비율

4 bytes per second Wave 데이터의전송률(재생소프트웨어는이값을이용하여버퍼의크기를예측함)

2 bytes per sample 모든채널의샘플바이트수

2 bits per channel 각채널의샘플바이트수

4 ‘data’ 식별자

4 length wave 데이터의크기n sample wave 데이터

22

음향파일포맷

• Real Audio Encoder♦ Netscape 사에의해개발되었으며각종의다양한음향포맷을 real audio 포맷으로변환하는데사용

♦ 부호화된 real audio 파일은 real audio 서버또는 real audio player를사용하여인터넷상에서실시간으로재생됨

♦ 알고리즘14.4 알고리즘 : mono 음의 AM 품질의음향지원하며 14.4 Kbps 모뎀을통하여인터넷접속을

가능하게함

28.8 알고리즘 : mono 음의 FM 수준음향을지원하며인터넷을통하여이음향을전송하기위해서는 28.8Kbps 모뎀을갖추어야함

♦ .wav, .au, .pcm, raw 포맷으로작성된음향을부호화가능♦ Sound Card로부터입력되는음향을실시간으로부호화가능♦ CD로부터출력되는음의부호화도가능

시스템별음향규격지원되는입력파일의규격

형태 Sampling 비율 resolution

.wav 8, 11, 22, 44KHz 8 or 16 bit, mono 음.au 8, 22, 44KHz Mono 음

.pcm 8, 11, 22, 44KHz 8 or 16 bit, mono 음

23

MIDI(Musical Instrument Digital Interface)

• MIDI♦ 서로다른회사에서제조한악기들간에정보를교환하는규칙과접속장치의규격을정하여놓은것

♦ 서로다른회사에서제조한악기들간에음악정보를교환하기위한목적으로창출되었지만현재는컴퓨터에까지도관련시켜적용하고있음

♦ MIDI 악기를이용한음악의녹음, 재생을위해서는MIDI 기능이내장된사운드카드를이용하거나별도의MIDI 인터페이스와모듈을이용해야함

♦ MIDI 악기가구현해낼수있는모든기능을수치로받아들여처리♦ 일본의 Roland 사가 IBM PC 확장슬롯을통하여MIDI 데이터를주고받을수있는MPU-401 카드를개발하면서부터시작됨

♦ 보급된MIDI 카드의종류♦ 일본 Roland사의 MPU-401, MPU-IPC-T, LAPS-T♦ CMS 사의 CMS-401, CMS-404♦ Music Quest사의MQX16, MQX32 등의MQX 시리즈

24

MIDI 시스템의기본구성

MIDI 신호단자

• DIN(독일공업규격) connector♦ 컴퓨터의MIDI 인터페이스에MIDI 장치연결을위한 connector♦ 둥근모양의 5 pin♦ 신호단자

MIDI-IN (다른MIDI 장치로부터신호 IN)MIDI-OUT(다른MIDI 장치로신호 OUT)MIDI-THRU(MIDI-IN으로도착된정보를

다른MIDI 장치로통과,3~4 대이상의장치접속도가능해짐)

MIDI 장치-1

MIDI 장치-2

MIDI 장치-3

MIDI-OUT

MIDI-IN

MIDI-THRU

MIDI-IN

25

MIDI chain

MIDI 장치-1(master) MIDI-IN

MIDI-OUT

MIDI -THRU Box(master)

MIDI 장치-2(slave)

MIDI 장치-3(slave)

MIDI-IN

MIDI-IN

THRU THRU

MIDI 장치-4(slave) MIDI-IN

26

MIDI 의 protocol과동작

• MIDI channel

♦ 정보전달을위한 16개 channel 제공

♦ master와 slave 사이의채널이설정되면 master는채널메시지를이용하여 slave를제어함

• MIDI 메시지

♦ 여러개의데이터단위로구성되며하나의데이터단위는 10개의비트로구성

♦ 10개의비트중 2개의비트는 start와 stop 비트로서전송시의동기화를위해사용됨

♦ 나머지 8비트는순수데이터비트

♦ 데이터단위들은 31.25 Kbaud의일정한전송속도로MIDI 네트워크상에 broadcast 됨

♦ MIDI 악기들은 broadcast되는데이터를참조하여자신이해야할행동을결정함

♦ MIDI 메시지는논리적의미의기본전송단위임

♦ MIDI 메시지는 Status Byte(명령어)와 Data Byte(파라메터)로구성됨

27

MIDI 메시지의형태MIDI 메시지의형태

Status Byte(HEX) Data Byte 1 Data Byte 2 의 미 비 고

8n 0k 0v Note off 건반의중단시점을 명령

9n 0k 0v Note on 건반을어느정도강하게누를것인지를명령

An 0k 0v Polyponic key pressure(건반에관련)

Bn 0c 0v Control change신디사이저의설정상태를바꾸도록명령모듈레이션(비브라토, 트레몰로등)이나댐퍼페달,소프트페달등주로연주의표현을다듬기위한것

Cn 0p Program change 음색의교환을명령. Slave는이명령에따라기록된음색을변경함

Dn 0v Channel pressure

En 0v 0v Pitch changes

n : 소리채널번호 -각악기에할당된채널번호k : 음조(note) 번호 -음표선택에관련v : 속도(velocity) -건반을치는속도나세기관련c : 제어기(controller) - pedal의세기를표현p : 프로그램번호 -저장되어있는 128가지의 voice중하나를지정하는데이용

28

MIDI 메시지의형태MIDI 소프트웨어

• MIDI sequencer♦ MIDI 장치로부터입력된음악데이터를MIDI 파일로저장하거나편집또는재생프로그램♦ 각트랙(채널)의연주상황을컴퓨터모니터로보여주고, 초기에할당된악기의음색, 채널번호, 볼륨의값들을수정가능하게함

♦ 재생, 정지, 빨리감기, 되감기등의여러가지부수적기능제공♦ Sequencer 프로그램의종류

Passport Design 사의Master Tracks Pro(MS-Window 용프로그램)Dynaware USA 사의 BalladeTwelve Tone System 사의 Cakewalk Professional