treści multimedialne - kodowanie, przetwarzanie,...

Treści multimedialne - kodowanie, przetwarzanie, prezentacja

Andrzej Majkowski

1 informatyka +

Program wykładu

1. Dźwięk w przekazie multimedialnym

2. Obraz w multimediach

3. Budowa wyświetlaczy LCD

informatyka + 2

informatyka + 3

Multimedia

• Multimedia to media, które wykorzystują różne formy informacji oraz różne formy ich przekazu w celu dostarczania odbiorcom informacji lub rozrywki.

• Prezentacje multimedialne mogą być odbierane na żywo, wyświetlane, transmitowane lub odtwarzane w dowolnym miejscu.

• Termin „multimedia” jest niejednoznaczny.

informatyka + 4

Multimedia – formy przekazu

• Wykorzystywane formy przekazu to tradycyjne: tekst

• Tekst może być wzbogacony innymi środkami przekazu, z których najważniejsze to:

– dźwięk,

– obraz: grafika, animacja, wideo

• Te dwie formy będą dokładniej omówione w dalszej części prezentacji

Co to jest dźwięk ?

Fala dźwiękowa rozchodzi się jako podłużna fala akustyczna w danym ośrodku sprężystym: gazie, płynie. W ciałach stałych, takich jak metale, występuje również fala poprzeczna.

Dźwięk, jako drgania cząsteczek, charakteryzuje się tym, że cząsteczka pobudzona przekazuje energię cząstce sąsiedniej, a sama drga wokół własnej osi. Skutkiem tego są lokalne zmiany ciśnienia ośrodka rozchodzące się falowo.

informatyka + 5

Dźwięk

informatyka + 6

• W powietrzu w temperaturze otoczenia 20oC prędkość dźwięku wynosi ok. 345 m/s.

• Zakres częstotliwości od 20 Hz do 20 kHz jest zakresem częstotliwości słyszalnych (fonicznych, audio).

• Fala o częstotliwości 20 Hz ma długość 17,25 m. Fala o częstotliwości 20 kHz ma długość 1,72 cm.

• Dźwięki o częstotliwości mniejszej od 20 Hz są nazywane infradźwiękami, zaś o częstotliwości większej od 20 kHz – ultradźwiękami.

Zakres słyszalności

informatyka + 7

informatyka + 8

Komputerowa edycja dźwięku

• Zastosowanie w komputerach kart dźwiękowych umożliwiło łatwą i jednocześnie zaawansowaną obróbkę sygnałów dźwiękowych na potrzeby prezentacji multimedialnych

informatyka + 9

Karty dźwiękowe

• W 1987 r. powstaje pierwsza karta dźwiękowa firmy AdLib, wyposażona w złącze ISA .

• Sercem karty był procesor Yamaha YM3812.

• Karta mogła odtwarzać 9 kanałów jednocześnie albo 11 (polifonia) w tym 5 kanałów przeznaczonych na instrumenty perkusyjne.

• Dźwięk był generowany na zasadzie syntezy FM (Frequency Modulation), jako wynik mieszania pary fal o określonych kształtach.

informatyka + 10

Karty dźwiękowe

• W 1988 r. firma Creative Music Systems (dzisiaj Creative Labs) zaproponowała klientom pierwszą w swoim dorobku kartę ISA, tj. Game Blaster.

• Była to nowsza wersja dotychczas produkowanego syntezatora C/MS.

• Karta odtwarzała 12 kanałów z regulowanym poziomem głośności oraz 3 kanały perkusyjne.

• Dźwięk stereo.

• Przeznaczona była dla użytkowników gier.

informatyka + 11

Karty dźwiękowe

• Pierwszą kartę z serii Sound Blaster wyprodukowano w 1989r. Karta zawierała syntezator FM, odtwarzała dźwięk mono z rozdzielczością 8 bitów.

• Karty Sound Blaster 16 i moduł Wave Blaster wprowadzono na rynek w 1992r. Karta mogła odtwarzać i zapisywać dźwięk (stereo) z częstotliwością 44,1kHz w 16 bitowej rozdzielczości. Istniała możliwość podłączenia modułu Wave Blaster, który posiadał 4MB próbek dźwięków.

• W 1994 r. wprowadzono nowy model karty Sound Blaster AVE32, z którym zintegrowano moduł Wave Blaster.

• W 1998 r. opracowano kartę Sound Blaster Live!, która umożliwiała uzyskanie dźwięku 4-kanałowego i dysponowała technologią EAX (symulacja dźwięku w różnych środowiskach).

informatyka + 12

Budowa kart dźwiękowych

1. Generator dźwięku - występował w starszych kartach i był to zazwyczaj generator FM oraz generator szumu, służył do sprzętowego generowania dźwięków za pomocą modulacji i łączenia fal oraz szumu.

2. Pamięć ROM lub półprzewodnikowa typu „flash” – umożliwia przechowywanie danych (np. próbek wykorzystywanych do syntezowania dźwięku).

3. Przetworniki a/c i c/a - umożliwiające rejestrację i odtwarzanie dźwięku.

4. Mikser dźwięku - służy do łączenia sygnałów dźwięku z różnych źródeł, generatorów dźwięku, przetworników c/a, wejść zewnętrznych, itp.

informatyka + 13

Budowa kart dźwiękowych cd.

5. Wzmacniacz wyjściowy - służy do podłączenia słuchawek lub dopasowania linii wyjściowych przetwornika c/a.

6. Interfejs do komputera - służący do komunikacji i wymiany danych z kartą dźwiękową, zazwyczaj ISA, PCI lub USB.

7. Procesor DSP - służy do cyfrowej obróbki dźwięku, np. nakładania efektów.

8. Interfejs MIDI - służy do podłączania do komputera cyfrowych instrumentów muzycznych.

informatyka + 14

Karty dźwiękowe

Sound Blaster® Audigy™ 2 ZS Platinum Pro

• Karta PCI z zewnętrznym interfejsem

• Dolby Digital 7.1, - próbkowanie: 24bit/96kHz

• wejście i wyjście S/PDIF: 2x RCA i 2x Toslink

• wyjścia liniowe: 3x stereo, - wejścia liniowe: 3x stereo

• wejście mikrofonowe

• wejście i wyjście MIDI

• wyjście słuchawkowe,

• złącza FireWire

Formaty zapisu i przechowywania plików multimedialnych

Kontenery multimedialne umożliwiają przechowywanie różnego rodzaju danych: dźwięku, obrazów, filmu, napisów, informacji o rozdziałach itp. w wielu formatach.

Przykładami kontenerów multimedialnych są:

• AVI (standardowy kontener systemu Windows)

• Advanced Systems Format (standardowy kontener dla multimediów pakietu Windows Media - WMA oraz WMV)

• OGG (bezpłatny kontener dla multimediów strumieniowych wysokiej jakości)

• MPEG-4 Part 14 (standardowy kontener AV dla MPEG-4)

informatyka + 15

Kodowanie PCM

informatyka + 16

Metoda PCM polega na reprezentacji wartości chwilowej sygnału

(próbkowaniu) w określonych (najczęściej równych) odstępach czasu,

czyli z określoną częstością (tzw. częstotliwość próbkowania).

Kodowanie PCM - kwantyzacja

Wartość chwilowa sygnału jest przedstawiana za pomocą słowa kodowego, którego wartości odpowiadają wybranym przedziałom kwantyzacji sygnału wejściowego.

informatyka + 17

Inne metody cyfrowego kodowania dźwięku

informatyka + 18

Mp3 – Standard MPEG-1 - "Layer3„

Ogg Vorbis

Mp4 (MPEG-4 Part14) ?

AAC

Usprawnienia względem starszych algorytmów kompresji dźwięku

• próbkowanie 8-96 kHz (MP3 16-48 kHz)

• do 48 kanałów (MP3 2 kanały w standardzie MPEG-1 i 5.1 w standardzie

MPEG-2)

• skuteczniejszy i wydajniejszy

• lepsze przenoszenie częstotliwości ponad 16 kHz

• lepszy tryb kompresji sygnału stereofonicznego joint-stereo

Co to jest obraz cyfrowy?

• Sygnały świetlne docierające do oczu są zamieniane na cechy takie jak kształt, kolor, czy wzajemne relacje przestrzenne obiektów.

• Obrazy cyfrowe reprezentują te same sceny wizualne w postaci dwuwymiarowych tablic pikseli.

• Technika cyfrowa umożliwia przeprowadzenie szeregu operacji obróbki obrazu, w tym także działań niewykonalnych tradycyjnymi metodami przy pomocy filtrów optycznych lub analogowej elektroniki.

informatyka + 19

Jak widzimy ?

• Rejestracja promieniowania świetlnego jest realizowana na siatkówce oka.

• Siatkówkę oka można przyrównać do pewnego rodzaju światłoczułej matrycy, na której znajdują się receptory widzenia – pręciki i czopki.

informatyka + 20

Początki

informatyka + 21

• Lata 1939÷45 - systemy rozpoznawania wojskowego, wykorzystanie podwyższania jakości obrazu fotograficznego (dystorsja, nieostrość, kontrast)

• Początek lat 60. XX wieku - początki cyfrowego przetwarzania obrazu na potrzeby NASA (misje Ranger’a)

Początki

informatyka + 22

Lata 60. XX wieku technika cyfrowa wykorzystywana jest do obróbki zdjęć satelitarnych i zdjęć pochodzących z kolejnych misji NASA oraz europejskich programów kosmicznych.

Po prawej pierwszy obraz Księżyca sfotografowany przez statek Ranger 7.

Dziedziny zastosowania CPO

informatyka + 23

metrologia

sejsmologia

nawigacja automatyczna

telekomunikacja

nadzór przemysłowy

medycyna

rozrywka

kino i TV wojsko

bezpieczeństwo

robotyka

mikroskopia

obrazowanie ultradźwiękowe

radiologia

astronomia

CPO


Zdjęcia zarejestrowane z użyciem różnych technik, wykorzystywane w różnych dziedzinach nauki.

Poniżej:

• zdjęcie rentgenowskie dłoni,

• angiogram (obraz żył lub tętnic).

informatyka + 24


Przykład obrazu zarejestrowanego kamerą termowizyjną

informatyka + 25


Zdjęcie radarowe,

stopiona powierzchnia Wenus.

informatyka + 26


Jądrowy rezonans magnetyczny

a) aparat MRI b) przekrój mózgu

informatyka + 27


informatyka + 28

Mikroskopia elektronowa

Modele barw

informatyka + 29

Modele barw

Kojarzone ze sprzętem

RGB • model addytywny, • barwa powstaje w wyniku emisji światła, • wszystkie barwy powstają przez zmieszanie trzech barw podstawowych:

czerwonej, zielonej i niebieskiej. CMY, CMYK • model substraktywny, • barwy uzyskuje się dzięki światłu odbitemu od zadrukowanego podłoża, • wszystkie barwy w modelu CMY powstają przez zmieszanie trzech barw

podstawowych: cyan (zielono-niebieska), magenta (purpurowa), yellow (żółta).

informatyka + 30

Mieszanie barw

informatyka + 31

Mieszanie addytywne Mieszanie substraktywne

Modele barw

informatyka + 32

Atrybuty barwy

informatyka + 33

Odcień barwy wrażenie związane z konkretną długością fali. Nasycenie - „mieszanie” (0 - 100%) z barwą białą. Jasność (luminancja) wrażenie związane z wielkością strumienia świetlnego (umowna skala 0 – 1).

Balans bieli i korekcja barw

• Zadaniem całego toru wizyjnego jest wierna reprodukcja barw. • Często jednak okazuje się, że odtwarzane barwy są w pewnym stopniu

zafałszowane (skóra, śnieg).

• Zadaniem korekcji barw jest właśnie sprowadzenie postaci barw do formy akceptowalnej przez widza.

• Celem ustawienia balansu bieli jest osłabienie barwy dominującej. W

procesie edycji obrazu przy pomocy odpowiednich narzędzi można zaznaczyć fragment obrazu, który według widza ma być biały, a program dokona automatycznego zrównoważenia bieli dla całego obrazu.

informatyka + 34

Balans bieli i korekcja barw

informatyka + 35

W niektórych sytuacjach nie warto nawet szukać ustawienia gwarantującego neutralne kolory

Temperatura barwowa

informatyka + 36

• Temperatura barwowa, jako cecha określająca wrażenie percepcyjne oglądanego obrazu, zależy głównie od rodzaju oświetlenia oraz od właściwości barwnych elementów występujących w scenie obrazowej.

• W praktyce temperaturę barwową definiuje się na podstawie relacji jakie zaobserwowano pomiędzy temperaturą a właściwościami emisyjnymi ciała czarnego.

• Temperaturę barwową oblicza się na podstawie średniej wartości kolorów całego obrazu, z pominięciem pikseli, które nie mają wielkiego wpływu na temperaturę barwową, a mianowicie pikseli koloru czarnego i tzw. pikseli samo-świecących czyli większych od wartości średniej o pewną wartość progową.

Podział zakresu temperatury barwowej

informatyka + 37

Kategoria subiektywna Zakres temperatur

Gorąca 1667K ~ 2250K

Ciepła 2251K ~ 4170K

Neutralna 4171K ~ 8060K

Zimna 8061K ~ 25000K

Temperatura barwowa, balans bieli

informatyka + 38

informatyka + 39

Komputerowa edycja obrazu

• Istnieje wiele narzędzi umożliwiających przetwarzanie obrazów dwuwymiarowych statycznych

• Coraz silniejsze obliczeniowo komputery oraz dostępność kamer cyfrowych umożliwiły również stosowanie nagrań wideo

System do cyfrowego przetwarzania obrazów

informatyka + 40

Etapy przetwarzania sygnału wizyjnego

informatyka + 41

Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony do postaci elektrycznej w przetworniku analizującym, a następnie poddany dyskretyzacji i kwantyzacji.

we/wy cyfrowe Kompresja

Próbkowanie Skanowanie A/C C/A

Bufor ramek

Wy analogowe We analogowe

Kamery cyfrowe

informatyka + 42

Taśmy: MiniDV

Parametry: - rozdzielczość 500 do 540 linii - dźwięk – 2 kanały rozdzielczości 16 bitów z próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz - port IEEE 1394 – FireWire

informatyka + 43

Standard AVCHD (Advanced Video Coding High Definition)

Specyfikacja formatu AVCHD została

ogłoszona przez firmy Sony i Panasonic

- sygnał o wysokiej rozdzielczości HDTV

- kompresja wideo MPEG-4 AVC/H.264

- kompresja audio Dolby Digital (AC-3),

PCM, zapis 1-7.1 kanałowy

- zapis na dyskach HDD lub na kartach

pamięci flash

Kamery cyfrowe

Filtry mozaikowe

informatyka + 44

Na jeden pixel czerwony lub niebieski przypadają dwa zielone.

Odpowiada to warunkom widzenia człowieka, które najczulej reaguje na

zmiany jasności w zielonej części widma. Aby uzyskać dane o kolorze

danego punku musimy skorzystać z algorytmu interpolacji i danych z

sąsiednich pixeli. Dopiero po procesie interpolacji uzyskujemy dane o

kolorze danego punktu. W praktyce stosowane są różne układy filtrów

barwnych. Najpopularniejszym jest oczywiście filtr RGB.

System 3CCD

informatyka + 45

Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest

pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB

Skanowanie

informatyka + 46

Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym (skanowanie progresywne)

Skanowanie międzyliniowe

Skanowanie progresywne

informatyka + 47

Przykład zastosowania skanowania progresywnego oraz międzyliniowego. Samochód porusza się z prędkością 20 km/h. 4CIF - 704 x 596 2CIF - 704 x 288

skanowanie

progresywne 4CIF Skanowanie

międzyliniowe 4CIF

Skanowanie

międzyliniowe 2CIF

Efekty specjalne

informatyka + 48 48

Kluczowanie Chroma Key: nałożenie na zwykle niebieskie lub zielone tło nowego obrazu.

Ekrany LCD – ukierunkowanie światła

informatyka + 49

Ekrany LCD – przepływ światła

informatyka + 50

Ekrany LCD – TN (Twisted Nematic)

informatyka + 51


informatyka + 52


informatyka + 53

Różnicując napięcie na końcówkach ciekłego kryształu można modulować stopień zamknięcia przełącznika, aby uzyskać stany pośrednie

DSTN (dual scan TN) – matryce pasywne

informatyka + 54

Matryce aktywne

informatyka + 55

Budowa matryc TFT

informatyka + 56

Budowa matryc TFT

informatyka + 57

Powiększenie

pikseli na

wyświetlaczu

LCD

Technologia IPS (In-Plane Switching)

informatyka + 58

Filtr polaryzujący

Powierzchnia przeźroczysta

Filtr polaryzujący


Elektroda

Ciekły kryształ

Pojedynczy piksel bez napięcia

Technologia IPS (In-Plane Switching)

informatyka + 59

Filtr polaryzujący


Filtr polaryzujący


Elektroda

Ciekły kryształ

Pojedynczy piksel z przyłożonym napięciem

Multidomain Vertical Alignment (MVA)

informatyka + 60

Multidomain Vertical Alignment (MVA)

informatyka + 61

informatyka + 62

Dziękuję za uwagę

treści multimedialne - kodowanie, przetwarzanie,...

Documents