Aplikace Aplikace počítačového počítačového

viděníviděníIng. Ilona Kalová, Ing. Ilona Kalová,

Ph.D.Ph.D.ÚAMT FEKT VUT v BrněÚAMT FEKT VUT v Brně

Kolejní 2906Kolejní 2906/4/461200 Brno CZ61200 Brno CZ

  tel:        +420 54114 3647tel:        +420 54114 3647fax:       +420 54114 1123fax:       +420 54114 1123

  E-mail: E-mail: kalova@feec.vutbr.cz

http://www.uamt.feec.vutbr.cz/lide/http://www.uamt.feec.vutbr.cz/lide/kalovakalova

Organizace výukyOrganizace výuky Přednášky Po 13:00 E340 – nepovinnéPřednášky Po 13:00 E340 – nepovinné Přednášející:Přednášející:

Ing. Ilona Kalová, Ph.D.Ing. Ilona Kalová, Ph.D. kalova@feec.vutbr.czkalova@feec.vutbr.cz Ing. Horák Karel, Ph.D.Ing. Horák Karel, Ph.D. horakk@feec.vutbr.czhorakk@feec.vutbr.cz Ing. Richter Miloslav, Ph.D.Ing. Richter Miloslav, Ph.D. richter@feec.vutbr.czrichter@feec.vutbr.cz Ing. Petyovský PetrIng. Petyovský Petr petyovsk@feec.vutbr.czpetyovsk@feec.vutbr.cz Ing. Honec PetrIng. Honec Petr , Ph.D., Ph.D. honechonecp@feec.vutbr.czp@feec.vutbr.cz

Cvičení Čt 9:00, 12:00, 14:00 E617 – nepovinnéCvičení Čt 9:00, 12:00, 14:00 E617 – nepovinné Cvičící: Ilona KalováCvičící: Ilona Kalová Body:Body:

16b cvičení - 8 úloh po 2b16b cvičení - 8 úloh po 2b 24b semestrální projekt 24b semestrální projekt Podmínka zápočtu Podmínka zápočtu - min 15b celkem ze cvičení a projektu, odevzdání - min 15b celkem ze cvičení a projektu, odevzdání

projektuprojektu 60b zkouška60b zkouška

InformaceInformace:: Q:Q:\VYUKA\KALOVA\MAPV\VYUKA\KALOVA\MAPV Ilona KalovIlona Kalová – e-mail: kalovaá – e-mail: kalova@feec.vutbr.cz@feec.vutbr.cz, , tel: 54114 3647, tel: 54114 3647,

kancelář E619kancelář E619

PřednáškyPřednášky1.1. Nasazení počítačového vidění v technické praxi - úvod, motivace, Nasazení počítačového vidění v technické praxi - úvod, motivace,

výhody a nevýhody, metodika vývoje zakázkyvýhody a nevýhody, metodika vývoje zakázky2.2. Specifika hardwaru pro pořízení a zpracování obrazu Specifika hardwaru pro pořízení a zpracování obrazu 3.3. Základní fyzikální principy využitelné v počítačovém viděníZákladní fyzikální principy využitelné v počítačovém vidění4.4. Úlohy měření v rovině – přesná měření rozměrů , polohy, orientace Úlohy měření v rovině – přesná měření rozměrů , polohy, orientace 5.5. Detekce přítomnosti a kompletnosti výrobků, počítání objektů v obraze, Detekce přítomnosti a kompletnosti výrobků, počítání objektů v obraze,

klasifikace podle tvaru (obrysu), barvy, povrchových vlastností atd.klasifikace podle tvaru (obrysu), barvy, povrchových vlastností atd.6.6. Defektoskopie, inspekční systémy – detekce povrchových vad výrobků, Defektoskopie, inspekční systémy – detekce povrchových vad výrobků,

inspekce transparentních materiálů atd.inspekce transparentních materiálů atd.7.7. OCR – SPZ, čtení kódů, převod tištěné knihy do elektronickéOCR – SPZ, čtení kódů, převod tištěné knihy do elektronické8.8. Měření 3D rozměrů, měření objemu, 3D digitální modely, navigace v Měření 3D rozměrů, měření objemu, 3D digitální modely, navigace v

prostoru, polohování robotů prostoru, polohování robotů 9.9. Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování

trajektorie, trojrozměrné vlastnosti objektůtrajektorie, trojrozměrné vlastnosti objektů10.10. Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na

červenou, detekce krizových stavůčervenou, detekce krizových stavů11.11. Analýza biologických obrazů, měření biometrických údajůAnalýza biologických obrazů, měření biometrických údajů12.12. Další aplikace - bezkontaktní měření teploty (termokamery), měření Další aplikace - bezkontaktní měření teploty (termokamery), měření

deformací (interferometre), analýza snímků hvězdné oblohy, počítačové deformací (interferometre), analýza snímků hvězdné oblohy, počítačové vidění ve spojení s počítačovou grafikou = virtualizovaná realitavidění ve spojení s počítačovou grafikou = virtualizovaná realita

Definice počítačového Definice počítačového viděnívidění

Systémy počítačového vidění … systémy strojového vnímání … Systémy počítačového vidění … systémy strojového vnímání … systémy pro zpracování obrazu … kamerové systémy … systémy pro zpracování obrazu … kamerové systémy … vizuální systémyvizuální systémy

Disciplína, která se snaží technickými prostředky alespoň Disciplína, která se snaží technickými prostředky alespoň částečně napodobit lidské vidění – kvalitu lidského senzoru částečně napodobit lidské vidění – kvalitu lidského senzoru (oka) a kvalitu analýzy obrazu (inteligence, znalosti, (oka) a kvalitu analýzy obrazu (inteligence, znalosti, zkušenosti)zkušenosti)

OborObor, , který pomocí technických prostředků usiluje o získání který pomocí technických prostředků usiluje o získání smysluplného popisu objektů vyskytujících se v obrazesmysluplného popisu objektů vyskytujících se v obraze

Příbuzné oboryPříbuzné obory Umělá inteligenceUmělá inteligence Teorie řízeníTeorie řízení Zpracování signálůZpracování signálů Biologie, Biologie,

neurofyziologieneurofyziologie Matematika – Matematika –

statistika, statistika, geometriegeometrie

Fyzika – optikaFyzika – optika ……

Proč je vidění těžké ?Proč je vidění těžké ? Ztráta informace díky perspektivní projekciZtráta informace díky perspektivní projekci,, 3D = 3D => 2D> 2D

Měřená jednotka = nejčastěji jas Měřená jednotka = nejčastěji jas Jas bodu závisí na: Jas bodu závisí na:

poloze kamerypoloze kamery poloze a typu světelného zdrojepoloze a typu světelného zdroje odrazivosti povrchu, barvěodrazivosti povrchu, barvě orientaci (natočení) povrchuorientaci (natočení) povrchu ……

Množství datMnožství dat Příklad: statický obraz 512 x 512 bodů, 1 bod = 1B (256 jas. úrovní) =Příklad: statický obraz 512 x 512 bodů, 1 bod = 1B (256 jas. úrovní) => 256kB> 256kB stejný barevný obraz, 1 bod = 3B =stejný barevný obraz, 1 bod = 3B => 768kB> 768kB stejný barevný obraz při 25 snímcích za sekundu (TV signál) =stejný barevný obraz při 25 snímcích za sekundu (TV signál) => 18,75MB/s> 18,75MB/s Nejistota – přítomnost šumu, zkresleníNejistota – přítomnost šumu, zkreslení

Výhody Výhody Přesnost Přesnost Spolehlivost, měření s konstantními parametry, neunavitelnost, Spolehlivost, měření s konstantními parametry, neunavitelnost,

nezkorumpovatelnostnezkorumpovatelnost RychlostRychlost Paralelně může probíhat více kontrolních úloh, třeba měření rozměrů a Paralelně může probíhat více kontrolních úloh, třeba měření rozměrů a

zároveň kontrola barvy zároveň kontrola barvy Umožňují kontrolu prakticky jakéhokoliv parametru, který má optickou Umožňují kontrolu prakticky jakéhokoliv parametru, který má optickou

vazbu na vzhled nebo charakter snímané scény vazbu na vzhled nebo charakter snímané scény Měření je bezkontaktní, nedestruktivníMěření je bezkontaktní, nedestruktivní Velké množství informací v podobě, která je pro člověka nejlépe Velké množství informací v podobě, která je pro člověka nejlépe

srozumitelná - vizuální cestou člověk přijímá téměř 90 % informacísrozumitelná - vizuální cestou člověk přijímá téměř 90 % informací Nastavení systému je rychlé a nevyžaduje složité mechanické Nastavení systému je rychlé a nevyžaduje složité mechanické

konstrukcekonstrukce Možnost změnou konfigurace softwaru prakticky okamžitě přepínat Možnost změnou konfigurace softwaru prakticky okamžitě přepínat

mezi podobnými typy měření – není nutné složitě a nákladně měnit mezi podobnými typy měření – není nutné složitě a nákladně měnit hardwarovou konfiguraci hardwarovou konfiguraci

Cena - vyšší počáteční náklady jsou kompenzovány nižšími náklady Cena - vyšší počáteční náklady jsou kompenzovány nižšími náklady provozními a úsporami času i materiálu ve výroběprovozními a úsporami času i materiálu ve výrobě

Metodika vývoje zakázkyMetodika vývoje zakázky Myšlenka aplikace kamerového systému (ze strany zákazníka)Myšlenka aplikace kamerového systému (ze strany zákazníka) Kontaktování firmy zabývající se počítačovým viděním nebo systémového Kontaktování firmy zabývající se počítačovým viděním nebo systémového

integrátoraintegrátora Hrubé posouzení realizovatelnosti projektu – nejlépe návštěva provozu, Hrubé posouzení realizovatelnosti projektu – nejlépe návštěva provozu,

pochopení problému, posouzení vhodnosti nasazení počítačového vidění, hrubý pochopení problému, posouzení vhodnosti nasazení počítačového vidění, hrubý návrh metody měření odborníkemnávrh metody měření odborníkem

Podrobná analýza problému – návrh řešení celého systému nejlépe v podobě Podrobná analýza problému – návrh řešení celého systému nejlépe v podobě podrobné studie podrobné studie – diskuze s pracovníky (managery, technickými pracovníky, kontrolory kvality, diskuze s pracovníky (managery, technickými pracovníky, kontrolory kvality,

výrobáři,…) - definice požadavků zákazníkavýrobáři,…) - definice požadavků zákazníka– experimenty s reálnými vzorky (např. výrobků s vadami i bez vad) - návrh a experimenty s reálnými vzorky (např. výrobků s vadami i bez vad) - návrh a

zhodnocení různých metod měření, odhad přesnosti měření, rychlosti,…zhodnocení různých metod měření, odhad přesnosti měření, rychlosti,…– odhad potřebného HW a nutných úprav stávajícího zařízení, odhad náročnosti odhad potřebného HW a nutných úprav stávajícího zařízení, odhad náročnosti

vývojevývoje– odhad ceny a časové náročnostiodhad ceny a časové náročnosti

Řešení projektu Řešení projektu – výběr vhodného HW, návrh konkrétní mechaniky, výroba, instalace zařízenívýběr vhodného HW, návrh konkrétní mechaniky, výroba, instalace zařízení– pořízení testovacích snímků, vývoj algoritmůpořízení testovacích snímků, vývoj algoritmů– vývoj a specifikace uživatelského rozhraní vývoj a specifikace uživatelského rozhraní – testy funkčnosti a spolehlivosti testy funkčnosti a spolehlivosti

Zkušební provoz – doladění detailů, vyhodnocení kvality měření (statistiky) Zkušební provoz – doladění detailů, vyhodnocení kvality měření (statistiky) Reálný provoz – sledování stavu zařízení a kvality měření, servisReálný provoz – sledování stavu zařízení a kvality měření, servis

Volba způsobu měřeníVolba způsobu měření rozměry zkoumaného předmětu a jeho vzdálenost rozměry zkoumaného předmětu a jeho vzdálenost požadovaná přesnost měřenípožadovaná přesnost měření vlastnosti povrchu předmětu (nerovnost, drsnost, odrazivost světla)vlastnosti povrchu předmětu (nerovnost, drsnost, odrazivost světla) vlastnosti okolních zdrojů světla (intenzita, spektrum, koherence)vlastnosti okolních zdrojů světla (intenzita, spektrum, koherence) možná doba měření X odhadovaná časová náročnost snímání a zpracovánímožná doba měření X odhadovaná časová náročnost snímání a zpracování přístupnost k měřenému objektu a maximální možné rozměry měřicího přístupnost k měřenému objektu a maximální možné rozměry měřicího

systému (aby jej bylo možné například umístit na již fungující linku)systému (aby jej bylo možné například umístit na již fungující linku) způsob vystavení měřeného objektu do vhodné měřící pozice – mechanické způsob vystavení měřeného objektu do vhodné měřící pozice – mechanické

díly, polohování, dopravníky,… - odhad potřebného HW a nutných úprav díly, polohování, dopravníky,… - odhad potřebného HW a nutných úprav stávajícího zařízení stávajícího zařízení

možnost kalibrace systémumožnost kalibrace systému možnost konfigurace systému i pro jiné, podobné výrobkymožnost konfigurace systému i pro jiné, podobné výrobky přesná definice požadavků na systém a definice výstupů měřenípřesná definice požadavků na systém a definice výstupů měření náročnost výzkumu a vývojenáročnost výzkumu a vývoje cenacena

Řetězec zpracování obrazuŘetězec zpracování obrazu

Možné aplikace – použití počítačového Možné aplikace – použití počítačového viděnívidění

Úlohy měření v rovině – přesná měření rozměrů, polohy, orientace Úlohy měření v rovině – přesná měření rozměrů, polohy, orientace Detekce přítomnosti a kompletnosti výrobků, počítání objektů v obrazeDetekce přítomnosti a kompletnosti výrobků, počítání objektů v obraze Střežení objektůStřežení objektů Klasifikace - podle tvaru (obrysu), barvy, povrchových vlastností atd.Klasifikace - podle tvaru (obrysu), barvy, povrchových vlastností atd. Defektoskopie, inspekční systémy – detekce povrchových vad výrobků, Defektoskopie, inspekční systémy – detekce povrchových vad výrobků,

inspekce transparentních materiálů atd.inspekce transparentních materiálů atd. OCR – SPZ, čtení kódů, převod tištěné knihy do elektronickéOCR – SPZ, čtení kódů, převod tištěné knihy do elektronické Měření 3D rozměrů, měření objemu, 3D digitální modely Měření 3D rozměrů, měření objemu, 3D digitální modely Navigace v prostoru, polohování robotů Navigace v prostoru, polohování robotů Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování Pohyb – detekce pohybu, detekce pohybujícího se objektu, sledování

trajektorietrajektorie Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na červenou, Dopravní úlohy – měření rychlosti, detekce vozidel projíždějících na červenou,

detekce krizových stavůdetekce krizových stavů Analýza lékařských obrazů, měření biometrických údajůAnalýza lékařských obrazů, měření biometrických údajů Bezkontaktní měření teploty (termokamery)Bezkontaktní měření teploty (termokamery) Měření deformací (interferometrie)Měření deformací (interferometrie) Analýza snímků hvězdné oblohy, analýza leteckých snímkůAnalýza snímků hvězdné oblohy, analýza leteckých snímků Počítačové vidění ve spojení s počítačovou grafikou = virtualizovaná realitaPočítačové vidění ve spojení s počítačovou grafikou = virtualizovaná realita ……

hrdlo láhvehrdlo láhvedno láhvedno láhve

stěna láhvestěna láhve

Inspekce transparentních materiálů Inspekce transparentních materiálů ((pivníchpivních lahvílahví))

• zbytky etiketzbytky etiket• cizí objektycizí objekty• špínašpína • plíseňplíseň• škrábanceškrábance

Inspekce netkaných textiliíInspekce netkaných textilií

• dírydíry• výkapkyvýkapky• hmyzhmyz

potiskpotisk – – kontrola, polarita, kontrola, polarita, poškozenípoškození

kontaktykontakty – – rozměry, úhel rozměry, úhel natočení, ohyb, natočení, ohyb, kvalita spojekvalita spoje

kvalita sváření,kvalita sváření,rozměryrozměry, , pozicepozice, , strukturastruktura

detekce detekce prasklinprasklin

špína, cizí špína, cizí předmětypředmětyInspekce SMD součástekInspekce SMD součástek

- automatického počítání automatického počítání různě orientovaných různě orientovaných náhodně rozmístěných náhodně rozmístěných skleněných broušených skleněných broušených kamenů kamenů

- návrh způsobu osvětlení, návrh způsobu osvětlení, návrh softwarenávrh software

Počítání objektů ve Počítání objektů ve scéněscéně

- analýza optických analýza optických vlastností vlastností mikrotečekmikroteček

- návrh HW řešení návrh HW řešení čtečkyčtečky

- algoritmy pro algoritmy pro lokalizaci lokalizaci mikrotečky ve mikrotečky ve snímkusnímku

- algoritmy pro čtení algoritmy pro čtení znaků mikrotečekznaků mikroteček

Čtecí zařízení mikrotečekČtecí zařízení mikroteček

- sledování prováděných operací sledování prováděných operací v komořev komoře

- záření nebezpečné jednak pro záření nebezpečné jednak pro člověka, jednak pro elektroniku a člověka, jednak pro elektroniku a optikuoptiku

- návrh počtu a umístění kamernávrh počtu a umístění kamer- návrh geometrického uspořádání návrh geometrického uspořádání

optické soustavy zrcadel optické soustavy zrcadel periskopuperiskopu

Kamerový systém do Kamerový systém do komory ionizujícího zářeníkomory ionizujícího záření

Rychloběžná kameraRychloběžná kamera- lokalizace pozice infračerveného laserového paprsku mířidla zbraně na projekční ploše- vyhodnocení správnosti míření vojáků při interaktivním tréninku při simulaci bojové scény- časový multiplex s 10 kanály (paralelně lze vyhodnocovat až 10 mířidel)- parametry kamery: 330 fps / 1280x1024 / 10 bit- paralelní vyhodnocení obrazu v FPGA (výstupem je poloha laserového svazku na plátně)

zaměřovací IR laser

Detekce a klasifikace vozidel Detekce a klasifikace vozidel Kontrola kvality svarů automobilových diskůKontrola kvality svarů automobilových diskůMěření objemu kapky viskózního lepidlaMěření objemu kapky viskózního lepidlaPořízení 3D modelu kopyta kloboukuPořízení 3D modelu kopyta klobouku

3D měření3D měření

Metro – počítání osobMetro – počítání osob

- počítání osob vstupujících a počítání osob vstupujících a vystupujících z technických vystupujících z technických prostor metraprostor metra

- zlepšení kontrastu sledovaných zlepšení kontrastu sledovaných objektů volbou pozadí objektů volbou pozadí

Dopravní úlohy – detekce průjezdu na červenouDopravní úlohy – detekce průjezdu na červenou- Lokalizace Lokalizace

SPZSPZ- OCROCR

Dopravní úlohy – měření průměrné rychlosti v úsekuDopravní úlohy – měření průměrné rychlosti v úseku

- algoritmy vyhodnocení datalgoritmy vyhodnocení dat- testy kvality vyhodnocení testy kvality vyhodnocení

vzhledem k rozdílným vzhledem k rozdílným vstupním podmínkámvstupním podmínkám

Dopravní úlohy – laserový Dopravní úlohy – laserový měřič rychlosti vozidel měřič rychlosti vozidel

- detekce kritických stavů (nehoda, zácpa)

Dopravní úlohy Dopravní úlohy

- mobilní detekce – kradená vozidla

Dynamické vlastnosti např. - chůze - podpis- gestikulace

Otisk prstu

Obličej

Geometrie ruky

Dentální obraz

Podpis

Tvar ucha

Sítnice oka

Termogram obličeje

Měření biometrických údajůMěření biometrických údajů

Duhovka oka

Tvar obličeje

http://cmp.felk.cvut.cz

Lékařské aplikace Lékařské aplikace -určování polohy chirurgických nástrojů z 3D ultrazvukového přístroje

-geometrické srovnání odpovídajících si obrazů - z jiných přístrojů - před a po operaci (léčbě) -diagnostika ultrazvukových

obrazů

-3D měření dýchacích pohybů

Sledování pohybu Sledování pohybu

-trasování pohybu člověka

-sledování trajektorie pohybu plavající krysy

-navádění robotů

http://cmp.felk.cvut.cz

Studování vesmíruStudování vesmíru

Sledování procesů ve vesmíru - vzplanutí mladé hvězdy (RTG snímek)

Analýza snímků hvězdné oblohy – objevování nových hvězd, galaxií,…

Specializovaný SW – volně dostupný

„Tvář na Marsu“

Zkoumání okolních planet, vesmírné výpravy

Aktualizace map

Klasifikace urbanizovaného území

Vojenské, špionážní průzkumy

Sledování počasí, předpovědi

radarový snímek

Letecké snímky, satelitní snímkyLetecké snímky, satelitní snímky