TSBB18 - Forelasning 1

Lets Automate!

Mikael Persson

Department of Electrical EngineeringComputer Vision Laboratory

Linkoping University

2019-01-22

Kurs Oversikt

Idag:

• Projekten

• Seminarier

• Bilder, kameror, rektifiering

• Detektion, morphologi

• Tips for Projekt 1

2

Kurs Oversikt

Sorteringsrobot i tre delar

• Project 1 - Live detektion av lego i video.

• Project 2 - Invers kinematik och robot kontroll.

• Project 3 - Lego sortering.

• Seminarie 1 - Video och detektion

• Seminarie 2 - 3D Geometri - Transformer, och Inverskinematik

• Seminarie 3 - TBA, (Homografier, Kamera kalibrering)?

Demos - projekten presenteras pa korta seminarier.

3

Kurs Oversikt

Sorteringsrobot i tre delar

• Project 1 - Live detektion av lego i video.

• Project 2 - Invers kinematik och robot kontroll.

• Project 3 - Lego sortering.

• Seminarie 1 - Video och detektion

• Seminarie 2 - 3D Geometri - Transformer, och Inverskinematik

• Seminarie 3 - TBA, (Homografier, Kamera kalibrering)?

Demos - projekten presenteras pa korta seminarier.

3

Kurs Oversikt

Sorteringsrobot i tre delar

• Project 1 - Live detektion av lego i video.

• Project 2 - Invers kinematik och robot kontroll.

• Project 3 - Lego sortering.

• Seminarie 1 - Video och detektion

• Seminarie 2 - 3D Geometri - Transformer, och Inverskinematik

• Seminarie 3 - TBA, (Homografier, Kamera kalibrering)?

Demos - projekten presenteras pa korta seminarier.

3

Projekt 1

Live detektion av lego i video

Ni far

• Raspberry pi och kamera.

• Makerbeam kit.

• Handledning, ca 30 min per vecka.

Mal

• Realtids segmentering

• Visa video

• Kor pa Raspberry Pi

• Rektifierad Video (frivilligt)

Projekt 1 skall funka pa demo seminarie 1.

4

Kameror

Video - Sekvens eller strom av bilder

Vad ar skillnaden?

6

Kameror

Pinhalskameror

y = ℘(KPcw(xw))

7

Kameror

Verkliga kameror

y = D(℘(KPcw(xw)))

8

Kameror

Kamera Kalibrering

Vi kan rektifiera/ ta bort distortion, om distortionskoefficienterna ar kanda.

• Distortionsparameterskattning mha schackrutor finns i OpenCV.

• Rektifiering mha distortionsparameterskattning finns i OpenCV.

• Nodvandigt for projekt 3.

9

Kameror

Sammanfattning

Givet en rektifierad kamera sa kommer varje plan i 3D avbildas enligt matrisenH. Enligt a ∼ Hb.

Varfor detta ar relevant blir uppenbart i projekt 3.

Djupdyk med cvls profilkurser.

11

Detektion

Find All Cats!

12

13

Detektion

Metoder

• Deep Convolutional Neural Networks DCNN

• Morfologi

DCNN ar overlagset bast!Nar det funkar ...

14

Fundamentalt bestar bade DCNN och morphologiska operationer av faltningarfoljt av ickelineariteter.

• DCNN ar tatare kopplade.

• DCNN kraver massor med data.

• Morfologi ar ofta djupare.

• Morfologi kraver att man vet vad man vill gora.

16

Detektion

Vanliga Morfologiska operationer

Troskling - IM<threshold ar en forutsattning.

•• Dilate, erode - denoising

• open/close - denoising

• Identifiera separata object - bwlabel

• Mass centrum

• Shrink2point

• Available in OpenCV

Djupdyk med cvls profilkurser.

17

Detektion

Connected Component Labeling

20

Detektion

Connected Component Labeling

21

Projekt 1

Tips

• Python, Anaconda

• OpenCV - bilder och morph

• OpenCV - battre gui med Qt

• gitlab.liu.se

• Roboten ar stark nog att sla runt!

• Verktyg, snabblim och 3D skrivare ar tillgangligt

• Testa koden pa den lilla roboten forst!

22