tehnici de control pentru sistemele servoing vizuale cosmin.pdftehnici de control pentru sistemele...
TRANSCRIPT
-
COPOŢ COSMIN
Tehnici de control pentru sistemele servoing vizuale
EDITURA POLITEHNIUM 2011
-
COPOŢ COSMIN
Tehnici de control pentru sistemele servoing vizuale
EDITURA POLITEHNIUM 2011
-
Editura POLITEHNIUM
a Universităţii Tehnice „Gheorghe Asachi”din Iaşi
Bd. Dimitrie Mangeron, nr.67,
RO-700050 Iaşi, România
Tel/Fax: 40 232 – 231343
Editura Politehnium (fostă „Gheorghe Asachi”) este recunoscută de
Consiliul Naţional al Cercetării Ştiinţifice din Învăţământul Superior (CNCSIS)
Referenţi ştiinţifici:
Prof. univ. dr. ing. Corneliu Lazăr
Prof. univ. dr. ing. Doru Pănescu
Director editură:
Prof. univ. dr. ing. Mihail VOICU
Membru corespondent al Academiei Române
Redactor:
Ing. Elena MATCU-ZBRANCA
Răspunderea pentru tot ceea ce conţine prezenta carte aparţine
în întregime autorului ei.
Descrierea CIP a Bibliotecii Naţionale a României
COPOŢ, COSMIN
Tehnici de control pentru sistemele servoing
vizuale / Copoţ, Cosmin. - Iaşi : Politehnium, 2011
Bibliogr.
ISBN 978-973-621-361-8
-
UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI MINISTERUL MUNCII, FAMILIEI ŞI
PROTECŢIEI SOCIALE AMPOSDRU
Fondul Social European
POSDRU 2007-2013
Instrumente Structurale
2007-2013 OIPOSDRU UNIVERSITATEA TEHNICĂ
“GHEORGHE ASACHI” DIN IAŞI
Studiile prezentate în această carte fac obiectul unor cercetări
realizate în cadrul programului doctoral “Burse Doctorale - O Investiţie în
Inteligenţă (BRAIN)”, parcurs de către doctorand sub coordonarea
domnului Prof.univ.dr.ing. Corneliu LAZĂR.
Conținutul acestui material nu reprezintă în mod obligatoriu poziția
oficială a Uniunii Europene sau a Guvernului României.
Proiectul „Burse Doctorale - O Investiţie în Inteligenţă
(BRAIN)”, POSDRU/6/1.5/S/9, ID 6681, este un proiect strategic care are
ca obiectiv general „Îmbunătățirea formării viitorilor cercetători în cadrul
ciclului 3 al învățământului superior - studiile universitare de doctorat - cu
impact asupra creșterii atractivității şi motivației pentru cariera în
cercetare”.
Proiect finanţat în perioada 2008 - 2011.
Finanţare proiect: 14.424.856,15 RON
Beneficiar: Universitatea Tehnică “Gheorghe Asachi” din Iaşi
Partener: Universitatea “Vasile Alecsandri” din Bacău
Director proiect: Prof. univ. dr. ing. Carmen TEODOSIU
Responsabil proiect partener: Prof. univ. dr. ing. Gabriel LAZĂR
-
soţiei şi familiei mele
-
Menţiuni
Această lucrare este rezultatul cercetărilor efectuate în perioada septembrie 2008 –
septembrie 2011 în domeniul Ingineria Sistemelor, în cadrul Facultăţii de Automatică şi
Calculatoare, Universitatea Tehnică „Gheorghe Asachi”, Iaşi. Pe parcursul studiilor doctorale
am beneficiat de bursă doctorală prin proiectul BRAIN, finanţat de Uniunea Europeană.
Pe tot parcursul efectuării acestei lucrări am avut parte de sprijinul necondiţionat al
conducătorului tezei de doctorat, domnul Prof. dr. ing. Corneliu Lazăr, căruia doresc să îi
mulţumesc pe această cale pentru toată răbdarea cu care m-a îndrumat în activitatea ştiinţifică
şi pentru colaborarea fructuoasă avută pe parcursul cercetărilor doctorale care a contrinuit la
formarea mea ştiinţifică.
De asemenea, doresc să mulţumesc domnului dr. Adrian Burlacu, pentru sprijinul
moral şi ştiinţific, încrederea acordată şi buna colaborare pe parcursul celor trei ani de
doctorat.
Totodată, ţin să muţumesc domnului dr. Enric Cervera, Universitatea “Jaume I” din
Spania pentru posibilitatea acordată de a-mi desfăşura stagiul extern de cercetare în cadrul
laboratorului de robotică şi inteligenţă artificială.
Mulţumesc colegilor: Andreea, Alina, Costi, Carlos, Bogdan, Marius, Mircea, Simona,
Alex din cadrul departamentului de Automatică şi Calculatoare pentru mediul creat şi pentru
timpul petrecut împreună în laborator şi nu numai.
În cele din urmă aş dori să mulţumesc familiei şi soţiei pentru spijinul şi încrederea
acordată pe parcursul celor trei ani de doctorat.
-
CUPRINS
CUPRINS ................................................................................................................................... I
LISTA DE FIGURI ................................................................................................................. V
LISTA DE ABREVIERI ........................................................................................................ IX
CAPITOLUL 1. INTRODUCERE ......................................................................................... 1
1.1. SISTEMELE SERVOING VIZUALE ................................................................................ 1
1.2. TRĂSĂTURI VIZUALE ................................................................................................ 2
1.3. CONTROLUL SISTEMELOR SERVOING VIZUALE ......................................................... 3
1.4. REZUMATUL TEZEI ................................................................................................... 4
1.5. DISEMINAREA REZULTATELOR ................................................................................. 6
CAPITOLUL 2. SISTEME SERVOING VIZUALE ............................................................ 9
2.1. INTRODUCERE .......................................................................................................... 9
2.2. TRĂSĂTURI VIZUALE .............................................................................................. 10
2.2.1. Puncte de interes ................................................................................. 11
2.2.1.1. Operatorul Harris ................................................................ 11
2.2.1.2. Detectorul SIFT .................................................................... 13
2.2.2. Momente ale imaginii .......................................................................... 19
2.3. MODELAREA ANSAMBLUI ROBOT – SENZOR VIZUAL .............................................. 22
2.3.1. Model multivariabil de tip ARIMAX ................................................... 23
2.3.2. Model cu observer robust pentru perturbatii in bucla interna ........... 26
2.4. MATRICEA DE INTERACȚIUNE ................................................................................ 27
2.4.1. Matricea de interacţiune pentru puncte de interes ............................. 28
2.4.2. Matricea de interacţiune pentru momente ale imaginii ...................... 30
2.5. ARHITECTURI DE CONTROL .................................................................................... 35
2.5.1. Arhitectura de control bazată pe poziție ............................................. 36
2.5.2. Arhitectura de control bazată pe imagine ........................................... 37
2.5.3. Legi de control .................................................................................... 39
2.5.3.1. Controlul proporțional ......................................................... 39
2.5.3.2. Controlul predictiv ............................................................... 41
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
ii
2.6. SIMULATOR PENTRU SISTEMELE SERVOING ............................................................ 42
2.7. CONCLUZII ............................................................................................................. 47
CAPITOLUL 3. ANALIZA PERFORMANŢELOR TRĂSĂTURILOR VIZUALE
UTILIZATE ÎN APLICAŢII SERVOING .......................................................................... 49
3.1. INTRODUCERE ........................................................................................................ 49
3.2. DETECȚIA ȘI EVALUAREA TRĂSĂTURILOR PUNCTIFORME ....................................... 50
3.2.1. Criterii de evaluare a punctelor de interes ......................................... 51
3.2.2. Implementarea operatorilor Harris și SIFT ........................................ 56
3.2.2.1. Implementarea operatorului Harris ...................................... 56
3.2.2.2. Implementarea detectorului SIFT .......................................... 58
3.2.3. Analiza performanțelor pentru aplicații servoing ................................ 62
3.3. EVALUAREA TRĂSĂTURILOR DE TIP MOMENTE ALE IMAGINII .................................. 65
3.3.1 Criteriu de evaluare a momentelor derivate din puncte de interes ....... 66
3.3.2. Analiza performanțelor pentru aplicații servoing ................................ 68
3.4. CONCLUZII .............................................................................................................. 71
CAPITOLUL 4. LEGI DE CONTROL CONVENŢIONALE ........................................... 75
4.1 INTRODUCERE .......................................................................................................... 75
4.2. LEGEA DE CONTROL PROPORȚIONALĂ .................................................................... 76
4.3. SIMULATOARE SERVOING PENTRU REGLAREA PROPORȚIONALĂ ............................. 78
4.3.1. Simulator pentru trăsături punctiforme .............................................. 79
4.3.2. Simulator pentru momente ale imaginii .............................................. 80
4.3.3. Rezultate obținute prin simulare ......................................................... 82
4.4. IMPLEMENTAREA ÎN TIMP REAL A UNUI REGULATORUL PROPORȚIONAL BAZAT PE
PUNCTE DE INTERES ....................................................................................................... 85
4.4.1. Arhitectura de control ......................................................................... 85
4.4.2. Interfațarea cu robotul ........................................................................ 90
4.4.3. Rezultate experimentale ...................................................................... 91
4.4.3.1. Rezultate obţinute cu operatorul Harris............................... 91
4.4.3.2. Rezultate obţinute cu operatorul SIFT ................................. 97
4.6. CONCLUZII ........................................................................................................... 100
CAPITOLUL 5. TEHNICI DE CONTROL PREDICTIV PENTRU SISTEMELE
SERVOING ........................................................................................................................... 103
5.1. INTRODUCERE ...................................................................................................... 103
5.2. ALGORITMI DE CONTROL PREDICTIV PENTRU TRĂSĂTURI PUNCTIFORME ............. 104
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
iii
5.2.1. Predictor pentru puncte de interes .................................................... 104
5.2.2. Generarea traiectorie de referință pentru puncte de interes ............ 105
5.2.3. Funcția de cost .................................................................................. 109
5.2.4. Simulator pentru puncte de interes folosind controlul predictiv ....... 110
5.3. ALGORITMI DE CONTROL PREDICTIV PENTRU MOMENTE ALE IMAGINII................. 112
5.3.1. Predictor pentru momente ale imaginii ............................................ 113
5.3.2. Funcția de cost .................................................................................. 116
5.3.3. Simulator pentru momente ale imaginii folosind controlul predictiv 117
5.4. IMPLEMENTAREA ÎN TIMP REAL A REGULATORULUI PREDICTIV ............................ 123
5.4.1. Arhitectura de control ....................................................................... 123
5.4.2. Rezultate experimentale .................................................................... 126
5.5. CONCLUZII ........................................................................................................... 132
CAPITOLUL 6. CONCLUZII ŞI DIRECŢII VIITOARE ............................................... 135
6.1. CONTRIBUȚII ........................................................................................................ 136
6.2. DIRECȚII VIITOARE ............................................................................................... 137
BIBLIOGRAFIE .................................................................................................................. 141
-
v
Lista de figuri
Figura 2.1. Principiul funcţiei de auto-corelaţie ..................................................................... 12
Figura 2.2. (a) Reprezentarea scalei pentru 3 niveluri ale unei octave; (b) Fereastra de 3 3
din jurul punctului P ............................................................................................................... 15
Figura 2.3. (a) Histograma orientărilor; (b) Orientările fundamentale .................................. 18
Figura 2.4. (a) Trăsăturile obiectului detectatea cu SIFT; (b) Orientarea şi magnitudinea
celor 256 de pixeli din vecinătate de 16x16; (c) Descriptorul trăsăturii .................................. 18
Figura 2.5. Sistem visual servoing pentru controlul roboților ............................................... 22
Figura 2.6. Modelul VCMD al robotului ............................................................................... 24
Figura 2.7. Modelul liniarizat pentru VCMD ........................................................................ 24
Figura 2.8. Senzorul vizual .................................................................................................... 25
Figura 2.9. Structura de control pentru un sistem servoing ................................................... 25
Figure 2.10. Robotul modelat ca un VCMD folosind DOB ................................................... 26
Figura 2.11. Structura de control a unui sistem servoing când robotul este modelat folosind
DOB ......................................................................................................................................... 27
Figura 2.12. Proiecţia în perspectivă a unui punct 3D ........................................................... 28
Figura 2.13. (a) Configuarţia eye-in-hand; (b) Configuraţia eye-to-hand ............................. 36
Figura 2.14. Diagrama bloc pentru arhitectura bazată pe poziţie .......................................... 36
Figura 2.15. Diagrama bloc pentru arhitectura bazată pe imagini ......................................... 37
Figura 2.16. Un exemplu al arhitecturii bazate pe imagini (camera este statică) .................. 38
Figura 2.17. Predictor bazat pe puncte de interes .................................................................. 41
Figura 2.18. Schema simulink pentru IBVS cand modelul robotului este 1 .......................... 43
Figura 2.19. Sistemele de coordonate ale robotului, camerei şi obiectului ............................ 44
Figura 2.20. Blocul Frame motion .......................................................................................... 46
Figura 3.1. Repetabilitatea şi -repetabilitatea unui punct 1p .............................................. 53
Figura 3.2. Trăsături detectate cu operatorul Harris pentru o secvență de imagini ............... 58
Figura 3.3. Trăsături extrase cu detectorul SIFT .................................................................... 60
Figura 3.4. Magnitudinea și orientarea pentru vecinătatea unui punct .................................. 62
Figura 3.5. Achiziţia imaginilor folosind robotul ABB ......................................................... 62
Figura 3.6. Secvenţa de imagini achiziţionată cu sistemul servoing real ............................... 63
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
vi
Figura 3.7. Gradul de împrăștiere .......................................................................................... 64
Figura 3.8. Rata de repetabilitate pentru F1 ........................................................................... 64
Figura 3.9. Rata de repetabilitate pentru descriptorul F2 ....................................................... 65
Figura 3.10. Rata de repetabilitate pentru F3 ......................................................................... 65
Figura 3.11. (a) ansamblul de puncte de interes detectate; (b) forma convexă ataşată
punctelor de interes; (c) forma convexă când dispar puncte nesemnificative; (d) forma
convexă când dispar puncte semnificative ............................................................................... 67
Figura 3.12. Scena de lucru pentru achiziția imaginilor ........................................................ 68
Figura 3.13. Punctele de interes extrase cu operatorul Harris când 83% ....................... 69
Figura 3.14. Distanţa Hausdorff șiftată corespunzătoare momentelor calculate pentru două
seturi de puncte de interes (două seturi diferite de parametrii, 1 şi 2 ) ................................ 70
Figura 3.15. Distanţa Hausdorff ............................................................................................. 70
Figura 3.16. Distanţa Hausdorff șiftată .................................................................................. 71
Figura 4.1. Arhitectura IBVS a unui sistem servoing ............................................................ 76
Figura 4.2. Structura de control pentru IBVS ce include modelul robotului ......................... 79
Figura 4.3. Arhitectura de control bazată pe feekback vizual pentru un sistem servoing ce
utilizează trăsături de tip momente ale imaginii ....................................................................... 81
Figura 4.4. Task servoing ....................................................................................................... 82
Figura 4.5. Viteza camerei când se utilizează trăsături de tip puncte de interes .................... 84
Figura 4.6. Viteza camerei când se utilizează trăsături de tip momente ale imaginii ............ 84
Figura 4.7. Eoarea momentelor imaginii ................................................................................ 84
Figura 4.8. Structura existenta folosind Modulul Opti-Master .............................................. 86
Figura 4.9. Arhitectura de control .......................................................................................... 87
Figura 4.10. Interfața cu utilizatorul ...................................................................................... 91
Figura 4.11. Sistemul servoing ............................................................................................... 92
Figura 4.12. Secvenţă de imagini achiziţionate în timpul execiţiei algoritmului................... 93
Figura 4.13. Evoluţia în timp a trăsăturilor din planul imaginii............................................. 94
Figura 4.14. Evoluţia vitezei camerei .................................................................................... 95
Figura 4.15. Evoluţia în spaţiul Cartesian a camerei ............................................................. 95
Figura 4.16. Traiectoriile trăsăturilor din planul imaginii: a) T=0.5; b) T=0.9 ...................... 95
Figura 4.17. Traiectoria camerei pentru valori diferite ale timpului de execuție T .............. 96
Figura 4.18. Traiectoriile trăsăturilor vizuale din planul imaginii: a) 0.01 ; b) 0.02 96
Figura 4.19. Evoluţia în timp a erorii pentru valori diferite ale parametrului ................... 97
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
vii
Figura 4.20. Secvenţa de imagini achiziţionate cu senzorul vizual ....................................... 97
Figura 4.21. Evoluţia în timp a trăsăturilor din planul imaginii pentru: (a) 0.05 ; (b)
0.07 ................................................................................................................................... 98
Figura 4.22. Evoluţia în timp a erorii pentru 0.05 şi 0.07 ....................................... 99
Figura 4.23. Evoluţia vitezei camerei pentru: (a) 0.05 ; (b) 0.07 ............................. 99
Figura 5.1. Arhitectura unui sistem servoing bazată pe controlul predictiv ........................ 105
Figura 5.2. Traiectoria de referință ...................................................................................... 106
Figura 5.3. Proiecţia unui punct din spaţiul 3D în planul imaginii pentru două posturi diferite
ale camerei .............................................................................................................................. 107
Figura 5.4. Variația fucției de timp q în raport cu modificarea parametrului ................ 108
Figura 5.5. Simulator control predictiv – puncte de interes ................................................. 110
Figura 5.6. Traiectoria de referință corespunzătoare punctelor de interes pentru:
(a) ( /12)tg ; (b) ( / 3)tg ...................................................................................... 111
Figura 5.7. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul
proporțional ............................................................................................................................ 111
Figura 5.8. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul
predictiv .................................................................................................................................. 112
Figura 5.9. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul
predictiv folosind traiectoria de referință ............................................................................... 112
Figura 5.10. Predictorul pe un pas pentru momente ale imaginii folosind puncte de interes
................................................................................................................................................ 113
Figura 5.11. Arhitectura de control predictiv folosind predictorul pentru momente ale
imaginii bazat pe puncte de interes ........................................................................................ 113
Figura 5.12. Predictorul pe un pas bazat pe momente ale imaginii ..................................... 114
Figura 5.13. Arhitectura de control predictiv folosind predictorul bazat pe momente ........ 115
Figura 5.14. Arhitectura de control folosind predictorul bazat pe momente ale imaginii și
traiectoria de referință ............................................................................................................ 115
Figura 5.15. Traiectoria de referință pentru momente ale imaginii ..................................... 116
Figura 5.16. Simulator control predictiv – momente ale imaginii ....................................... 117
Figure 5.17. Traiectoria punctelor în planul imaginii (a) și viteza camerei (b) pentru cazul în
care predicția momentelor se realizează folosind puncte de interes ...................................... 120
Figure 5.18. Traiectoria punctelor în planul imaginii (a) și viteza camerei (b) pentru cazul în
care predicția momentelor se realizează direct în spațiul momentelor .................................. 120
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
viii
Figure 5.19. Traiectoria punctelor în planul imaginii (a) și viteza camerei (b) când predicția
momentelor se realizează în spațiul momentelor folosind traiectoria de referință ................ 120
Figura 5.20. Traiectoria de referință pentru: (a) 0 ; (b) ( /8)tg ; .......................... 121
Figura 5.21. Viteza camerei (a), (c), (e) și traiectoria punctelor în planul imaginii (b), (d), (f)
în raport cu cele trei valori ale lui ..................................................................................... 122
Figura 5.22. Arhitectura de control pentru sistemul în timp real ......................................... 123
Figura 5.23. Interfaţa de comunicare ................................................................................... 125
Figura 5.24. Sistemul servoing ............................................................................................. 127
Figura 2.25. Sistemul de coordonate pentru configuraţia eye-in-hand în poziţia de calibrare a
robotului ................................................................................................................................. 128
Figura 5.26. Trăsăturile vizuale extrase cu operatorul Harris pentru: (a) imaginea inițială; (b)
imaginea dorită ....................................................................................................................... 129
Figura 5.27. Viteza camerei folosind regulatorul proporțional: (a) bazat pe puncte de interes;
(b) bazat pe momente ale imaginii ......................................................................................... 129
Figura 5.28. Viteza camerei folosind regulatorul predictiv: (a) bazat pe puncte de interes; (b)
bazat pe momente ale imaginii ............................................................................................... 130
Figura 5.29. Trăsăturile vizuale extrase cu operatorul Harris pentru: (a) imaginea inițială; (b)
imaginea dorită în cazul unui obiect pătrat ............................................................................ 130
Figura 5.30. Viteza camerei folosind regulatorul proporțional: (a) bazat pe puncte de interes;
(b) bazat pe momente ale imaginii pentru un obiect pătrat .................................................... 131
Figura 5.31. Viteza camerei folosind regulatorul predictiv: (a) bazat pe puncte de interes; (b)
bazat pe momente ale imaginii pentru un obiect pătrat .......................................................... 131
-
ix
Lista de abrevieri
ARIMAX Auto Regressive Integrated Moving Average with Exogeneous
Input
D-H Denavit-Hartenberg
DOB Disturbance Observer
DoG Difference of Gaussian
FRC Fanuc Robot Class
HVS Hybrid Visual Servoing
IBVS Image Based Visual Servoing
PBVS Position Based Visual Servoing
RCI Robot Communication Interface
RDI Robot Driver Interface
RPbI Regulator Predictiv Bazat pe Imagine
SIFT Scale Invariant Feature Transform
TCP Tool Center Point
VCMD Virtual Cartesian Motion Device
VISP Visual Servoing Platform
ZOH Zero-Order Hold
-
Capitolul 1. Introducere
Cercetările recente din domeniul roboticii vizează folosirea unor senzori auxiliari care
să contribuie la îmbunătățirea robusteții, flexibilității și preciziei sistemului. Informațiile
senzoriale obținute sunt folosite în bucla de reglare a sistemului. În ultimii ani s-au fost
dezvoltat diferite tipuri de senzori pentru îndeplinirea unor sarcini specifice, dar care în
același timp diferă între ele. În robotică, cei mai folosiți senzori sunt: senzori de forță, senzori
de cuplu, senzori cu ultrasunete și senzori vizuali. Dintre toate tipurile de senzori, senzorul
vizual oferă cele mai complete informații ce pot fi folosite în bucla de reglare. Prin folosirea
acestui tip de senzor, robotul poate interacţiona cu mediul de lucru fără a intra în contact cu
acesta. Utilizarea trăsăturilor vizuale extrase din imaginile achiziționate cu ajutorul senzorului
vizual pentru a închide bucla de reglare a sistemului, reprezintă o metodă viabilă pentru a
controla mișcările robotului și este cunoscută sub denumirea de sistem servoing vizual.
1.1. Sistemele servoing vizuale
Sistemele servoing vizuale reprezintă o ramură de cercetare care îmbină rezultatele din
diferite domenii cum ar fi: vederea artificială, robotică, precum și proiectarea aplicațiilor în
timp real, acesta devenind un domeniu de interes major pentru cercetările din ultimul
deceniu. Sistemele servoing se referă la folosirea trăsăturilor vizuale pentru a controla
traiectoria mișcării unui robot manipulator. Trăsăturile vizuale sunt definite ca proprietăți ale
obiectelor ce compun o imagine. Imaginile pot fi achiziționate cu ajutorul unui senzor vizual
care este montat fie într-o poziție fixă în mediul de lucru, fie pe ultima articulație a robotului.
Prima configurație este denumită eye-to-hand, iar cea de-a doua configurație este denumită
eye-in-hand și este folosită pentru realizarea experimentelor din cadrul tezei de doctorat. În
(Weiss, 1988) se face pentru prima dată o descriere completă a celor două arhitecturi
fundamentale ale sistemelor servoing vizuale: arhitectura bazată pe poziţie si arhitectura
bazată pe imagine. Fiecare din cele doua arhitecturi prezintă avantaje si dezavantaje pentru
procesele de timp real (Corke și Hutchinson, 2001).
Arhitectura bazată pe poziţie constă în calcularea unei erori reprezentate în sistemul
Cartezian şi necesită atât un model al obiectului ( de obicei de tip CAD) cât şi o cameră
perfect calibrată pentru a obţine o estimare a poziţiei şi orientării obiectului (Mezouar și
Chaumette, 2002).
-
Capitolul 1 – Introducere
2
Avându-se ca unul din scopurile principale stabilitatea globală a sistemelor servoing,
s-a constatat faptul că arhitectura bazată pe poziţie suferă limitări masive din punct de vedere
al robusteţii şi descrierii matematice a modelelor necesare implementărilor fizice. Astfel, aşa
numitele metode hibride, au fost create pentru a combina avantajele celor două arhitecturi
(Kyrki et al., 2004; Comport et al., 2003).
În cazul arhitecturii bazate pe imagine, se evita folosirea unui model al obiectului prin
măsurarea unui semnal eroare în planul imaginii, semnal mapat direct în comenzile
elementului de execuţie al robotului (Corke și Hutchinson, 2001).
Ambele arhitecturi folosesc trăsături vizuale ca mărimi de caracterizare a proprietăţilor
obiectelor în planul imaginii. Dacă pentru arhitectura bazată pe poziţie trăsăturile sunt folosite
pentru a caracteriza poziţii prin corelarea planului imaginii cu spaţiul tridimensional, în cazul
arhitecturii bazate pe imagine aceste trăsături conduc la formarea matricii Jacobian, matrice ce
reprezintă maparea între vitezele obiectelor proiectate în planul imaginii şi mediul de lucru al
robotului. Singularităţile care pot să apară în cazul matricii Jacobian plus imposibilitatea
controlului direct asupra vitezelor dezvoltate de robot în spaţiul tridimensional conduc la
dificultăţi în proiectarea regulatorului. În cazul arhitecturii bazate pe imagine, modul de
abordare este de a reduce eroarea dintre un set de trăsături curente și un set de trăsături dorite.
O functie eroare este definită din punct de vedere al cantităților care pot fi măsurate direct
într-o imagine, iar legea de control este construită astfel încât această eroare mapează direct
mișcarea robotului. În funcție de tipul arhitecturii de control folosite, un obiect poate fi
caracterizat prin poziția sa sau pe baza trăsăturilor vizuale extrase din imagine.
1.2. Trăsături vizuale
Alegerea unui set adecvat de trăsături vizuale este necesară pentru a se asigura o
corelare cât mai exactă între dinamica din spaţiul imaginii şi dinamica din spaţiul task-urilor,
ceea ce conduce la diferite entităţi: trăsături de tip punct (centroizi, colţuri), momente ale
imaginii, ariile regiunilor proiectate, orientarea liniilor care unesc doua puncte, lungimile
muchiilor, parametrizarea liniilor etc. (Marchand și Chaumette, 2005; Chaumette, 2004;
Mahony et al., 2002). Aceste tipuri de trăsături vizuale pot fi folosite pentru generarea legii de
control bazate pe imagine. Cele mai utilizate sunt trăsăturile punctiforme și cele bazate pe
momente ale imaginii. Trăsăturile punctiforme pot fi uni-dimensionale (muchie) și bi-
dimensionale (colţ). Principalul avantaj al folosirii trăsăturilor punctiforme este acela al
calculării matricei de interacțiune relativ simplu deoarece coordonatele punctelor sunt
cunoscute. Dezavantajul utilizării punctelor de interes în aplicații servoing fiind acela al
stabilității reduse (nu sunt invariante la transformări ale obiectului în scena de lucru). Această
problemă întâlnită la trăsăturile punctiforme poate fi eliminată dacă se folosesc trăsături de tip
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
3
momente ale imaginii pentru a genera legea de control. Ideea folosirii momentelor în aplicații
servoing este relativ veche, dar problema era matricea de interacțiune care nu era disponibila
pentru orice tip de obiect. În (Chaumette, 2004) a fost dezvoltată o metodă cu ajutorul căreia
se poate calcula matricea de interacțiune corespunzătoare momentelor imaginii pentru orice
tip de obiect. Trăsăturile de tip momente ale imaginii fiind astfel utilizate mai des în aplicații
servoing.
1.3. Controlul sistemelor servoing vizuale
Controlul roboţilor studiază structura şi funcţionarea sistemului de comandă al
roboţilor. Pe baza modelului geometric şi dinamic, a sarcinii de îndeplinit convertită în
traiectoria de urmat, se stabilesc comenzile necesare elementelor de acţionare şi elementelor
hardware şi software care să furnizeze aceste comenzi, folosind şi semnalele de reacţie
obţinute de la sistemul senzorial (Spong et al., 2006). Rezultă astfel complexitatea sistemului
de control al unui robot. Acesta va avea frecvent o organizare ierarhică, în care pe nivelul
superior se află partea de decizie cu privire la acţiunea de întreprins, iar pe nivelul inferior
elementele de control şi acţionare ale articulaţiilor. Aceste comenzi vor trebui să ţină seama şi
de performanţele dorite pentru robot, aici intervenind modelul dinamic al robotului. Structura
tipică a sistemului de control va conţine un calculator pe nivelul superior şi un sistem cu unul
sau mai multe microcontrolere comandând elementele de acţionare din articulaţii.
Dintre toate domeniile în care un robot, sau un calculator, poate fi comparat cu
performanţele umane, văzul este probabil mai puţin satisfăcătoare prin calitatea rezultatelor.
Pentru că, chiar dacă suntem în stare să construim senzori mult mai sensibili decât organele
umane de simţ, nu putem egala resursele computaţionale dedicate de creier acestei activităţi.
În mod paradoxal, progresele din vederea artificială nu fac decât să sporească admiraţia
pentru modul în care creierul uman procesează imaginile, de la fizica formării imaginii, până
la sistemele de prelucrare şi analiză, precum şi pentru adaptabilitatea remarcabilă, la condiţii
de mediu extrem de schimbătoare. Din păcate, foarte multe lucruri ne sunt necunoscute despre
felul în care creierul procesează informaţiile vizuale, aşa că nu putem „copia” soluţia sa.
Selectarea unui set adecvat de trăsături vizuale și proiectarea legii de reglare reprezintă
principalul aspect pentru a obține o arhitectură de control cu performanțe ridicate. Cele mai
întâlnite probleme în sistemele servoing care influențează procesul de selectare a trăsăturilor
vizuale sunt problemele de minim local, problemele de singularitate și problemele de
vizibilitate. În general, problemele de minim local apar numai în anumite configurații
(Chaumette, 1998). Noțiunea de bază pentru un minim local este atunci când viteza camerei
0c v în timp ce eroarea dintre trăsăturile curente f şi cele dorite f este diferită de zero,
astfel sistemul converge către o configurație finală care este diferită de configurația dorită.
-
Capitolul 1 – Introducere
4
Dacă vectorul trăsăturilor vizuale f este compus din trei puncte de interes, aceeași imagine a
celor trei puncte poate fi vazută din diferite ipostaze astfel încât pentru diferite configurații ale
camerei să avem f f , adică avem mai multe minime globale. Pentru a obține o poziție
unică este necesar folosirea a cel puțin patru puncte. Prin utilizarea a patru puncte, legea de
control încearcă să impună 8 restricţii traiectoriei în planul imaginii în timp ce sistemul are
doar 6 grade de libertate. În acest caz, legea de control poate genera mișcări irealizabile în
planul imaginii indicând un minim local (Chaumette, 1998). Există diferite strategii de control
pentru sistemele servoing vizuale propuse în vederea eliminării problemei minimului local.
De exemplu, în (Gans și Hutchinson, 2007) s-a propus folosirea unei arhitecturi hibride, iar în
(Mezouar și Chaumette, 2002) folosirea unei strategii de planificare.
Dacă matricea de interacțiune este singulară, aceasta poate genera o problemă de
singularitate, adică, viteza tinde la infinit și sistemul servoing devine instabil. De exemplu,
această problemă poate apărea atunci când se utilizează un set de patru puncte de interes ca
trăsături vizuale, iar pentru a finaliza taskul servoing camera necesită o mișcare de rotație pură
de 180 în jurul axei sale optice. Pentru a realiza această mișcare punctele trebuie să se miște
concomitent în linie dreaptă, caz în care matricea de interacțiune este singulară (Chaumette,
1998). În astfel de cazuri, când este necesară o mișcare de rotație pură în jurul axei optice
corespunzătoare camerei, singularitatea poate fi evitată dacă în locul trăsăturilor de tip punct
de interes se folosesc parametrii cilindrici.
Trăsăturile vizuale utilizate în sistemele servoing pot părăsi spațiul camerei pe
parcursul taskului servoing (Chesi și Vicino, 2004). De aceea, este de dorit ca legile de
control folosite să fie capabile să păstreze trăsăturile vizuale în câmpul de vedere al camerei
pentru a obține un feedback corect în timpul procesului servoing. Pentru a minimiza
probabilitatea ca trăsăturile vizuale să părăsească spațiul camerei pot fi folosite strategii de
planificare (Mezouar și Chaumette, 2002) sau de marcare (Gans și Hutchinson, 2007).
Creşterea numărului de grade de libertate ale roboţilor incluşi în sistemele servoing şi
complexitatea mărită a obiectelor din scena de lucru (Fuijimoto, 2003) au condus la
necesitatea implementării de noi metode pentru proiectarea legii de control. Astfel una din
soluţiile propuse vizează controlul predictiv (Gangloff și Mathelin, 2003) cu scopul de a
creşte viteza de răspuns a sistemului servoing.
1.4. Rezumatul tezei
Lucrarea este structurată în șase capitole după cum urmează:
În capitolul 2 intitulat ”Sisteme servoing vizuale” sunt prezentate diverse metode din
sistemele servoing vizuale care vor fi ulterior folosite pentru dezvoltarea contribuțiilor proprii
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
5
din cadrul tezei. Prima parte a acestui capitol este dedicată detectării a două tipuri de trăsături
vizuale: puncte de interes şi momente ale imaginii. O trăsătură vizuală de tip punct de interes
este o locaţie din planul imaginii în care funcţia imagine are variaţii pe cel puţin două direcţii.
Pentru extragerea punctelor de interes se folosesc două detectoare: operatorul Harris şi
detectorul SIFT. Momentele imaginii reprezintă trăsături geometrice globale ale funcţiei
imagine. Sistemul servoing vizual este compus dintr-un robot manipulator, un senzor vizual și
un regulator bazat pe imagine. În continuare sunt prezentate două metode folosite pentru
modelarea ansamblului robot-senzor vizual. Aceste metode de deducere a ansamblului robot-
senzor vizual se bazează fie pe un model multivariabil de tip ARIMAX, fie pe un model cu
observer robust pentru perturbaţii. În acest capitolul mai sunt prezentate și metodele analitice
folosite pentru calculul matricei de interacțiune pentru puncte de interes și respectiv pentru
momente ale imaginii. Pentru efectuarea experimentelor din cadrul tezei de doctorat se
utilizează arhtectura de control bazată pe imagine, astfel, pentru a realiza legătura dintre
trăsăturile vizuale din planul imaginii și spațiul Cartesian este necesar calcularea matricei de
interacțiune. În finalul acestui capitol sunt prezentate arhitecturile fundamentale ale sistemelor
servoing: arhitectura bazată pe poziţie şi arhitectura bazată pe imagine. Simulatorul pentru
sistemele servoing care stă la baza simulatoarelor servoing dezvoltate în cadrul cercetărilor
doctorale este prezentat în ultima parte a acestui capitol.
Capitolul 3 intitulat ”Analiza performanțelor trăsăturilor vizuale utilizate în aplicații
servoing” este dedicat criteriilor de evaluare a trăsăturilor de tip puncte de interes și a
trăsăturilor de tip momente ale imaginii în aplicații servoing. Evaluarea trăsăturilor de tip
puncte de interes se realizează pe baza criteriilor utilizate în aplicații servoing cum ar fi:
stabilitate, robustețe, repetabilitate și gradul de împrăștiere. Pentru a analiza performanțele
trăsăturilor de tip momente ale imaginii s-a propus un nou criteriu de evaluare ce se bazează
pe distanța Hausdorff. Acest criteriu ce utilizează momente ale imaginii permite atât o analiză
cantitativă cât și calitativă a punctelor de interes detectate, realizându-se astfel o analiză mai
complexă a punctelor de interes ce caracterizează starea unui obiect.
În capitolul 4 intitulat ”Legi de control convenționale” este prezentată arhitectura de
control bazată pe feedback vizual în care dinamica robotului a fost modelată ca un dispozitiv
de mişcare cartesian virtual (Virtual Cartesian Motion Device - VCMD). Performanțele
sistemului servoing au fost analizate folosind un regulator proporțional bazat pe imagine ce
utilizează fie trăsături de tip puncte de interes, fie trăsături de tip momente ale imaginii pentru
a genera legea de reglare. Pentru implementarea, testarea și validarea algoritmului de control
s-a dezvoltat două simulatoare cu regulator proporțional bazat pe trăsături de tip puncte de
interes și, respectiv, trăsături de tip momente ale imaginii. Pornind de la aceste simulatoare
servoing s-a dezvoltat o arhitectură de control pentru a controla în timp real mișcarea unui
-
Capitolul 1 – Introducere
6
robot manipulator ABB IRB2400 cu 6 grade de libertate. Pentru proiectarea legii de reglare s-
a folosit trăsături vizuale de tip puncte de interes și un regulator proporțional bazat pe
imagine.
Capitolul 5 intitulat ”Tehnici de control predictiv pentru sistemele servoing” este
dedicat metodelor de control predictiv utilizate în sistemele servoing vizuale. Pentru a
predicta mișcarea trăsăturilor vizuale în planul imaginii, s-a utilizat un predictor bazat pe
modelul local al sistemului servoing vizual. În cadrul strategiei de control predictiv s-a
dezvoltat o nouă arhitectură de control predictiv pentru sistemele servoing care, pentru prima
dată, utilizează o traiectorie de referință pentru generarea dinamicii (vitezei de răspuns)
sistemului de control. În cazul trăsăturilor vizuale de tip momente ale imaginii au fost propuse
două metode folosite pentru a calculul predicțiilor trăsăturilor de tip momente. Pentru a testa
și valida teoria propusă s-a dezvoltat simulatoare servoing ce se bazează pe controlul
predictiv. Folosind teoria propusă s-a realizat un sistem servoing pentru controlul în timp real
a unui robot manipulator FANUC cu 6 grade de libertate.
În capitolul 6 se prezintă concluziile finale, contribuțiile originale din cadrul tezei,
precum și direcțiile viitoare de cercetare.
1.5. Diseminarea rezultatelor
Rezultatele cercetărilor doctorale au fost prezentate în 13 articole publicate sau
acceptate spre publicare din care: o lucrare într-o revistă cotată ISI cu factor de impact 1.717,
două lucrări în reviste indexate BDI, un capitol în carte publicată la editura ELSEVIER, 7
lucrări la conferinţe cu volume indexate în baze de date internaţionale din care 5 ISI
Proceedings, una la Congresul IFAC 2011 şi una SCOPUS şi două lucrări la conferinţe
internaţionale la care se efectuaează recenzia lucrărilor.
Reviste ISI cu factor de impact
Copoț C., Lazăr C. și Burlacu A., (2011). Predictive Control of Nonlinear Visual
Servoing Systems using Image Moments, IET Control Theory and Applications,
accepted with revisions (cotată ISI, impact factor = 1.717).
Reviste indexate BDI
Copoţ C., Burlacu A., Lazăr C., (2011). Image moments based predictive control for
eye-in-hand servoing systems, Buletinul Institutului Politehnic din Iași, Automatic
Control and Computer Science Section, Tome LVII (LXI), Fasc. 1. (indexată
Zentralblatt)
http://zb.msri.org/ZMATH/serials/en/search/?an=00002662
-
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
7
Burlacu A., Copoţ C., Lazăr C., (2007). SIFT Based Algorithm for Point Feature
Tracking, The Annals of “Dunarea de Jos” University of Galati, Fascicle III, pag. 59-
64. (indexată PROQUEST-CSA / EBSCO ).
Capitol în carte
Copoț C., Lazăr C. şi Burlacu A. (2011). Nonlinear Model based Predictive Control
of Visual Servoing Systems using Image Moments, editura ELSEVIER, In Press.
Conferinţe cu volume indexate în baze de date internaţionale
ISI Proceedings
Burlacu A., Copoț C., Cervera E. și Lazăr C., (2011). Real-Time Visual Predictive
Control of Manipulation Systems, Proc. of. IEEE 15th
International Conference on
Advanced Robotics, ICAR‟15, Tallin, Estonia, pag. 383 – 388. (indexată ISI
Proceedings)
Copoț C., Burlacu A. și Lazăr C., (2011). Visual Predictive Control Architecture
based on Image Moments for Manipulators Robots, Proc. of 20th
IEEE Int. Symposium
on Industrial Electronics, Gdansk, Polonia, pag. 963 – 968. (indexată ISI Proceedings)
Copoţ C., Burlacu A., Lazăr C., (2010). Visual control architecture of servoing
systems based on image moments, Proc. of 12th
Int. Conference on Optimization of
Electrical and Electronic Equipment (OPTIM), Braşov, pag.801-806. (indexată ISI
Proceedings)
Burlacu A., Copoţ C., Lazăr C., (2010). An Hausdorff distance based approach for
evaluation of image moments in servoing applications, Proc. of IEEE Int. Conference
on Intteligent computer Communication and Processing, Cluj-Napoca, pag.255-258.
(indexată ISI Proceedings)
Copoţ C., Burlacu A. şi Lazăr C. (2009). Image Moments Based Visual Control
Algorithm for Servoing Systems, Proc. of IEEE International Conference on
Intelligent Computer Communication and Processing, Cluj-Napoca, pag. 157-160.
(indexată ISI Proceedings)
Congresul IFAC
Lazăr C., Burlacu A. și Copoț C., (2011). Predictive Control Architecture for Visual
Servoing of Robot Manipulators, Proc. of 18th
IFAC World Congress, Milano, Italia,
August 2011, pag. 9464-9469.
SCOPUS
Burlacu A., Copoț C., Panainte A., Pascal C. şi Lazar C., (2011). Real-time Image
Based Visual Servoing Arhitecture for Manipulator Robots, Proc. of Int. Conference
on Computer Vision Theory and Applications, Vilamoura, Portugalia, pag. 502-510.
(indexată SCOPUS/SciTePress)
-
Capitolul 1 – Introducere
8
Conferinţe internaţionale la care se efectuaează recenzia lucrărilor
Copoţ C., Burlacu A., Lazăr C. (2010). An image moment based approach for visual
predictive control, Proc. of 14th
Int. Conference on System Theory and Control
(ICSTC), Sinaia, pag.154-159.
Copoț C., Lazăr C. şi Burlacu A. (2009). Image features detection and analysis for
visual servoing applications, Proc. of 17th
International Conference on Control
Systems and Computer Science, Ed. Politehnica Press, Bucureşti, pag. 467-473.
-
Capitolul 2. Sisteme servoing vizuale
2.1. Introducere
Visual servoing reprezintă o fuziune a rezultatelor obţinute din cercetări ale mai
multor domenii cum ar fi analiza şi procesarea în timp real a imaginilor, robotică, teoria
controlului şi a sistemelor, proiectarea aplicaţiilor în timp real. Una dintre componentele
fundamentale ale unui robot este senzorul vizual, care permie investigarea mediului de lucru
fără a fi necesar contactul cu elementele acestuia (Shapiro şi Stockman, 2000; Ponce, 2003).
Comportarea sistemelor servoing vizuale este în principal influențată de tipul trăsăturilor
vizuale utilizate pentru a genera legea de control. Arhitecturile de control corespunzătoare
sistemelor servoing sunt împărțite în trei categorii: arhitectura bazată pe poziție (PBVS – eng.
Position Based Visual Servoing) (Deng et al., 2003; Wilson et al., 1996), arhitectura bazată
pe imagine (IBVS – eng. Image Based Visual Servoing) (Janabi-Sharifi şi Wilson, 1997;
Gans et al., 2003) și arhitectura hibridă (HVS – eng. Hybrid Visual Sevoing) (Cervera et al.,
2003; Corke et al., 2009), fiecare având avantaje și dezavantaje (Weiss, 1984; Chaumette și
Hutchinson, 2006; Siciliano et al., 2009).
Visual servoing este cunoscută ca fiind o tehnică flexibilă și robustă folosită pentru a
crește acuratețea și versatilitatea unei arhitecturi de control bazată pe feedback vizual
(Hutchinson et al., 1996; Chaumette și Hutchinson, 2006; Chaumette și Hutchinson, 2007;
Tatsambon Fomena şi Chaumette, 2009). Taskul unui sistem servoing este de a controla
mișcarea unui robotmanipulator dintr-o poziție inițială către o configurație dorită. Taskul unui
sistem servoing vizual este definit în raport cu modul în care robotul poate interacționa cu
mediul de lucru folosind senzori vizuali. Mișcările efectuate de robotul manipulator aparțin
unui spațiu de configurare e , denumit spațiul taskurilor. În spațiul de lucru 3D, atunci când
pentru finalizarea unui task servoing robotul necesită mișcări de translație, mișcări de rotație
sau mișcări complexe (atât mișcări de rotație cât și de translație), spațiul taskurilor este definit
prin 3e , unde 3 reprezintă spațiul Cartesian. Pentru a putea aplica aceste mișcări cu
privire la un anumit sistem de referință este necesară o transformare între cadre diferite pentru
a transmite mișcarea de la un sistem de referință la altul (Dombre și Khalil, 2007; Spong et
al., 2006).
În acest capitol sunt prezentate două detectoare: operatorul Harris şi detectorul SIFT
care sunt folosite pentru extragerea trăsăturilor vizuale de tip puncte de interes. Apoi este
-
Capitolul 2 – Sisteme servoing vizuale
10
descrisă o metodă de detecţie a trăsăturilor vizuale de tip momente ale imaginii. Două modele:
unul multivariabil de tip ARIMAX şi unul cu observer robust pentru perturbaţii sunt utilizate
în modelarea ansamblului robot-senzor vizual. În continuare este prezentată arhitectura de
control bazată pe poziţie şi cea bazată pe imagine. Aceste metode din sistemele servoing
vizuale prezentate în acest capitol sunt ulterior folosite pentru dezvoltarea contribuțiilor
proprii din cadrul tezei.
2.2. Trăsături vizuale
Trăsăturile vizuale extrase din imaginile achiziționate cu ajutorul senzorului vizual
reprezintă intrările pentru arhitectura de control. Senzorul vizual folosit pentru achiziția
imaginilor poate fi o cameră convențională utilizată de obicei în aplicațiile servoing, o cameră
cu ultrasunete sau o camera omni-direcțională (Mebaki, 2010; Hadj-Abdelkader et al., 2007).
Selectarea trăsăturilor vizuale reprezintă un punct crucial în sistemele servoing vizuale,
deoarece aceste trăsături vizuale sunt relevante în raport cu performanțele și acuratețea
sistemelor servoing. Numărul minim de trăsături vizuale utilizate în arhitectura de control
pentru a controla mișcarea unui robot manipulator depinde de numărul de grade de libertate al
robotului. Așadar, este de dorit să existe o corelație între trăsăturile vizuale folosite și
mișcările senzorului vizual. Trăsăturile vizuale ce pot fi utilizate ca intrare în structura de
control sunt împărțite în trei categori: trăsături geometrice, trăsături fotometrice și trăsături de
tip câmp de viteze.
Trăsăturile geometrice sunt de două tipuri: 2D – folosite pentru a descrie conținutul
geometric dintr-o zonă de lucru și 3D – folosite pentru a realiza corelația dintre sistemul de
referință corespunzător robotului și sistemul de referință corespunzător obiectului. Pentru
proiectarea unei arhitecturi de control pot fi utilizate simultan atât trăsăturile 2D cât și
trăsăturile 3D obținându-se astfel o arhitectură de control hibridă. Trăsăturile vizuale de tipul
2D sunt extrase din planul imaginii reprezentând coordonatele unor puncte de interes,
parametri ce definesc linii sau elipse, regiuni de interes, contururi (Espiau et al., 1992; Corke
și Hutchinson, 2001; Gans et al., 2003). Un alt tip de trăsături vizuale 2D ce pot fi folosite în
aplicațiile servoing sunt trăsăturile de tip momente ale imaginii (Chaumette, 2004; Tahri și
Chaumette, 2005). Folosind momente ale imaginii ca trăsături vizuale, apar îmbunătățiri
semnificative ale performanțelor sistemelor servoing deoarece permite o reprezentare generală
a funcției imagine și de asemenea permite descrierea obiectelor complexe cu forme
necunoscute. Un alt avantaj al acestor tipuri de trăsături este acela că pot fi folosite pentru a
proiecta un sistem servoing decuplat și în același timp pentru a minimiza neliniaritățile
introduse de matricea de interacțiune.
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
11
2.2.1. Puncte de interes
O trăsătură geometrică de tip punct de interes este un punct din imagine care are o
poziție bine definită şi poate fi viguros detectat. Aceasta înseamnă că punctul detectat poate fi
un punct de interes și totodată poate fi un punct izolat al unui minim sau maxim local,
terminaţiile unei muchii sau punctul în care curbura unei curbe atinge un maxim local. Un colţ
poate fi definit ca intersecţia a doua muchii. Ca o consecinţă, dacă un singur punct de interes
este detectat, este necesar să se facă o analiză locală pentru a selecta punctele de interes reale.
Detectoarele de puncte de interes nu sunt foarte robuste şi uneori necesită supravegherea unui
expert pentru prevenirea erorilor individuale. Performanțele detectoarelor de puncte de interes
sunt analizate pe baza abilităţii detectării unor colţuri în imagini multiple, care sunt similare,
dar nu identice, de exemplu, aceeaşi imagine având diferite luminozităţi, translaţii, rotaţii şi
alte transformări. În continuare sunt prezentate două detectoare: operatorul Harris şi
detectorul SIFT, care sunt folosite ulterior pentru extragerea punctelor de interes.
2.2.1.1. Operatorul Harris
Operatorul Harris se bazează pe utilizarea funcţiei de auto-corelaţie. Acest algoritm a
fost propus pentru prima dată de Moravec, urmând ca ulterior sa fie îmbunătăţit de către
Harris (Harris şi Stephens, 1988). Algoritmul Harris de detecție a punctelor de interes este
format din două etape: prima constă în calcularea valorilor funcţiilor de autocorelaţie pentru
fiecare pixel din imagine, iar în cea de-a doua se determină valoarea de maxim local a acestei
funcţii intr-o vecinătate definită de utilizator. Pixelii care sunt asociaţi acestor valori de
maxim local sunt consideraţi puncte de interes (colţuri).
Harris (Harris şi Stephens, 1988) îmbunătăţeşte algoritmul propus de Moravec
folosind funcția de auto-corelaţie. Fie funcția imagine ( , )I x y , matricea de auto-corelație se
calculează folosind următoare ecuație:
22
2 2( , )
x x yx x y
x y x y y x y y
I I II I IA g x y
I I I I I I
, (2.1)
unde
2 2
2
( )
( , )
x y
g x y e
reprezintă nucleul Gaussian, iar ,x yI I reprezintă gradienții funcției
imagine pe direcțiile x și y :
-
Capitolul 2 – Sisteme servoing vizuale
12
1,0,1
1,0,1
x
T
y
II I
x
II I
y
. (2.2)
Întrucât matricea A este simetrică, cele două valori proprii α şi β ale matricei sunt
reale şi astfel reprezentarea grafică a acestora este ilustrată în Figura 2.1. Analizând Figura
2.1, se disting trei cazuri:
dacă ambele valori proprii sunt mici, atunci nu este detectată prezenţa unei muchii
sau a unui colţ;
dacă una din valorile proprii este mare iar cealaltă mica, atunci este detectată
prezenţa unei muchii;
dacă ambele valori proprii sunt mari, atunci este indicată prezenţa unui colţ.
Ideea de bază în cazul algoritmului Harris de detecție a punctelor de interes este de a
analiza funcția ( )C A definită astfel:
2( ) det( ) trace ( )C A A A , (2.3)
unde det( )A reprezintă determinantul matricei A , reprezintă un parametru de
acordare, iar trace( )A reprezintă urma matricei A, de unde rezultă că o valoare mare a
punctului de interes corespunde unor valori mari ale valorilor proprii. Un colţ este detectat
dacă matricea A este de rang 2 şi are valori proprii semnificative.
Figura 2.1. Principiul funcţiei de auto-corelaţie
Conform algoritmului propus de Harris, pentru fiecare pixel din imagine se calculează
valoarea de colț cv (eng. cornerness value):
α
regiunea
marginilor
regiunea
colţurilor
regiune omogenă
β regiunea marginilor
4
3
2
1
0
-1
-2
-3
3
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
13
2 2
2 2 2
trace( )
det( )
x y
x y x y
I IAcv
A I I I I
, (2.4)
unde ,x yI I reprezintă gradienții funcției imagine pe direcțiile x și y filtrați cu un nucleu
Gaussian.
Un pixel este declarat punct de interes daca valoarea cv este sub un anumit prag
definit de utilizator. Comparând cv cu valoarea pragului, putem controla numărul de puncte
de interes detectate în funcție de pragul ales. Punctele de interes detectate cu ajutorul
operatorului Harris sunt invariante la transformări afine (rotaţie, translaţie) şi parţial
invariante la schimbări mici ale iluminozității scenei de lucru. În comparaţie cu alţi operatori,
putem afirma că performanţele (repetabilitate, stabilitate, precizie) operatorului Harris sunt
destul de ridicate.
2.2.1.2. Detectorul SIFT
În secțiunea anterioară a fost prezentat unul dintre cei mai importanți algoritmi de
detecție a punctelor de interes. Trăsăturile punctiforme (punctele de interes) extrase cu acest
algoritm își păstrează proprietățile doar în cazul secvențelor de imagini cu același factor de
scalare (distanța dintre planul de mișcare a obiectelor și cameră este constant). Însă, aplicațiile
de tip servoing conțin secvențe de imagini cu factor de scalare variabil astfel, punctele de
interes detectate trebuie să includă proprietăți de invariață la scalare. Din multitudinea
algoritmilor de detecție a punctelor de interes invariante la scalare, cele mai utilizate metode
sunt SIFT (Scale Invariant Features Transform) și algoritmul Harris-Laplace (Mikolajczyk și
Schmid, 2004).
În continuare este prezentat algortimul SIFT propus de Lowe (Lowe, 1999; 2003),
algortim ce se compune din patru etape:
1. Detectarea extremelor în spaţiul scalării
2. Localizarea trăsăturilor
3. Determinarea magnitudinii și a orientării pentru fiecare trăsătură
4. Crearea descriptorului
Primele două etape sunt utilizate pentru detecţia extremelor din spaţiul scalărilor şi
localizarea cu acurateţe a trăsăturilor, iar următoarele etape pentru asignarea orientării şi
descrierea trăsăturilor. Prima etapă pentru determinarea trăsăturilor de tip punct este
identificarea unor poziţii în spaţiul scalărilor ce reprezintă puncte de extrem ale unei anumite
funcţii. Detectarea poziţiilor invariante la diferite scalări ale imaginii se bazează pe găsirea
-
Capitolul 2 – Sisteme servoing vizuale
14
trăsăturilor stabile în toate nivelurile de scalare. Spaţiul scalărilor se construieşte folosind o
succesiune de filtrări cu un anumit nucleu (Lowe, 2003).
S-a demonstrat că singurul nucleu care se poate folosi pentru generarea unui spaţiu tri-
dimensional al scalărilor este nucleul Gaussian (Lindeberg, 1994; 1998):
22/)22(
2
1),,(
2
yxeyxG
, (2.5)
unde 2 reprezintă dispersia nucleului Gaussian. Spaţiul scalărilor, ( , , )L x y , este definit ca
produsul de convoluţie dintre funcţia imagine, ( , )I x y , şi nucleul Gaussian, ( , , )G x y :
( , , ) ( , , ) ( , )L x y G x y I x y . (2.6)
Funcția ( , , )L x y generează o succesiune de filtrări ale imaginii dependente de
parametrul . Considerând ca fiind o funcţie:
min max: , 0, 1o o S (2.7)
definită prin:
0( , ) 2o s
So s
, (2.8)
unde, o reprezintă una din octavele axei din spaţiul scalărilor, S numărul de niveluri ale
fiecarei octave, iar s indexul nivelului din octava o , se poate defini spațiul scalărilor.
Construcția spațiului scalărilor atașat unei imagini ( , )I x y se realizează recursiv prin filtrări
succesive și modificări ale dimensiunilor imaginii:
pas1) se consideră o imagine ( , , ( , ))L x y o s
pas2) se calculează ( , 1)o s
pas3) se determină ( , , ( , 1))L x y o s
pas4) dacă 1s S atunci imaginea în noua octavă se redimensionează.
În acest moment trebuie făcute anumite observaţii în alegerea parametrilor de start,
care conform algoritmului propus în (Lowe, 2004) au următoarele valori: numărul de niveluri
pe octavă 5S , octava maximă max 4o , iar octava minimă min 1o . Deoarece octava
minimă este egală cu -1, rezoluția imaginii se dublează la începutul algoritmului:
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
15
2 2o o I IN M N M , (2.9)
unde, o oN M reprezintă dimensiunea imaginii pe octavă. Algoritmul dezvoltă recursiv
filtrări ale imaginii până în momentul indeplinirii condiției 1s S când dimensiunea
imaginii va deveni:
1 1
2 2
o i o io i o i
N MN M
. (2.10)
După ce spaţiul scalărilor este complet ( maxo o ) se construieşte spaţiul diferenţelor
de filtrări Gaussiene (DoG) folosind relaţia:
( , , ) ( , , ) ( , , ) ( , )
( , , ) ( , , )
D x y G x y k G x y I x y
L x y k L x y
. (2.11)
Spaţiul DoG poate fi privit ca un spaţiu obţinut din derivarea spaţiului scalărilor, în
acest spaţiu se vor putea delimita octave având dimensiunea mai mică cu o unitate decât cele
din spaţiul scalărilor.
În spaţiul DoG se vor căuta poziţii ( , , )p p pP x y în care valoarea funcţiei ( )D P este
mai mare sau mai mică decât valoarea tuturor vecinilor din cubul de 3 3 3 centrat în P
(Figura 2.2). Dacă valoarea funcţiei este mai mare sau mai mică decât valorile celor 26 de
vecini, atunci ( , , )p p pP x y este numit punct de extrem (Lowe 2003).
(a) (b)
Figura 2.2. (a) Reprezentarea scalei pentru 3 niveluri ale unei octave; (b) Fereastra de 3 3
din jurul punctului P
Totalitatea punctelor de extrem formează mulţimea extremelor locale ale funcției
( )D P în spațiul scalărilor, notată cu :
x-1,y-1 x,y-1 x+1,y-1
x-1,y x,y x+1,y
x-1,y+1 x,y+1 x+1,y+1
x
y
-
Capitolul 2 – Sisteme servoing vizuale
16
3 3 3( , , ) | ' ( , , ), ( ) ( ')P x y P V x y D P D P . (2.12)
În ceea ce priveşte localizarea trăsăturilor, se doreşte rafinarea mulţimii extremelor
folosind anumite criterii de stabilitate în vecinătatea fiecărui element P . Procesul constă
în determinarea punctelor de extrem ale funcţiei ( , , )D x y în vecinătatea punctelor P .
Folosind dezvoltarea Taylor până la termenul pătratic pentru funcţia ( , , )D x y șiftată în așa
fel încât originea să se afle în punctul P , putem analiza offsetul faţă de P :
2
2
1( )
2
TTD DD P D P P P
P P
, (2.13)
unde ( , , )TP x y (Brown şi Lowe, 2002) . Determinarea extremelor funcţiei se face prin
egalarea cu zero a derivatei ecuaţiei (2.13). Aceste extreme sunt notate cu P̂ :
2 1
2ˆ D DP
P P
. (2.14)
Condiţiile de stabilitate impuse de Lowe se referă la valoarea de offset P̂ care trebuie
să fie mai mică decât 0.5 în oricare din cele trei dimensiuni ( , , )x y şi la rejectarea punctelor
instabile la contrast. Valoarea funcţiei ˆ( )D P :
1ˆ ˆ( )2
TDD P D P
P
, (2.15)
este folosită pentru rejectarea extremelor instabile cu un contrast scăzut. Pentru ( , ) 0,1I x y
se poate folosi inegalitatea ˆ( ) 0.03D P pentru a rejecta extremele instabile. Pentru
eliminarea trăsăturilor de tip muchie se folosesc valorile proprii ale matricei Hessian:
yyxy
xyxx
DD
DDH . (2.16)
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
17
Aceste valori proprii sunt direct proporţionale cu principalele curburi ale funcţiei D
(Lowe, 2003). Notând cu L valoarea proprie mare, cu S valoarea proprie mică, iar cu r
valoarea raportului L
S
, rezultă:
22 2( )trace( ) ( 1)
det( )
L S
L S
H r
H r
, (2.17)
unde:
2
trace( )
det( )
xx yy L S
xx yy xy L S
H D D
H D D D
. (2.18)
Folosind inegalitatea:
2 2trace( ) ( 1)
det( )
H r
H r
, (2.19)
trăsăturile de tip punct pentru care raportul curburilor principale este mai mare decât r sunt
eliminate (Lowe, 2003). După cum am menționat la inceputul acestei secțiuni, algoritmul
SIFT este compus din patru etape. Primele două (detectarea extremelor în spațiul scalărilor și
localizarea trăsăturilor) au fost prezentate anterior și sunt folosite pentru a determina punctele
de interes. În continuare sunt prezentate următoarele două etape (determinarea orientării și a
magnitudinii și crearea descriptorului) utilizate în determinarea descriptorului SIFT.
Descriptorul punctelor de interes poate fi reprezentat prin atribuirea unei orientări și a unei
magnitudini calculate pe baza proprietăților locale ale funcției imagine (Lowe, 1999). Scala
trăsăturilor este folosită pentru a selecta nivelul de filtrare a imaginii I cu nucleul Gaussian.
Magnitudinea gradientului, M , şi orientarea, , sunt calculate folosind relațiile:
2 2
1, 1, , 1 , 1
1
, 1 , 1 1, 1,
( , )
( , ) tan ( ) /( )
x y x y x y x y
x y x y x y x y
M x y L L L L
x y L L L L
. (2.20)
Histograma orientărilor este formată din gradientul orientărilor tuturor punctelor din
interiorul unei ferestre circulare în jurul punctului de interes. Aceasta histogramă a orientărilor
conţine 8 indici, acoperind cele 3600 ale orientării (Figura 2.3).
-
Capitolul 2 – Sisteme servoing vizuale
18
(a) (b)
Figura 2.3. (a) Histograma orientărilor; (b) Orientările fundamentale
Pănă acum se cunosc locaţia, scala şi orientarea fiecarei trăsături, următorul pas este
alcătuirea descriptorului pentru regiunea locală a imaginii. Pentru o mai bună stabilitate a
punctelor detectate şi pentru performanţe mai bune, magnitudinea şi orientarea se calculează
pentru o vecinătate de 16x16 din jurul fiecărei trăsături (Lowe, 2004), nu numai pentru
trăsătura în sine. În Figura 2.4(a) sunt prezentate trăsăturile unui obiect detectate cu ajutorul
detectorului SIFT. Prima dată se calculează magnitudinile şi orientările punctelor din
vecinătatea de 16x16 din jurul fiecărei trăsături (Figura 2.4 (b)). Folosind scala punctului de
interes, se selectează nivelul Gaussianului pentru filtrarea imaginii.
(a)
(b) (c)
Figura 2.4. (a) Trăsăturile obiectului detectatea cu SIFT; (b) Orientarea şi magnitudinea
celor 256 de pixeli din vecinătate de 16x16; (c) Descriptorul trăsăturii
magnit.
0 45 90 135 180 225 270 315
c1 c2 c3 c4 c5 c6 c7 c8
orientare
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
19
Pentru eficienţă, funcțiile gradient sunt calculate pentru toate nivelurile piramidei
folosind relatia (2.14), (Lowe, 2003). Vecinătatea de 16x16 din jurul fiecărei trăsături este
împărţită în blocuri de 4x4, iar la rândul lor, aceste blocuri alcătuiesc fiecare câte o
histogramă (Figura 2.4 (c)). Orientările unei histograme sunt divizate în b indici (Figura 2.3
(a)) şi apoi se calculează magnitudinea indicilor cu ajutorul următoarei formule:
( , ), ( , )
( ) ( , )(1 | ( , ) | / )r l m k kx y r l m
h k M x y x y c
, (2.21)
unde kc este orientarea fiecarui indice, k este o constantă egală cu
b2
360, iar ( , )x y sunt
coordonatele pixelilor din subregiunea ( , )l mr . Descriptorul este format dintr-un vector care
conţine valorile tuturor orientărilor histogramei, lungimea vectorului este 2bn , unde b este
numărul orientărilor în histogramă. Se consideră 8b , 22.5k , iar n este dimensiunea
blocului. În final trăsăturile vectorului sunt normalizate pentru a reduce efectele shimbării de
iluminare.
2.2.2. Momente ale imaginii
Momentele au un spectru larg de aplicaţii în analiza imaginii, cum ar fi recunoaşterea
formelor, clasificarea obiectelor, estimarea unei poziţii. Un set de momente calculate pentru o
imagine digitală, în general, reprezintă caracteristicile globale ale imaginii, şi furnizează o
mulţime de informaţii despre diferitele tipuri de trăsături geometrice ale imaginii. Capacitatea
momentelor imaginii de a reprezenta trăsături vizuale a fost utilizată pe scară largă în vederea
artificială şi robotică. Ca urmare a progresului în domeniul procesării imaginilor, numeroase
noi tipuri de momente au fost introduse, fiecare având propriile sale avantaje în domenii
specifice. Având în vedere o imagine ca o distribuţie a intensităţii bi-dimensionale,
momentele imaginii conţin informaţii despre aria imaginii, orientarea imaginii, coordonatele
centrului de greutate. Aceste caracteristici pot fi în continuare utilizate pentru a construi
vectorul trăsăturilor vizuale care sunt invariante la mişcări de translaţie, rotaţie şi scalare ce
pot fi folosite cu succes în aplicații servoing.
Considerând funcţia imagine ( , )I x y ca o densitate de probabilitate a unei variabile
aleatoare 2D şi plecând de la ipoteza că valorile diferite de zero reprezintă obiectul (regiuni
din imagine), momentele ijm de ordin ( )i j sunt definite astfel:
-
Capitolul 2 – Sisteme servoing vizuale
20
( , )i jijm x y I x y dxdy
. (2.22)
Dacă de exemplu, considerăm 0i j în ecuaţia (2.22), se poate calcula momentul
de ordin zero 00m corespunzător funcţiei ( , )I x y , care reprezintă aria obiectului analizat
( 00m a ). Momentele de ordin unu sunt în general folosite pentru definirea centrului de
greutate ( , )g gx y ataşat obiectului:
00
10
m
mxg ,
00
01
m
myg . (2.23)
Plecând de la ipoteza că un obiect din imagine este definit de un set de pixeli de
coordonate ( , )x y pentru care funcţia imagine ( , ) 1I x y , momentele 2D ijm de ordin ( )i j
sunt definite de relaţia:
i jij Om x y dxdy . (2.24)
Centrul de greutate este o locaţie unică şi reprezintă punctul referinţă în calcularea
momentelor centrate ij (Chaumette, 2004):
Oj
gi
gij dxdyyyxx )()( . (2.24)
Pentru un obiect descris de un set de n puncte, momentele 2D sunt calculate cu
ecuaţia:
n
k
jk
ikij
yxm1
. (2.25)
În cazul obiectelor discrete aria reprezintă numărul de puncte ce descriu obiectul
( 00a m n ) și nu poate fi folosită ca trăsătură vizuală, iar din acest motiv în (Tahri și
Chaumette, 2005) se propune înlocuirea ariei cu:
20 02a . (2.26)
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
21
Momentele centrate ij de ordin ( )i j se pot calcula astfel:
n
k
jgk
igkij yyxx
1
)()( . (2.27)
Momentele centrate de ordin doi, 20 , 02 , 11 sunt cunoscute ca fiind momente ale
inerţiei şi sunt folosite în determinarea orientării obiectului:
0220
112arctan2
1
. (2.28)
Din literatura de specialitate, se ştie faptul că momentele centrate sunt în principal
invariante la mişcări de translaţie. Multe alte metode au fost dezvoltate pentru a găsi momente
invarinate la scalare şi rotaţie, printre cele mai cunoscute se numără: momentele Hu (Hu, 62)
și momentele Zernike (Walin and Kubler, 1995).
Considerând o aplicaţie servoing, în (Tahri şi Chaumette, 2005) un set de momente ale
imaginii definit prin vectorul trăsăturilor [ , , , , , ]Tm n n nf x y a este folosit pentru a
caracteriza obiectul din imagine. Primele trei componente ale vectorului mf sunt folosite
pentru a controla componentele vitezei liniare corespunzătoare robotului:
gnngnnn yayxaxa
aZa ,,
** , (2.29)
unde Z reprezintă adâncimea dorită dintre cameră şi obiectul din imaginea de referinţă, iar
a este aria obiectului din imaginea de referinţă. Pentru a controla viteza unghiulară z se
utilizează orientarea obiectului calculată cu ecuația (2.28), iar pentru a controla vitezele
unghiulare ,x y , în (Tahri și Chaumette, 2005) se propune utilizarea momentelor de tipul
și :
1 2
3 3
,n n
n n
I I
I I , (2.30)
unde:
-
Capitolul 2 – Sisteme servoing vizuale
22
2 21 50 32 14 05 23 41
2 22 50 32 14 05 23 41
2 23 50 32 14 05 23 41
( 2 ) ( 2 )
( 2 3 ) ( 2 3 )
( 10 5 ) ( 10 5 )
n
n
n
I
I
I
. (2.31)
2.3. Modelarea ansamblui robot – senzor vizual
În general, un sistem servoing bazat pe imagini este compus din următoarele elemete:
un robot manipulator, un senzor vizual, un regulator bazat pe imagine. În Figura 2.5 este
ilustrată o arhitectură bazată pe imagini pentru roboți manipulatori cu 6 grade de libertate.
Robotul
modelat ca
un VCMD -
f
Procesarea imaginiei și extragere trăsăturilor
Regulator bazat pe imagine
+
f
c
v e
Modelul
senzorului vizual
Figura 2.5. Sistem visual servoing pentru controlul roboților
Partea fundamentală a arhitecturii, regulatorul bazat pe imagine necesită informații
apriorice despre comportarea sistemului pentru a putea minimiza eroarea dintre o configurație
curentă a unor tăsături vizuale f și o configurație dorită f . Pentru a modela comportarea în
buclă deschisă a sistemului servoing, trebuie analizate separat cele două entități care formează
partea fixată: robotul manipulator și senzorul vizual. Se consideră în continuare o configurație
de tipul eye-in-hand pentru ansamblul robot-senzor vizual.
Un robot poate fi modelat în două moduri: cinematic și dinamic. Dinamica robotului
reprezintă unul din factorii care influențează cel mai mult performanțele unui sistem servoing
vizual. Pentru acest tip de aplicații un robot manipulator poate fi modelat ca un VCMD
(Gangloff și De Mathelin, 2003). După cum se poate observa din Figura 2.5, semnalul de
intrate în VCMD este ieșirea regulatorului bazat pe imagine notată cu c
v . Acest semnal
reprezintă viteza de referință a camerei și are următoarea structură: [ ]Tc v v , unde
[ ]Tx y zv v v v și [ ]Tx y z
reprezintă componenta liniară, respectiv,
componenta unghiulară a vitezei.
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
23
Semnalul c
v este exprimat în spațiul Cartesian și necesită o transformare pentru a
putea fi aplicată robotului manipulator. Dacă notăm cu 1 2 3 4 5 6[ ]Tt t t t t t postura
obținută prin integrarea lui c
v , atunci definim Jacobianul robotului ca fiind:
1 1
1 6
6 6
1 6
r
t t
q q
J
t t
q q
, (2.32)
unde , 1,6iq i reprezintă starea articulațiilor robotului. Astfel, transformarea semnalului c
v
din spațiul Cartesian în spațiul articulațiilor robotului se va realiza prin 1rJ . În aceată secțiune
vor fi prezentate două metode din literatura de specialitate de deducere a unui model pentru
un VCMD.
2.3.1. Model multivariabil de tip ARIMAX
În (Gangloff și De Mathelin, 2003) se propune utilizarea unui model liniarizat pentru
VCMD de tipul MIMO (multi-input, multi-output). Plecând de la ipoteza că fiecare articulație
a robotului are atașată o buclă de reglare a vitezei (Figura 2.6), regulatoarele , 1,6iC i
corespunzătoare buclelor de reglare sunt proiectate astfel încât să asigure decuplarea fiecărei
articulații, lucru valabil pentru majoritatea roboților manipulatori. Datorită structurii matricii
Jacobian atașată robotului și a dependenței dinamicii robotului față de poziția articulațiilor,
modelul VCMD este neliniar. Liniarizarea modelului se face pornind de la considerația că
efectele neliniare generate de forțe precum Coriolis, centrifugă și gravitațională acționează ca
perturbații mici asupra buclelor de reglare ce pot fi rejectate printr-o proiectare adecvată a
regulatoarelor , 1,6iC i . Neliniaritățile generate de aceste forțe devin semnificative atunci
când robotul se mișcă cu viteze mari (își modifică configurația consistent). Deoarece buclele
de reglare din spaţiul articulaţiilor robotului sunt foarte rapide, acestea pot fi proiectate în
continu rezultând necesitatea introducerii unui bloc ZOH după cum se poate vedea în Figura
2.6. Pentru a putea aplica vitezele c
v în spaţiul articulaţiilor se utilizează inversa iacobianului
robotului 1rJ .
-
Capitolul 2 – Sisteme servoing vizuale
24
+
_
1qv*
1qv C1
+
_ C6
6qv *
6qv
1rJ ZOH
* ( )c kv *cv
* ( )q tv rJ
( )q tv ( )c tv 1
s
( )c kx
Bucla internă de viteză
Figura 2.6. Modelul VCMD al robotului
Având în vedere că inerția articulațiilor variază lent în raport cu poziția qx a robotului,
matricea de inerție poate fi considerată constantă în jurul unei poziții date pentru robot. În
cazul sistemelor servoing bazate pe feedback vizual vitezele articulațiilor sunt controlate
individual, iar regulatoarele , 1,6iC i sunt proietate astfel încât să elimine efectele neliniare
generate de perturbații. Pornind de la aceste ipoteze și considerând că modelul dinamic al
robotului și Jacobianul acestuia rJ sunt constante într-o vecinătate a lui qx , buclele de viteză
ale robotului pot fi modelate folosind matricea de transfer ( )G s :
( ) ( ) ( )q qs G s sv v . (2.33)
Modelul discret liniarizat pentru VCMD prezentat în Figura 2.7 este descris de:
1
1 1
2
( )( ) 1 r rVCMD
J G s JG z z
s
, (2.34)
unde reprezintă transformata z.
* ( )q tv * ( )c tv ( )q tv ( )c tv
* ( )c kv 1
rJ
ZOH G(s)
( )c kx 1
s
rJ
( )c tx
Figura 2.7. Modelul liniarizat pentru VCMD
În (Gangloff și De Mathelin, 2003) dinamica senzorului vizual este modelată cu
întârzieri pure. Aceste întârzieri sunt date: de timpul necesar pentru achiziția și formarea
imaginei, timpul necesar transferului imaginei de la cameră în memoria calculatorului și
timpul necesar pentru procesarea imaginei (Figura 2.8).
-
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
25
Procesarea
imaginei
Transferul imaginei
de la cameră la PC
Achiziția și
formarea imaginei
ach sT T 0transT proc sT T timpul
Figura 2.8. Senzorul vizual
Pentru a determina modelul unui senzor vizual se pornește de la ipoteza că timpul
necesar pentru achiziția și formarea unei imagini achT este egal cu perioada de eșantionare sT ,
timpul necesar transferului imaginei transT este foarte mic în raport cu perioada de
eşantionare, iar timpul necesar procesării imaginei procT este egal cu perioada de eșantionare
sT . Astfel, senzorul vizual poate fi modelat ca un element cu timp mort egal cu 2 sT . Folosind
modelul senzorului vizual împreună cu modelul VCMD şi cunoscând postura iniţială a
camerei notată cu 0x , se poate realiza o structură de control (Figura 2.9) care ulterior poate fi
aplicată cu succes în aplicații servoing de timp real. Plecând de la ipoteza că ( )G s este
diagonală, atunci matricea de transfer discretă a părții fixate este:
1
1 2 1 1 2 1
2 1
( )( )( ) 1 , 1,6
( )
ip r r r r
i
b zG sG z z z J J z J diag J i
s a z
. Modelul ARIMAX
pentru partea fixată va avea următoarea parte deterministă:
1
1 1 1 1 2 1
1
( )( ) ( ) ( )
( )
ip r r
i
b zz A z B z G z z J diag J
a z
, (2.35)
unde:
1 1 1
1 1 1 1
( ) ( )
( ) ( )
i r
i r
A z diag a z J
B z z diag b z J
. (2.36)
+
_
1qv*
1qv C1
+
_ C6
6qv *
6qv
1rJ ZOH
* ( )c kv * ( )c tv *
qv rJ