Utilizarea returului haptic

Utilizarea returului haptic n simularea actului medicalDorin M. Popovici1, Felix G. Hamza-Lup2, Crenguta M. Bogdan1Elena Bautu1, Cristian A. Corleanca11Universitatea Ovidius din ConstanaB-dul Mamaia 124, 900527, Constanta, Romania{dmpopovici,cbogdan,ebautu}@univ-ovidius.ro 2Armstrong State University11935 Abercorn Street, Savannah, GA, USA

Felix.Hamza-Lup@armstrong.edu

RezumatO modalitate de interaciune cu calculatorul care ncepe s fie din ce n ce mai mult folosit att n cercetare ct i la nivel industrial este returul de fore sau pe scurt haptic. Sistemele de interaciune haptice permit utilizatorilor folosirea simului tactil n prezena obiectelor virtuale. Acest articol prezint etapele dezvoltrii unui sistem de simulare dual visual-haptic pentru perfecionarea anumitor task-uri din actul medical.

Cuvinte cheieHaptic, 3D, ChirurgieClasificare ACMH5.2. Information interfaces and presentation (e.g., HCI): Miscellaneous.

INTRODUCereRealitile virtuale i augmentate sunt tehnologii cheie n cadrul mediilor de lucru curente i viitoare cu aplicaii n diverse domenii ale activitii umane: medicin, educaie, inginerie, turism, iar lista poate continua. n ultimii ani, tehnologia a atins un stadiu de dezvoltare suficient pentru a oferi utilizatorului simulri multimodale avansate (i.e. rspuns vizual combinat cu rspuns tactil, denumit retur haptic). Astfel, sunt sensibil mbuntite att senzaia prezenei la nivelul utilizatorului n cadrul mediilor virtuale, ct i interaciunea dintre utilizator i mediul simulat. Dezvoltarea acestor sisteme constituie o prioritate n programele de cercetare mondiale pentru c au avantajul eficientizrii i mbuntirii diferitelor activiti umane (e.g. activiti de pregtire a personalului medical, simulri realiste pentru testarea rezidenilor n proceduri medicale pentru chirurgie [1] etc.).n cadrul Universitii Ovidius din Constana s-a derulat proiectul HapticMed - Interfee cu retur haptic n aplicaii medicale, id: 567, cod SMIS: 12271, co-finanat prin Fondul European de Dezvoltare Regional, n baza contractului de finanare nr. 128/02.06.2010, ncheiat cu Autoritatea Naional pentru Cercetare tiinific - Organism Intermediar pentru Cercetare, n numele i pentru Ministerul Economiei, Comerului i Mediului de Afaceri, n calitate de Autoritate de Management pentru Programul Operaional Sectorial Creterea Competitivitii Economice, avnd ca finalitate implementarea unui simulator utilizabil n pregtirea i mbuntirea abilitilor studenilor i a rezidenilor chirurgi.arhitectura propotipului hapticmedComponentele software principale ale prototipului ce implementeaz mediul virtual suport al unei simulri de intervenie laparoscopic sunt: componenta de intrare multimodal, motorul de simulare a mediului virtual, componenta de gestiune a persistenei mediului i componenta de redare multimodal. Figura 1 prezint att aceste componente, ct i celelalte componente software i dispozitive hardware utilizate n implementarea prototipului HapticMed.

Figura 1. Arhitectura de nivel nalt a prototipului HapticMed.Componenta de intrare multimodal asigur controlul dispozitivelor de interaciune disponibile utilizatorului: tastatur, mouse, SpaceMouse, Phantom, fcnd astfel posibil exprimarea aciunilor permise utilizatorului i obinerea unei interpretri/realizri a acestora n cadrul mediului simulat. n particular, simularea simului tactil va fi realizat prin implementarea unei fore de rspuns care va fi transmis i simit de ctre utilizator prin intermediul stiloului (en: stylus) dispozitivului haptic folosit.

Motorul de simulare este componenta care primete datele transmise prin intermediul componentelor software asociate dispozitivelor hardware folosite de ctre utilizator i le interpreteaz n contextul mediului simulat. Pentru aceasta, el se va baza pe accesul la entitile componente ale mediului, pe simularea legilor fizice sau de alt natur, lund n considerare coliziunile i orice alte reacii ale obiectelor, determinnd starea i reaciile mediului virtual la aciunile utilizatorului.

Motorul de simulare colaboreaz cu componenta de gestiune a persistenei mediului. Aceasta din urm implementeaz funcii de citire/scriere a datelor stocate n baza de date a prototipului. El transmite datele de ieire componentei de redare multimodal. Aceasta permite crearea senzaiilor multi-modale la nivelul utilizatorului, prin afiarea feedback-ului mediului la aciunile acestuia. Scena mediului este format din obiecte 3D ce modeleaz instrumentele i esuturile simulate. Deformabilitatea esuturilor induce dinamism scenei simulate, configuraia elementelor simulate schimbndu-se ca rspuns la aciunile utilizatorului asupra elementelor.Componenta de redare multimodal este format din dou componente: grafic i haptic, fiecare ocupndu-se cu un tip de redare: vizual sau haptic. Pentru a realiza redarea grafic, prima component folosete algoritmi i funcii ale unui API grafic, care la rndul lui poate utiliza biblioteca Glut i n mod obligatoriu se bazeaz pe librriile OpenGL. Componenta haptic se bazeaz pe un API haptic pentru a transmite o for utilizatorului dispozitivului haptic. Un studiu detaliat al diferitelor componente software pentru redarea componentei haptice a fost efectuat in [2]. Att complexitatea mediului simulat, ct i precizia actului medical oblig atingerea unui echilibru ntre fidelitatea geometric, fizic, vizual i haptic a modelelor utilizate n implementarea prototipului.Mediul real simulat

Prototipul simuleaz executarea task-ului de baz de palpare a unui ficat pentru identificarea aspectelor anatomice i a esutului anormal.Cmpul operator este vizualizat cu ajutorul unui laparoscop. Acest dispozitiv are diametrul n general de 10 mm, dar poate fi i de 5 mm. Laparoscoapele din prima categorie asigur o vedere mai clar i mai luminoas asupra cmpului operator, dar necesit o incizie mai mare i sunt mai greu de manevrat n vederea navigrii n spaii strmte.Instrumentele chirurgicale sunt obiecte rigide care vor interaciona ntre ele i cu esuturi. Interaciunile includ contact, penetrare i proximitate dup cum punctul de interaciune se afl pe suprafaa, nuntrul sau n afara instrumentului sau a esutului. Al doilea tip de interaciune se aplic numai n cazul esutului.Momentul n care se produce coliziunea este un eveniment ce trebuie s fie gestionat de ctre prototip din punctul de vedere al celor dou componente: vizual i haptic. Vizual, rspunsul prototipului apare prin deformarea obiectului 3D ce simuleaz esutul atins, n timp ce haptic, programul va rspunde utilizatorului cu o for ce depinde de caracteristicile fizice ale esutului, pentru o simulare ct mai realist a simului tactil [3].Scurt descriere a sistemului de simulare hapticmedPrototipul HapticMed presupune interaciunea utilizatorului cu un mediu virtual 3D folosind un dispozitiv haptic [4]. n cadrul operaiilor laparoscopice micarea penselor chirurgicale este restricionat de spaiul redus de lucru i de faptul c pensele sunt introduse prin incizii fcute n abdomenul pacientului. Pentru a simula acest tip de micri, am dezvoltat un sistem ce simuleaz un mediu de lucru laparoscopic (vezi Figura 2).

Figura 2. Sistemul de simulare HapticMed.Sistemul de simulare este format dintr-un mner de pens Maryland, un sistem de prindere cu baz fix ce permite manevrarea mnerului pensei ca n cazul interveniei chirurgicale i un sistem de ataare la dispozitivul haptic.HapticMed@workCa rezultat al discuiilor cu colaboratorul din domeniul medical, am implementat patru scenarii de evaluare a ficatului, cte unul pentru fiecare patologie a ficatului: normal (sntos), cirotic, tumoral i hepatitic.Indiferent de scenariu, utilizatorul are la dispoziie dou pense virtuale (replici realiste ale penselor Maryland i Babcock) care i permit palparea ficatului virtual 3D, fr ns a fi posibil penetrarea esutului. Utilizatorul are un timp de aproximativ 30 secunde pentru a se familiariza cu manevrarea instrumentului haptic i utilizarea interfeei grafice. n acest model, camera i sursa de lumin ataate camerei sunt fixe, utilizatorul nefiind constrns de manipularea lor n simulator. Interfaa vizuo-haptic corespunztoare este prezentat n Figura 3.

Figura 3. Testul de familiarizare a utilizatorului cu interfaa vizuo-haptic.n sesiunea de evaluare a ficatului normal, reprezentarea grafic a unui sistem cartezian de axe 3D permite utilizatorului orientarea n scena 3D. Aceast funcie este foarte util n toate scenariile de utilizare a prototipului (vezi Figura 4).

Figura 4 - Sesiune de lucru cu prototipul HapticMed n evaluarea ficatului normal.Acest scenariu are ca scop evaluarea i mbuntirea cunotinelor teoretice i practice n cazul evalurii unui ficat normal. Procesele de evaluare i mbuntire a gestului de palpare a ficatului sntos au ca subiect: mrimea forei aplicate n cadrul palprii, direcia pensei chirurgicale, zonele de palpare ale ficatului i metodologia de palpare. i n cazul ficatului cirotic, utilizatorul folosete o pens pentru a observa i nelege atributele de suprafa ale ficatului aa cum este ilustrat n Figura 5. Dup ce utilizatorul i-a format o prere despre starea ficatului, el utilizeaz acelai sistem de meniuri ce i permit diagnosticarea ficatului din diferite perspective: culoare, suprafa, consisten etc.

Figura 5 - Sesiune de lucru cu prototipul HapticMed n evaluarea ficatului cirotic.Scenariul de evaluare a ficatului tumoral urmeaz aceeai structur de evaluare precum cea utilizat la evaluarea ficatului normal i evaluarea ficatului cirotic: alegerea ntrebrii, efecutarea unui gest de palpare obligatoriu pentru a i se valida rspunsul, introducerea rspunsului. Modelul de ficat tumoral prezint dou tipuri de chisturi: un tip vizibil la suprafaa ficatului, care prezint i proprieti haptice diferite fa de restul suprafeei normale, i un tip invizibil utilizatorului, chisturi interne ficatului perceptibile doar n urma efecturii palprii (asemeni tipului anterior, aceste chisturi au o consisten haptic crescut fa de suprafaa ficatului normal). Din cauza existenei acestor dou tipuri de chisturi, este recomandat ca utilizatorul s palpeze n totalitate suprafaa ficatului pentru a identifica toate formaiunile existente n ficat (att cele situate la suprafa, ct i cele situate n interior - vezi Figura 6).

Figura 6 - Sesiune de lucru cu prototipul HapticMed n evaluarea ficatului tumoral.Patologiile unui ficat hepatitic modific un ficat normal att din punct de vedere vizual (vezi Figura 7), ct i din punct de vedere haptic (ficatul hepatitic determin de o consisten crescut). Datorit acestor modificri minore, utilizatorul urmeaz aceiai pai ca la evaluarea ficatului normal: alegerea ntrebrilor, efectuarea gestului i introducerea rspunsului.

Figura 7 - Sesiune de lucru cu prototipul HapticMed n evaluarea ficatului hepatitic.Evaluarea prototipuluiAcest paragraf detaliaz noiunile teoretice necesare evalurii modulelor de simulare vizuo-haptice HapticMed. Fiecare dintre urmatoarele metrici sunt considerate pe o scara de la 1 la 10, 10 nsemnnd calitatea maxim/superioar. Dintre metricile de validare a simulatoarelor propuse de Satava [5] am utilizat: Face validity (corectitudinea interfeei): Aceast metric presupune evaluarea calitilor vizuo-haptice ale interfeei simulatorului. Astfel, se evalueaz:

ct de bine seamn modelul 3D al ficatului precum i interaciunea haptic cu un model real de ficat

cat de apropiat de realitate (adic aparatele laparoscopice reale, poziia utilizatorului, mediul) este manipularea device-ului haptic Sensable, inclusiv poziia de operare a utilizatorului.

Content validity (corectitudinea coninutului)Pentru fiecare modul n parte se definete clar i concis pentru ce aptitudine/skill este utilizat. De exemplu, simulatorul trebuie s msoare corectitudinea diagnosticrii ficatului prin palpare. n urma analizei se va decide dac simulatorul reprezint o unealt de nvare potrivit. Construct validity (corectitudinea implementrii)Pentru verificarea acestui criteriu trebuie s se decid dac simulatorul difereniaz ntre utilizatori cu diferite nivele de pregtire, e baza msurrii performanelor acestora.Rezultatele testului trebuie s diferenieze clar ntre un expert i un novice pentru fiecare procedura n parte.

Dou metrici complementare sunt definite pentru fiabilitatea testrii: Fiabilitatea evaluatorilor. Rezultatele testelor de evaluare a cunotinelor evaluate de ctre experi diferii ar trebui s fie similare, pentru ca criteriul de fiabilitate a evaluatorilor s fie ndeplinit.Atunci cnd testul este evaluat de ctre experti independeni, avnd acelai nivel de expertiz, se obin rezultate suficient de apropiate .

Fiabilitatea testrii/retestrii. Repetarea testului dupa un interval de timp trebuie s ntoarc rezultate comparabile.Datorit inaccesibilitii la alte simulatoare precum i a structurii curriculei curente care nu prevede exersarea practic a gestului medical de palpare, metricile concurrent validity (comparativ cu alte simulatoare) i predictive validity nu vor fi luate n considerare n evaluarea prototipului HapticMed.Implementarea planului de evaluare

Planul de evaluare a fost proiectat i aplicat n 2 etape, pentru a se minimiza perturbarea procesului de nvmnt n care s-au implicat studenii i medicii/profesorii coordonatori, inndu-se cont de sugestiile colaboratorilor medicali din cadrul Spitalului Judeean Constana. Studenii anului IV de la Facultatea de Chirurgie a Universitii Ovidius din Constana au demarat testele de utilizabilitate ale prototipului HapticMed n decembrie 2012 i le-au ncheiat n aprilie 2013, n concordan cu curricula pregtirii lor universitare. n cadrul acestor sesiuni de lucru, peste 90 de studeni din anul IV i n jur de 10 de rezideni ai Seciei de Chirurgie din cadrul Spitalului Judeean din Constana au avut ocazia s utilizeze la ntreaga capacitate prototipul HapticMed (vezi Figura 8). Colectarea rezultatelor s-a efectuat atat n timpul folosirii simulatorului, prin parametrii prestabilii n componenta de proiectare a simulatorului, dintre care menionm (timpul de utilizare a simulatorului, viteza, orientarea i fora de apsare la nivelul dispozitivului haptic, precum i rezultatele testelor de specialitate), dar i ulterior, prin completarea de ctre utilizatori a doua chestionare de Evaluare a Uurintei Utilizrii Sistemului HapticMed (EUUSH) i de Evaluare a Realismului Simulrii i Utilizrii Eficiente a Dispozitivului Haptic (ERSUEDH).

(a) (b)

Figura 8 Testarea prototipului HapticMed n mediul de dezvoltare (a), mediul medical (b).

Procesarea i interpretarea rezultatelor

Procesarea i interpretarea datelor obinute n urma testelor efectuate s-au realizat n vederea determinrii corectitudinii i a coninutului interfeei, precum i a fiabilitii evaluatorilor i a testrii/retestrii.

Verificarea corectitudinii interfeei (face validity)Pentru a verifica corectitudinea interfeei i realismul simulatorului, s-a procedat n maniera informal, prin chestionarea utilizatorilor de tip ne-expert (e.g. studenti, rezidenti).

Figura 9 Corectitudinea interfeei asemanare cu mediul real.

Peste 60% dintre studeni (conform graficului din Figura 9) au considerat potrivit interfaa prototipului, n vreme ce un procent nesemnificativ (