1
RAPORT ŞTIINŢIFIC ŞI TEHNIC
Raport final 2011-2016
Titlu proiect: Sistem pentru palpare virtuală şi training avansat, diagnostic medical şi tratament
(VIPsystem)
Contractul de finanțare nr: 2011‐3.2‐0503
Director: Conf. Univ. Dr. Dan Gheonea
OBIECTIVELE PROIECTULUI:
Obiectivul major al proiectului constă în dezvoltarea unui dispozitiv haptic de simulare a procedurilor
medicale specifice diagnosticului şi evaluării preoperatorii a maselor tumorale hepatice şi pancreatice,
cu posibilitatea de a îl integra în programa de educaţie medicală.
Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 1–5
Pe parcursul celor cinci etape am realizat în totalitate acest obiectiv major al proiectului, dezvoltând
și testând un dispozitiv haptic de simulare a procedurii medicale de palpare preoperatorie a maselor
tumorale intra-abdominale, hepatice și pancreatice, bazat pe date obținute prin computer tomograf (CT) și
elastografie.
Toate componentele sistemului au fost realizate și testate, așa cum rezultă din îndeplinirea
obiectivelor principale, redate mai jos.
Obiectivele principale constau în:
O1: Stabilirea protocoalelor de lucru pentru evaluarea pacienţilor cu cancer hepatic şi pancreatic,
metodele de achiziţie a datelor şi management-ul ulterior
Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 1 (1.1)
S-a realizat o documentare extensivă în ceea ce priveşte ultimele metode de diagnostic molecular
şi imagistic al cancerului hepatic şi pancreatic cu accent pe achiziţia şi prelucrarea digitală a imaginilor.
Elastografia este metoda imagistică ce apreciază elasticitatea țesuturilor. Prima metodă elastografică
aparută a fost Transient Elastography (TE), urmată de Real Time Elastography (RT–E) și Acustic Radiation
Force Impulse (ARFI). Dezvoltarea computer tomografiei multispirală (MDCT), cu rezoluţie spațială şi
temporală superioară, a dus la îmbunătățirea depistării și caracterizării leziunilor focale.
O2: Stabilirea algoritmilor diagnostici prin metode imagistice – elastografie trans-abdominală, eco-
endoscopică şi intra-operatorie, tomografie computerizată multi-slice, şi integrarea datelor în modelul
computerizat de simulare a elasticităţii tumorale
Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 1 (1.2)
S-au stabilit în continuare protocoalele de examinare a pacienţilor, câmpurile bazelor de date
precum şi criteriile de includere şi excludere din studiu. În funcţie de acestea s-a realizat selecţia ulterioară
a pacienţilor evaluaţi.
Pacienţi cu tumori hepatice
Criterii de includere
o varsta peste 18 de ani
o dimensiunea formatiunii cuprinsa intre 1 si 7 cm astfel incat tumoara sa fie inconjurata de
parenchim hepatic in fereastra de elastografie
2
o formatiune situata la o profunzime mai mica de 10 cm fata de sonda ecografica
Criterii de excludere
o tumori profunde, de dimensiuni mari sau greu vizibile in ecografia standard
o pacienti alergici la substanta de contrast administrata la examenul computer tomografic
o pacienti cu insuficienta renala sau hepatica severa
Pacienţi cu tumori pancreatice
Criterii de includere
o Pacienţi diagnsoticaţi cu tumoră pancreatică solidă cu confirmare citoogică sau histologică
o Vârsta între 30 şi 75 de ani, bărbaţi sau femei
o Semnarea consimţământului informat pentru efectuarea EUS
Criterii de excludere
o Tratament chirurgical cu intenţie curativă sau chimio/radioterapie
o Pacienţi diagnosticaţi cu tumori producătoare de mucină sau tumori chistice
Principiul de funcționare al bazei de date, cât și
interacțiunile între diferitele secțiuni ale acesteia,
până la crearea și redarea modelului
tridimensional final, accesibil prin metodele
haptice de interacțiune.
Bazele de date care au stocat datele pacienților au
fost securizate folosind protocoalele Secure
Socket Layer (SSL) și Transport Layer Security
(TLS). Acestea sunt protocoalele de securitate cel
mai des utilizate astăzi, definind de fapt un singur
protocol standardizat. Astfel, datele au fost
securizate cu ajutorul unui protocol care prevede
un canal securizat intre doua mașini care operează
pe Internet sau pe o rețea internă. Sistemul de baze
de date conceput permite conectarea printr-un
browser web în siguranță la un server de web de pe Internet, lucru nesigur în mod normal care însă a fost
posibil folosind protocolul SSL.
3
O3: Dezvoltarea şi implementarea unui software de reconstrucţie şi simulare în cadrul unei aplicaţii de
realitate virtuală pentru vizualizarea tumorilor
Grad de atingere: Obiectiv îndeplinit în totalitate (100%)– Etapele 2 (2.2, 2.3), 3 (3.1), 4 (4.1) și 5 (5.1, 5.2)
Aplicatia este construita sa functioneze de pe locatia „D:\ pacienti”, aceasta citind o serie de 50 de
imagini generate din tomograf cu ajutorul carora se va realiza redarea volumetrica. Imaginie trebuie
denumite sub forma „pacient-000” pentru prima si „pacient-049” pentru ultima.
Modelele 3d reprezentand organul vor fi 3 la numar: primul cu denumirea „organ_vizual” va fi cel
intreg cu proprietati vizuale aproape de realitate, cel cu denumirea „organ_afectat” va fi partea nesanatoasa
a organului cu prorpietatile haptice corespunzatoare aplicate, iar cel cu denumirea „organ_sanatos” va
reprezenta partea sanatoasa a lui cu proprietati haptice corespunzatoare.
Datele pacientilor se vor salva in directoare separate incluse in „d:\Pacienti”, iar modelele active si
imaginile CT se vor fi copia in radacina acestuia.
Directorul in care trebuie inlocuite modelele 3 si seria de imagini din CT
Vizualizare volumetrica
Butoane import modele 3D
Aplicatia permite 3 moduri de vizualizare, x-ray (volumetria) si organul izolat in camera de consultatii
sau organul izolat pe fundal negru.
4
Utilizand sliderele din dreapta, utilizatorul roteste sau sectioneaza pe axele X, Y si Z volumetria
Butonul ce permite vizualizarea volumetrica
Urmatoarele 2 moduri de vizualizare permit utilizarea dispozitivului haptic in 2 scene diferite, in functie de
preferinta utilizatorului. Ambele moduri permit deplasarea in jurul organului pentru a facilita analiza
acestuia fara constrangeri, deplasarea facandu-se prin intermediul tastaturii si a mouse-ului.
Moduri de vizualizare ce permit palparea virtuala utilizand butonul evidentiat
In imaginea de mai jos este reprezentat un ficat pregatit pentru palparea virtuala, inainte ca mana sa faca
contact cu acesta.
Mod palpare, fara contact cu organul
Experiment cu un fișier de tip „obj”
Common Layer Interface (CLI) – este un format internațional pentru date geometrice de intrare
pentru sisteme de fabricație a modelelor bazate pe Layer Manufacturing Technologies (LMT). Este potrivit
pentru sisteme ce creează modele de bază strat cu strat.
Simularea interacțiunii dinamice dintre obiecte folosește ecuații de rezolvare. SOFA se bazează pe
mai multe concepte inovatoare cum sunt reprezentarea multi-model și SOFA mapping. Cele mai multe
componente de simulare: modelele deformabile, coliziunile între modele, instrumente, pot avea mai multe
reprezentări corelate printr-un mecanism de mapare. Fiecare reprezentare poate fi apoi optimizată pentru o
anumită activitate - de exemplu, detectarea coliziunii.
5
Se observă prezența cursorului pentru dispozitivul
haptic - Geomagic TouchX
Cursorul cu ajutorul căruia s-a efectuat palparea
este un obiect care permite deformarea.
Se observă prezența cursorului și a dispozitivului
haptic –Geomagic TouchX
Considerând modelul deformabil al ficatului prezentat în figura de mai jos, acesta este simulat
folosind trei modele diferite. Primul model se referă la reprezentarea și comportamentul intern mecanic al
ficatului și este determinat utilizând metoda elementelor finite. Geometria acestui model este optimizată
pentru calculul forțelor interne cu ajutorul unui număr redus de tetraedre pentru viteză și precize. Cel mai
bun compromis între precizie și viteză în detectarea coliziunilor solicită un alt model geometric, în timp ce
vizualizarea realistă necesită cu siguranță o geometrie. Cel de-al doilea model se referă la detectarea
coliziunilor și forțele de răspuns, în timp ce un al treilea model este dedicat procesului de redare vizuală.
Sofa - Maparea modelului pentru ficat
Sofa - Modelul nivelului de coliziune
Sofa – Modelul corespunzător redării vizuale
6
Modelarea prin metoda elementelor finite a ficatului si tumorii (utilizand Ansys), prin prelucrarea
modeluilui 3D si a informatiei obtinuta prin elastografie mapata peste geometria tumorii.
Simularea operatiei de palpare cu identificarea zonei tumorale. Se observa deformatia tesutului de palpare
cu delimitarea tumorii. Modelul virtual deformabi astfel realizat va fi transferat către echipamentul haptic.
Interacţiunea cu modelul tridimensional în cadrul realităţii virtuale
Identificarea particularităților anatomice și fiziologice ale sistemului senzorial tactil utilizate în
proiectarea și realizarea sistemului haptic
Utilitatea dispozitivelor haptice constă în faptul că utilizatorul reușește să cunoască
mediul cu care interacționează prin contactul direct, fizic cu mediul.
In esență, prin contactul tactil, utilizatorul identifică două tipuri de informații:
Informații primare – identificate direct de sistemul senzorial tactil:
- Existența corpului de contact
- textura suprafeței de contact
- consistența suprafeței de contact
Informații complementare – identificate în conjuncție cu mișcarea mâinii:
- forma corpului de contact
- volumul corpului de contact
- greutatea corpului de contact
- caracteristicile mediului în care se află corpul de contact, privind umiditatea,
vibrații, temperatura, presiune, eventual pH-ul
- modul în care corpul de contact reacționează mecanic (forțe de rezistență,
moment de torsiune) cu mediul in care acesta din urma este integrat
Pornind de la informațiile DICOM furnizate de investigarea CT și completate cu informațiile despre
elasticitate a fost realizata reconstrucția volumetrică în trei dimensiuni, rezultand un obiect în format OBJ.
7
O4: Modelarea tumorilor pe baza datelor volumetrice şi tapetarea acestui volum virtual cu informaţia
elastografică menită să reproducă diferenţele de elasticitate a ţesutului tumoral, baza pentru palparea
virtuală a acestora
Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 2 (2.3, 2.4) și 3 (3.1, 3.2)
Pentru ca aplicatia VIPsystem sa poata fi realizata este nevoie si de crearea modelului 3d specific organului
ce se doreste a fi studiat. Aceasta presupune mai multe faze de realizare, prima dintre ele fiind generarea
modelului 3d cu ajutorul unei platforme software pentru analiză (inclusiv inregistrarea și segmentarea
interactiva) și vizualizare (inclusiv redarea volumului) al imaginilor medicale si pentru cercetare in terapia
de tip IGT (image guided therapy).
Generarea modelului 3d in aplicatia specifica ce poate interpreta seria de imagini DICOM cuprinde mai
multe faze:
1 Importul seriei de imagini, aceasta faza presupunand introducerea seriei de imagini in programul folosit
pentru vizualizare, interpretare si generare a modelului 3d
2 Optimizarea seriei de imagini importate prin reglarea nivelului de luminozitate si contrast la un nivel
optim, astfel incat sa permita interpretarea lor la un nivel cat mai exact
3 Pregatirea si separarea zonei de interes, aceasta faza reprezentand etapa prin care se stabilesc limitele de
interes din cadrul modelului, asta putand sa insemne un organ sau mai multe organe sau doar o anumita
zona dintr-un organ
4 Vizualizarea si optimizarea reprezentarii 3d a organului studiat sau a zonei de interes
5 Generarea modelului 3d si reglarea nivelului de calitate a modelului generat (reducerea numarului
de poligoane, nivelul de netezire al suprafetelor)
Folosirea forțelor de răspuns în SOFA
Modelul corespunzătoare SOFA este un set de componente conectate la un nod comun numit
scenegraph. Nodurile de tip scenegraph nu sunt noduri de simulare; fiecare componentă este responsabil
pentru un set redus de sarcini implementate cu ajutorul funcțiilor virtuale într-o abordare orientată pe
obiecte. Platforma SOFA oferă un mediu unitar pentru implementarea în cadrul simulărilor pentru
algoritmii de simulare a coliziunilor, algoritmii de deformare, precum și simularea forțelor de răspuns. Ea
reprezintă un mediu propice pentru implementarea și testarea algoritmilor și metodelor în cadrul
simulărilor, centrul de interes nefiind pe calitatea interacțiunii cu scena în timp real, ci pe capacitatea
înregistrarii și redării în timp real.
Conectivitatea care se referă la tetraedru este stocată în TetrahedronSetTopologyContainer și este
transmisă altor componente, cum ar fi TetrahedralCorotationalFEMForceField, care acumulează forță pe
baza elementelor finite. Un număr arbitrar de funcții de tip forță pot fi atașate la nodul scenegraph, cum ar
fi SpringForceField, care acumulează forțele generate de suprafața membranei externe a ficatului și
ConstantForceField, care se acumulează forțe externe la un anumit subset de noduri de simulare (de
exemplu presiunea exercitată de diafragma asupra ficatului). FixedConstraint este folosit pentru a anula
deplasările particulelor. Fiecare componentă poate interoga nodul mamă pentru a avea acces la starea locală
8
și topologia. Algoritmi nivel înalt, cum ar fi integrarea de tip timp, sunt implementați cu ajutorul șablonului
de proiectare de tip vizitator care permite parcurgerea structurii de date care reprezintă modelul ficatului și
forțele de răspuns atașate acestuia.
Funcția MeshLoader este folosită pentru a citi topologia și geometria din cadrul fișierului XML de
tip scenă (format .scn). Coordonatele x, y ale nodurilor și toți ceilalți vectorii sunt stocați în cadrul stării
obiectului - MechanicalState, care este componenta de bază a modelului mecanic.
Sofa – forța de tip Spring
Sofa – forța de tip element finit
Acest tip de proiectare este foarte modulară deoarece componentele sunt independente una de
cealaltă. Pentru eficiență, MechanicalState conține vectorii de stare ai tuturor nodurilor de simulare pentru
obiectul ficat, pentru a evita apeluri consecutive ale funcțiilor virtuale. Dimensiunea vectorului este dată de
numărul de noduri și fiecare intrare vector are dimensiunea tipului de nod. Se folosesc clase parametrizate
C++ pentru a evita redundanță între tipurile scalare (float, double) și între tipuri de noduri (particule, cadre
sau coordonate generalizate). Toate nodurile unui vector au același tip, cunoscut la compilare, pentru a
permite optimizări. Nodurile folosite pentru simulare sunt păstrate în diferite stări atașate la diferite noduri
scenegraph, eventual legate de forțele de interacțiune.
Mai multe clase care reprezintă forțele sunt folosite în SOFA, inclusiv forțe pentru reprezentarea
volumetrică (tetraedre și hexaedre) sau de suprafață; obiecte deformabile utilizând reprezentări de tip
hiperelastic au fost de asemenea utilizate. Diferitele tipuri de forțe elastice permit modelarea ușoară și rapidă
a deformațiilor, iar pentru obiectele rigide, componentele principale sunt gradele de libertate și matricea de
masă care conține inerția obiectului. Suprafețele sunt aplicate sub-obiectelor folosind maparea.
Scenele pot fi construite procedural folosind componenta SOFA-Modeller sau citite din fișiere
XML al căror format este prezentat mai jos. Vizualizare interactivă este realizată folosind OpenGL, Ogre
sau OpenSceneGraph. Secvențele de fișiere care se referă la geometrie sunt exportate, pentru a crea imagini
și clipuri video. O caracteristică interesantă a scenelor de tip graf este capacitatea lor de a fi încărcate,
respectiv salvate din, respectiv în fișiere text.
9
<?xml version="1.0"?>
<Node name="scene" showVisualModels="1" showBehaviorModels="1" showCollisionModels="1"
showMappings="0" showForceFields="0" >
<DefaultPipeline name="collisionPipeline" />
<BruteForceDetection name="broadPhase" />
<NewProximityIntersection name="narrowPhase" />
<DefaultContactManager name="contactManager" response="default" />
<Node name="rigid" >
<EulerSolver name="eulerSolver" />
<MechanicalState template="Rigid" name="rigidDofs" position="0 0 0 0 0 0 1" />
<UniformMass template="Rigid" name="rigidMass" />
<Node name="contactModel" >
<MechanicalState template="Vec3d" name="sphereCenters" position="0 0 0" />
<SphereModel template="Vec3d" name="spheres" fileSphere="mesh/liver.sph" />
<RigidMapping name="sphereMapping" input="@../rigidDofs" output="@sphereCenters" />
</Node>
</Node>
<Node name="deformable" >
<RungeKutta4Solver name="rungeKutta4Solver" />
<MechanicalState template="Vec3d" name="particleDofs" position="2 0 0 3 0 0" />
<DiagonalMass template="Vec3d" name="particleMasses" massDensity="1" />
<SphereModel template="Vec3d" name="paricleSpheres" />
<SpringForceField template="Vec3d" name="internalForces" />
</Node>
<SpringForceField template="Vec3d" name="contactSpring"
object1="rigid/contactModel/sphereCenters" object2="deformable/particleDofs" />
</Node>
Integrarea dispozitivelor haptice în scenele SOFA
Este utilizat un sistem foarte simplu de cuplare, prezentat în figura următoare. Cuplarea este directă,
simularea va juca rolul unui controlor într-o buclă deschisă.
Pentru detectarea coliziunilor și forța de răspuns, răspunsul de contact rapid este furnizat folosind
constrângeri cu frecare și se bazează pe sub-zone definite pentru suprafață ficatului. Este ilustrată o simulare
în timp real care implică contacte între instrumente chirurgicale reprezentate cu ajutorul dispozitivelor
haptice și ficat. Feedback-ul haptic, de fapt mișcarea instrumentului este controlat cu ajutorul unei interfețe
haptice. SOFA include drivere pentru diferite interfețe haptice și oferă algoritmi de randare haptice. S-a
proiecat un formalism generic pentru rezolvarea interacțiunilor între diverse dispozitive medicale și
structuri anatomice, precum și pentru calcularea redării haptice asociate.
Pentru specificarea modelelor specifice interacțiunilor se folosesc mecanisme virtuale (pentru
obiecte deformabile) și sunt rezolvate printr-un proces bazat pe constrângeri. Cu această abordare, este
descris comportamentul specific al diverselor dispozitive medicale în timp ce depind de o metodă unică
pentru rezolvarea interacțiunile și calcularea feedback-ului haptic. Dinamica obiectelor virtuale este
determinată la rata scăzută în simulare și forțele de interacțiune mecanice sunt modelate și rezolvate cu
ajutorul constrângeri. Această reprezentare include (a) o măsură fizică întemeiată de cuplarea mecanică
10
dintre diferitele interacțiunile și (b) un set de momente cinematice care surprind comportamentul
interacțiunile modelate cu ajutorul legilor de constrângere.
Metoda de palpare a ficatului folosește un concept nou: hărți dinamice de forță și o îmbunătățire cu
privire la algoritmul de redare haptic pentru calcularea rigidității [6]. Metode numerice pentru soluții
aproximative a ecuatiilor cu derivate parțiale, cum ar fi metoda elementului finit (FEM) au câștigat teren în
unele simulări interactive. Un API generic care oferă modelarea algoritmilor pentru țesuturile moi este
Haptics3D (H3D). Principalul avantaj al H3D este capacitatea de a crea prototipuri rapide făcându-l ușor
pentru dezvoltator de a gestiona atât grafica 3D și redarea haptic. Doi factori sunt importanți pentru
țesuturile 3D deformabile: proprietățile de suprafață ale țesuturilor și rigiditatea. Primul definește
proprietățile vizuale și haptice la atingere, în timp ce al doilea este parte a algoritmului de deformare, care
oferă vizual, precum și feedback-ul în timpul interacțiunii cu țesutul prin palpare.
Pentru a simula proprietăți de rigiditate diferite pentru țesutului ficatul este suprapus peste
algoritmii H3D de randare haptică o rețea hexagonală de tip hipergraf. Deformarea vizuală a țesutului
depinde de coordonatele curente și forța aplicată pe suprafața. Algoritmul de deformare vizual sub
platforma H3D folosește o funcție Gauss. Forța de răspuns este calculată de la modelul haptic, având în
vedere distanța de penetrare, constanta de deformare elastică, precum și doi parametri ai nodului de
deformare: rigiditate și amortizare. Un factor de amortizare mare înseamnă că elasticitatea țesutului pentru
punctul curent este redusă.
Bazându-se pe modelul de redare haptic hipernodul asociat cu fiecare nod al modelului poligonal
pentru a stoca valori care vor fi ulterior interpretate ca proprietăți de rigiditate al țesutului pe baza patologiei
(de exemplu, locație și mărimea țesutului chistic). Pentru fiecare hipernod al hipergrafului sunt atașate
valori care vor fi interpretate ca valori de rigiditate.
Aceste valorile au fost determinate în faza de modelare 3D pentru fiecare pacient. Au fost generate
pentru a fi folosite în cadrul simulării mai multe modele hepatice cu diferite stări de evoluție a bolii. Aceste
modele vor fi folosite pentru a pregăti studenții pentru a diagnostica patologii hepatice prin palpare.
O5: Testarea sistemului în diagnosticul on-site cât şi la distanţă, antrenarea pre-operatorie, aplicaţii
computerizate pentru e-learning şi aplicaţii telemedicale diverse
Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapele 3 (3.3), 4 (4.3) și 5 (5.3)
Am implementat dispozitivul haptic în cadrul pregătirii extra-curriculare a studenților anului V, pe
parcursul cercului studențesc de gastroenterologie. Astfel, studenții au fost familiarizați cu aspectul
interfeței cu utilizatorul, explicându-se poziționarea butoanelor, slide-urilor și potențiometrelor virtuale în
imaginea vizibilă prin HUD-ul de realitate virtuală.
Studenții au fost instruiți pe parcursul a trei ore atât în ceea ce privește introducerea datelor în
sistem, cât și în folosirea efectivă a simulatorului haptic. Le-a fost explicată pe larg funcționarea modelului
tumoral, cât și pașii necesari colectării, stocării și folosirii datelor imagistice complexe. Pașii au fost
considerați necesari, o înțelegere bună a sistemului fiind necesară completării unui chestionar standardizat.
Pasul următor a fost deci elaborarea și distribuirea unui chestionar, cu scopul de a testa ușurința în
înțelegere și utilizare a sistemului de către studenți și medici rezidenți aflați în timpul pregătirii în
gastroenterologie. Astfel, s-a ținut cont de principalele tipuri de cerințe ale utilizatorilor în ceea ce privește
o interfață grafică pentru controlul unui dispozitiv haptic, și anume:
- Gradul de corectitudine anatomică al modelului virtual
- Manevrabilitatea dispozitivului
- Ușurința în utilizare a dispozitivului haptic
- Ușurința în a deprinde mișcările necesare poziționării modelului virtual
- Ușurința în introducerea datelor
- Gradul de noutate adus de sistem pentru cursanți
În continuare, studenților li s-a cerut să completeze chestionarul cu 10 întrebări, menit să aducă
informații cuantificabile referitoare la nivelul de satisfacție, al înțelegerii și posibilităților de îmbunătățire
a sistemului. Scala de notare a cuprins exprimarea acordului sau dezacordului subiecților în legătură cu
11
afirmații standardizate referitoare la sistemul VIP. Doar subiecții care au folosit sistemul ulterior unei
sesiuni complete de instruire au fost incluși în evaluare.
Un număr de 90 de studenți
și tineri rezidenți au
completat chestionarul.
Rezultatele evaluării pot fi
urmărite în tabelul următor.
Nici un student nu a raportat
deficiențe majore în
utilizarea sistemului. Nu au
fost semnalate
disfuncționalități importante
ale interfeței grafice, iar
sistemul de realitate virtuală
a fost bine tolerat de către
subiecți.
Toți studenții intervievați au
considerat sistemul util
pentru acumularea de
cunoștințe noi despre
patologia hepatică malignă;
de asemenea, aplicabilitatea
acestor informații a fost
recunoscută de către toți
subiecții (90/90, respectiv
100% din lotul studiat).
Interfața a fost considerată
ușor de folosit de către toți
studenții, în grade diferite de
tolerabilitate; aproximativ
două treimi dintre aceștia nu
au avut probleme în
acomodarea cu aceasta, iar
aproximativ o treime (24/90
– 26,6%) considerând
interfața prietenoasă și având probleme minime de acomodare.
Un singur respondent nu a considerat dispozitivul ușor de folosit, însă a putut folosi interfața după
o sesiune scurtă de antrenare pentru acomodare; restul acomodându-se ușor cu acesta – 80 (88.88%) au
considerat sistemul extrem de accesibil, 9 subiecți nu au întâmpinat probleme majore.
Sistemul de realitate virtuală a fost cel mai greu tolerat de către studenți – aproximativ o treime
(21/90 – 20.33%) considerând experiența parțial realistă, un student considerând-o artificială. Modelul
tridimensional nu a putut fi asimilat în totalitate cu unul real, deoarece majoritatea studenților percepeau
forma anatomică a ficatului și configurația sa naturală, sistemul punând la dispoziție informația
elastografică pe suprafața randată, aportul informațional derivat din această vizualizare fiind considerat
superior de către utilizatorii mai avansați (68 dintre respondenți – 75.55%).
Interacțiunea cu modelul a fost considerată facilă, acesta fiind ușor de manevrat de către toți
respondenții – aceștia au fost de acord sau în total acord cu această afirmație.
De asemenea, redarea ficatului în configurație anatomică inițială și raportarea acestuia la structurile
anatomice adiacente, fiind bazată pe imaginile furnizate de imagistica tip CT/RMN, a fost satisfăcătoare
pentru toți subiecții.
12
Dezacord
puternic Dezacord
Parțial de
acord
De
acord
Acord
puternic
Modelul respectă dimensiunile reale
alte tumorii 0 0 0 0 90
Modelul reproduce fidel forma
tumorii 0 0 0 0 90
Modelul reproduce fidel locația
tumorii 0 0 0 0 90
Modelul este ușor de manevrat 0 0 1 2 87
Dispozitivul haptic permite
interacțiunea facilă cu modelul
virtual
0 0 5 5 80
Echipamentul de realitate virtuală
oferă o experiență realistă 0 1 21 42 26
Sistemul este ușor de folosit 0 0 1 9 80
Interfața este ușor de folosit și
prietenoasă 0 0 0 24 66
Sistemul a oferit informații utile
despre caracteristicile tumorilor
hepatice
0 0 0 0 90
Sistemul a fost util la acumularea de
noi cunoștințe despre patologia
studiată
0 0 0 0 90
Creare de scene dinamice in Unity
Prototipul de sistem software dezvoltat permite simularea palpării ficatului și are ca țintă identificarea
anatomiei și țesutul hepatic anormale. Dispozitivul de interacțiune are un diametru cuprins între 5 și 10 mm
și se introduce în regiunea abdominală a pacientului în timpul procedurii chirurgicale.
Instrumentele chirurgicale sunt în general obiecte rigide care interacționează între ele și cu țesutul care
efectuează o serie de operațiuni de exemplu tăierea țesutului, sau suturarea acestuia. Interacțiunile cu țesutul
hepatic deformabil includ contactul, palparea și penetrarea suprafaței. Atunci când se produce o coliziune,
evenimentul generat este gestionat de sistemul software în ceea ce privește două componente: vizual -
efectul vizual al interacțiunii (de exemplu, deformarea țesutului) și haptic - o forță de feedback este trimisă
înapoi către utilizator prin intermediul dispozitivului haptic. Valoarea forței depinde de caracteristicile
fizice ale modelării la deformare a țesutului și în acest fel structura țesutului este un factor important pentru
o simulare realistă.
Pe baza experienței noastre anterioare cu SOFA (https://www.sofa-framework.org), am decis să
includem două categorii de scene: scene pentru sesiunile de familiarizare a utilizatorului cu dispozitivul
haptic și Oculus VR, iar cea de a doua categorie de scene se concentrează pe procedura medicală și anume
palparea țesutului hepatic. Procedura de palpare pentru evaluarea țesutului hepatic folosește 4 tipuri de
scenă, una pentru fiecare patologie hepatică majoră: ficat normal, ficat cirotic, ficat chistic si ficat hepatic.
În fiecare scenă, utilizatorul poate acționa un instrument virtual (replică realistă a unui forceps Babcock),
care permite palparea virtuala 3D a ficatului, fara posibilitatea de penetrare a țesuturilor. Utilizatorul devine
familiarizat cu manipularea instrumentului haptic și interfața grafică, înainte de a începe sesiunile de
formare propriu-zise.
In timpul sesiunii normale de evaluare a ficatului, reprezentarea grafică a unui sistem cartezian 3D, în
colțul din stânga jos al ecranului facilitează orientarea utilizatorilor în scena 3D. Acest scenariu are ca scop
13
evaluarea și îmbunătățirea cunoștințelor teoretice și practice în evaluarea unui ficat normal, prin palpare.
Procesele de evaluare se concentrează pe îmbunătățirea controlului gest si coordonarea mana-ochi în timpul
palpării hepatice prin evaluarea cantității de forță aplicată asupra țesutului, direcția forcepsului, localizarea
și frecvența de sondare de țesut, precum și metodologia de palpare pe un țesut hepatic sănătos.
În cazul ficatului cirotici, utilizatorul folosește forcepsul pentru a observa și a înțelege atributele
suprafeței hepatice. Dupa ce utilizatorii s-au format o opinie despre ficat bazat pe palpare, aceștia
completează diagnosticul de ficat răspunzând la un set de întrebări despre diferite atribute ale țesutului de
exemplu culoare sau textura suprafeței.
Evaluarea unui țesut ce prezintă formațiuni chistice urmează aceleași etape: un set de întrebări cu
variante multiple, urmate de gestul tactil necesar pentru a valida răspunsul. Modelul ficatului chistic are
două tipuri de chisturi: un tip vizibil, pe suprafața ficatului, care tactil se simt și arată diferent raportate la
proprietățile vizuale din țesutul normal și un chist intern, care este invizibil pentru ochi, dar detectabil prin
palpare și prin valoarea forței de feedback generată de dispozitvul haptic.
Din cauza existenței acestor două tipuri de chisturi, utilizatorul trebuie sa palpeze cu atenție suprafața de
ficat pentru a identifica toate formațiunile existente în ficat (atât de suprafață și chisturi interne)
Hepatita este o boală gravă a ficatului, care schimbă proprietăți ale țesutului hepatic atât vizual cât și în
ceea ce privește elasticitatea și consistența țesutului. Deși aceste modificări sunt detectabile prin palpare,
deseori, aceste proprietăți se schimbă destul de lent astfel încât fac nedetectabilă o situație de urgență în
cazul în care palparea nu se face cu atenție.
În prezent, platformele Augmented Reality(AR) și Virtual Reality (VR) nu se preocupă de feedback-ul
haptic suficient de bine pentru a satisface așteptările din domeniul medical. In timp ce chirurgii folosesc
AR si VR pentru procedurile pe care nu le pot vizualiza direct, acestea ar fi mai utile pentru procedurile în
care capacitatea de a "simți" interacțiunea dintre dispozitive și anatomie este cel mai important aspect.
O altă caracteristică a arhitecturilor care folosesc AR și VR poate fi posbilitatea de a schimba anatomia la
cerere, dar nici aceasta nu este suficient de exploatată. De exemplu, utilizatorul poate trage o bară de cursor
pentru a schimba mărimea sau forma unui ficat.
Domeniul de cercetare și sistemul software proiectat se încadrează în cadrul educației clinice, care poate fi
și la distanță. Sunt părți ale lumii nedezvoltate care nu dispun de resursele și tehnologia pentru a oferi o
instruire directă pentru medici si personalul medical. VR are capacitatea de a oferi o înaltă calitate, relativ
low-cost prin intermediul unei platforme de formare care ar putea crește în mod semnificativ accesul la
îngrijire și a calității asistenței medicale în zonele subdezvoltate.
În același timp sistem poate fi remodelat astfel încât să permită și proceduri chirurgicale de formare. Etapa
de formare pentru domeniul chirurgie presupune costuri ridicate și provocări etice. În prezent, cele mai
multe astfel de proceduri se fac fie pe animale sau pe cadavre.
Pentru formare de bază în domeniul anatomiei imaginile vin de obicei din ilustrații în cărți sau prin utilizarea
cadavrelor. Considerarea modului în care AR și VR pot îmbunătăți formarea in domeniul anatomiei prin
posibilitatea de a evidenția și de a vizualiza relațiile dintre structurile anatomice, adăugarea și eliminarea
structurilor pentru a crește vizibilitatea, această pregătire ar primi o nouă sanșă de dezvoltare.
Complicatiile chirurgicale pot fi devastatoare pentru pacient, chirurg și spital. Prin capacitatea de a
incorpora imagini reale ale pacienților CT în AR și VR, chirurgii pot planifica, colabora, si practica cu
echipa chirurgicală într-un mediu 3D. Aceasta ar putea conduce la scaderea ratei de apariție a complicaților
și la rezultate mai bune din punct de vedere chirurgical.
De multe ori, rezidenții sosesc nepregătiți în sala de operație de la noul loc de muncă. Echipamentele din
sala de operații sunt necunoscute și această necunoaștere poate contribui la ineficiența și ezitare, care ar
14
Etapa de dezvoltare si configurare a elementelor de control ale obiectului de studiu din cadrul aplicatiei VIPsystem. Etapa de dezvoltare si configurare a butoanelor din cadrul aplicatiei VIPsystem
putea duce la complicații pentru pacient. VR poate crea o o sala de operație virtuală astfel încât rezidenții
se pot familiariza cu aspectul și fluxul de lucru.
Folosirea Unity care permită dezvoltarea de aplicații și pentru platformele mobile Android, iOS și Windows
Mobile, dă posibilitatea ca sistemul proiectat să poată fi folosit și pentru astfel de dispozitive.
O6: Dezvoltarea specificaţiilor pentru utilizatori (facultăţi şi spitale)
Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 5 (5.4)
A fost realizat un manual de utilizare a dispozitivului și a aplicației de realitate virtuală, în care au fost
descrise principalele componente și modul lor de folosire.
O componenta importanta a aplicatiei haptice este interfata grafica, prin intermediul ei se realizeaza
interactiunea cu toate functiile prezente aici si implicit utilazarea aplicatiei.
Pentru ca aceasta interfata sa functioneze, ca de altfel intreaga aplicatie, aceasta este compusa din doua parti
principale, partea grafica, vizuala si partea de cod care practic o face sa functioneze.
Realizarea interfetei grafice a aplicatiei haptice VIPsystem
Partea grafica a fost realizata intr-un program specific de editare grafica si importata intr-o aplicatie
de tip cross-platform game engine, prin intermediul ei aplicatia haptica VIPsystem va fi construita
(dezvoltata partea software) si rulata. Tot prin intermediul acestei aplicatii va fi dezvoltata si configurata
partea de funtionalitate si interactiune a interfetei.
Mai jos sunt prezentate niste capturi de ecran cu exemple reprezentative pentru fiecare etapa a procesului
de configurare si realizare a interfetei, utilizand aplicatia de tip cross-platform game engine.
15
Salonul de consultatie implementat in aplicatie
Modele 3D si specificatii pentru implementare
Principiul de baza ce a trebuit luat in considerare in vederea modelelor 3D create petru aplicatie, a fost
crearea unolor modele cu un numar cat mai mic de poligoane pentru a mentine functionalitatea aplicatiei.
Numarul mare de poligoane in modele va crea scaderi de fps (frames per second) astfel am folosit
metoda de a creea modele simple si de a da detaliile din texturi. Detaliile sunt necesare in astfel de modele
deoarece maresc senzatia de fotorealism aferente rezultatului final.
Detaliile includ :
- Amprente.
- Praf / zgarieturi minore aferente echipamentelor folosite moderat.
- Indentatii aferente materialelor componente ale respectivelor echipamente.
- Imperfectiuni minore ce ridica nivelul de fotorealism aferente echipamentelor.
Modelarea 3D
Modelarea 3D a fost facuta pentru fiecare piesa de echipament, luand in considerare ca numarul
de poligoane sa fie cat mai redus pentru a nu provoca probleme in scena finala implementata
( Ex : Desi peretele in scena finala este impartit in bucati de faianta, peretele este creat cu 47 de
poligoane, faianta este data din textura Normal Map ).
Dupa modelare, fiecare element este trecut prin procesul numit UVW Unwrapping
(proces prin care fiecare element este ’aplatizat’ si desfacut sub forma unor planuri 2D pe care
vor fi pictate texturile)
Elementele modelate sunt exportate pentru implementare in 2 formate acceptate: FBX si OBJ
Este necesar ca exporturile sa fie facute dupa ce a fost efectuat procesul de UVW Unwrap pentru
a mentine coordonatele texturilor aferente modelelor.
In varianta finala exportata pentru implementare, este necesar ca obictele modelate cu topologie
din poligoane sa fie importate in aplicatie cu topologia formata din triunghiuri.
Ficat Model 3D Ficat UVW Map
16
Nota : exportarea ca FBX va face triangularea obiectului automat, exportarea ca OBJ trebuie
setata pentru a face triangularea.
Texturi
Texturile au fost pictate pe baza UVW Map-urilor extrase din modelele 3D
Pentru a reda respectivele detalii au fost necesare urmatoarele texturi (Maps - Harti) :
- Albedo / Difuse Map
- Normal Map
- Specular Map
- Gloss Map
- Height Map
- Metalness Map
- AO (Ambient Occlusion Map)
(Formatele ideale pentru aceste harti este PSD/ TIFF/ TARGA)
Desi toate texturile redate mai sus au fost create, cele esentiale pentru implementare sunt:
- Albedo Map
- Normal Map
- Specular Map
- Gloss Map
Toate texturile au fost create de la zero folosind informatii corecte in ceea ce priveste particularitatile
materialelor (gradul de neteditate al suprafetelor, Indicele de reflexie, Indicele de refractie, Gradul de
umiditate, gradul de uzura, etc.)
Exemple de texturi :
Albedo Gloss Normal Specular
Exportarea triangulata a ficatului sub forma de OBJ
Proces de implementare a modelelor in aplicatie
17
In cadrul procesului de implementare este important ca texturile aferente modelului sa fie plasate in
sloturile corecte cu valorile corecte.
Texturile esentiale pentru functionare sunt Albedo, Normal, Specular si Gloss. In fuctie de necesitate se
pot adouca si Ambient Occlusion, Height si Metalness.
Organe
Modelul 3D al ficatului extras din CT este trecut prin procesul de UVW Unwrapping dupa care ii este
aplicata textura de Albedo bruta (textura bruta este produsul din care sunt extrase Normal Map si Specular
Map). Pentru ficatul bolnav, singurul lucru ce se schimba este aplicarea texturii bolnave peste modelul
texturat al ficatului sanatos. In continuare vor fi prezentate cateva imagini cu modelul in 3D Max brut in
stanga si cu modelul finalizat si texturat in drapta.
Aplicatia a fost creata sa permita utilizatorului 3 moduri diferite de vizualizare a scenei, posibilitatea de a
palpa si analiza organul din orice unghi si o vedere volumetrica creata din imaginile sectiuni.
Pentru ca organele sa poata oferi feedback-ul dorit la atingere, zonele sanatoase si cele bolnave au fost
reconstruite folosind geometrii separate pentru ca proprietatile lor sa poata fi introduse corespunzator.
Primul pas a fost crearea geometriei ce ofera feedback-ul vizual, aceasta reprezinta intreg organul, cu
ambele zone (sanatoasa si bolnava). Acestei geometrii i-au fost definite proprietati(elasticitate, densitate,
zone cu sau fara constrangeri) ce ii permit ca la atingere sa se comporte ca organul real.
Urmatorul pas a reprezentat aplicarea unui script care defineste proprietatile haptice pe partile componente
ale organului. Zonele sanatoasa si bolnava au fiecare aplicat cate un script , iar parametrii au fost introdusi
corespunzator zonelor. Parametrii sunt: rigiditate, amortizare, frecare statica, frecare dinamica, rezistenta
tangentiala si amortizare tangentiala.
Dupa ce proprietatile haptice au fost definite, s-a trecut la definirea spatiului de lucru, pozitie si dimensiune
si deasemenea obiectul cu care se face palparea. S-a setat modul in care dispozitivul haptic reda fortele.
Pentru a completa experienta consultatiei virtuale s-a realizat o vedere volumetrica compusa din seria
imaginilor create de computerul tomograf, iar aceasta vedere volumetrica poate fi sectionata pentru o
analiza in detaliu pe axele x, y, si z. Sectiunile volumetriei pot fi controlate prin elemente grafice ale
interfetei.
Model brut Ficat Model Finalizat Ficat Sanatos
18
Proprietatile geometriei ce replica vizual comportamentul ficatului la atingere
Proprietatile haptice ale geometriilor bolnava si sanatoasa
Definirea spatiului de lucru si al obiectului cu care se palpeaza Efectul fortei constante si al vascozitatii
19
Atribuirea geometriei cu care se realizeaza sectionarea
Volumetrie sectionata pe X, Y si Z
In imaginea de mai jos este reprezentata atribuirea shaderelor ce permit vizualizarea volumetrica,
posibilitate de reducere a calitatii pentru sporirea performantei, numarul de sectiuni si sectiunile, puterea
opacitatii volumetriei, dimensiunea imaginilor si stabilirea cubului in care se randeaza volumetria si de
asemenea a planului care sectioneaza. De asemenea de aici poate fi contolata si pozitia planului de
sectionare pe x, y, z.
Definirea shaderelor, numar de sectiuni, dimensiune volum, opacitate si sectionare pe X,Y,Z
Modelul corespunzătoare SOFA este un set de componente conectate la un nod comun numit scenegraph.
Nodurile de tip scenegraph nu sunt noduri de simulare; fiecare componentă este responsabil pentru un set
redus de sarcini implementate cu ajutorul funcțiilor virtuale într-o abordare orientată pe obiecte.
Aplicația Modeler este o unealta grafica bazata pe limbajul Qt creată pentru a ușura crearea de
sccene în SOFA.
Se incarcă fisierele .scn se afiseaza optiunile disponibile in scena respectivă si se pot seta parametrii
disponibili scenei.
20
O7: Dezvoltarea documentaţiei tehnice, specificaţiilor de design şi înregistrarea componentelor la
Oficiul de Stat pentru Inveţii şi Mărci (OSIM)
Grad de atingere: Obiectiv îndeplinit în totalitate (100%) – Etapa 5 (5.5 și 5.6)
Toate părțile implicate în procesul de dezvoltare a dispozitivului au participat la redactarea
descrierii invenției și a revendicărilor acestora. Invenția se referă la un sistem haptic pentru palpare virtuală
a formațiunilor tumorale hepatice și pancreatice, și, în special, la un sistem alcătuit dintr-un dispozitiv
computerizat care primește informații de la computer tomograf și un elastograf, reconstruiește într-un mediu
virtual electronic și afișează o formațiune tumorală tridimensională utilizatorului, care interacționează cu
aceasta prin intermediul unui dispozitiv haptic manual capabil să simuleze deformarea țesutului tumoral.
A fost înregistrată la OSIM cererea de acordare a brevetului de invenție nr. A00911 din 28.11.2016,
fiind achitate toate taxele aferente protejării proprietății intelectuale. Titlul invenției este Sistem haptic
pentru palpare virtuală a tumorilor hepatice și pancreatice cu reconstrucție computerizată
tridimensională. Inventatorii fac parte din echipa proiectului, conform contractului inițial și a cererii de
finanțare, cu respectarea prevederilor acestora.
Director proiect
Conf. Univ. Dr. Dan Ionuț Gheonea