1
UNIVERSITATEA TRANSILVANIA DIN BRASOV
Contract CNCSIS IDEI 687/2009 Cod ID_775
PROGRAMAREA COGNITIVA A ROBOTILOR DIN CELULELE FLEXIBILE DE FABRICATIE – PROROB
SINTEZA FAZEI 2009
Director Prof. dr. ing. Gheorghe MOGAN
Echipa de cercetare Prof. dr. ing. Francisc ŞISAK Drd. Ing. Mihai DUGULEANA Drd. Ing. Mihai STOICA Drd. Ing. Cozmin COJANU Drd. Ing. Sergiu MARA
2
1. Introducere
Actualmente, tinand cont ca resursele hardware ale roboţilor au un nivel ridicat atât ca performanţe cât şi fiabilitate, capabilitatile software de programare a acestora sunt inca limitate şi constitue un domeniu de cercetare diversificat şi dinamic cu mari resurse de dezvoltare. Una din direcţii este legată de implementarea de atribute cognitive care, pe lângă mici dezvoltări hardware, presupune dezvoltări software evoluate.
Cogniţia este o proprietate a organismelor vii strâns legată de concepte precum raţiune, percepţie, înţelegere, luarea deciziilor, planificare, învăţare, abstractizare, generalizare, specializare, reprezentare, cunoaştere, dorinţe, preferinţe, credinţe, limbaj, concentrare, socializare etc. Implementarea cogniţiei la nivelul sistemelor aertificiale implică aplicarea, în plus de aspecte multidisciplinare tehnice, a celor studiate în neurologie, psihologie, filozofie, sociologie, matematică etc. Aspectele cognitive definitorii se pot sintetiza în două grupe: primare (percepţie, învăţare, luarea deciziilor etc.) şi secundare (limbaje, metacogniţie etc.). Condiţia necesară pentru a forma o entitate cognitivă este aceea de a însuma aspectele primare ale cogniţiei.
La baza dezvoltării sistemelor cognitive robotice stau tehnicile şi metodologiile inteligența artificiala (IA) care stau la baza rezolvării următoarelor sub-probleme: percepţia (video – recunoşterea de feţe, sunet – speech recognition, etc.), deducerea, raţionarea logică, reprezentarea informaţiei (informaţia este abstractă, nu logică), planificarea (luarea deciziilor, planificarea multi-agent), învăţarea, procesarea limbajului natural, inteligenţa socială (detectarea şi modelarea emoţiilor).
În cadrul etapei 2009 a proiectului PROROB conform obiectivelor propuse s-au dezvoltat cercetări cu precădere legate de prima subproblemă (percepţia) cu aplicaţii legate de problematicile din celulele flexibile de fabricaţie. Cercetările dezvoltate în cadrul acestei etape s-au derulat în cadrul programelor a patru teze de doctorat:
a. Învăţarea roboţilor mobili pentru deplasare şi manipulare în medii industriale – drd. ng. Mihai Duguleana.
b. Contribuţii la programarea prin demonstare a roboţilor industriali din celulele flexibile de fabricaţie - drd. Ing. Stoica Mihai
c. Cercetări privind inspecţia calităţii în celulele flexibile de fabricaţie – drd. ing. Cozmin Cojanu d. Cercetări teoretice şi experimentale privind celulele flexibile de sudare-debavurare - drd. ing.Mara
Sergiu 2. Analiza critică a realizărilor teoretice şi practice privind programarea roboţilor de
fabricaţie (manipulare, prelucrare si asamblare) din celulele flexibile de fabricaţie
Programarea roboţilor prin tehnica on-line presupune invaţarea traiectoriilor robotului ce urmează sa fie realizate de acesta în exploatare. Invatarea se face prin conducerea structurii robotului – manual, prin actiune directa sau prin dispozitive specifice (joystick, teach pendant sau replici master) – si inregistrarea de secvente de miscare care urmeaza sa fie reproduse automat [Zielinski, 1995; Biggs, 2005]. Aceasta tehnica se remarca prin simplitate si are dezavantajele productivitatii reduse (pentru precizie marita se fac mai multe incercari, ocuparea robotului cu activitati de programare) si incompletetii (nu considra senzorii externi, nu ofera cod sursa). Tehnica off-line de programare presupune intocmirea unui program robot, de obicei, intr-un mediu de programare specific (AML, AL , ABB Rapid etc.) care sintetizeaza sarcina de realizat printr-o succesiune de comenzi de tip text. Desi, in ultima perioada de timp, pe de-o parte, limbajele specifice au evoluat mult prin utilizarea de comenzi text evoluate si, pe de alta parte, s-au dezvoltat interfete evoluate de includere a sistemelor CAD/CAM ca si medii de programare conexe aceasta tehnica are dezavantajul major legat de operatiile costisitoare de calibrare necesare la implementarea programului sursa pe robot in vederea eliminarii abaterilor dintre datele considerate in mediul de programare si cele din mediul real robot [Barkowski, 2005; Gonzalez-Galvan, 2008; Meng, 2007]. In plus, pentru dezvoltarea de programe sunt necesare cantitati mari de informatie (despre geometrii, deplasari, date senzori etc.) [Chan, 2003] care, inca, se proceseaza anevoios neavand la baza principiile noi de lucru utilizand cunostinte. Majoritatea robotilor industriali actuali comerciali ofera cele doua posibilitati de programare, fiecare avand la baza diferite implementari si chiar uneori principii de dezvoltare diverse caracterizate, din pacate, de sfecificitati distincte si portabilitati reduse [Koeppe, 2005].
3
In ultima perioada de timp se fac cercetari multiple privind programarea demonstrartiva a roboţilor prin imitarea structurilor biologice, mai ales, cele umane - avand la baza cunostinte evoluate - în vederea obţinerii unor sisteme de programare naturale (prin imitarea miscarilor, voce, gesturi) şi de optimizare operationala, procesuala si de eficienta [Biggs, 2005; Chen, 2005; Norberto, 2005]. In cazul programarii automate demonstrative, programatorul/utilizatorul nu are contact direct cu limbajul si codul de programare ci comunica direct cu interfetele mutimodale de interactiune cu robotul si mediul robot [Hasan, 2006].
Incercarile de dezvoltare a unor sisteme automate de programare sunt sintetizate in doua directii [Biggs, 2005]. Prima, presupune segmentarea avansata a actiunilor si dezvoltarea de demonstratori pe actiuni simple [Chhatpar, 2001], urmata de combinarea acestora. Cea de-a doua, cu mai multe incercari de dezvoltare, presupune dezvoltarea de demonstratori mai evoluati prin folosirea de sisteme de comunicare multimodale [Norberto, 2005]. Sistemele conducere si de programare a robotilor industriali, de obicei ficsi, au ramas inca rigide tributare diverselor dezoltari comerciale spre deosebire de cele ale robotilor mobili care in ultimul timp au devenit din ce in ce mai inteligente, apropiate de cele umane [Lau, 2003; Ogawara, 2003;Torgny, 2007]. Marile provocari ale programarii prin demonstrare cognitiva sunt legate de introducerea interfetelor naturale de interactiune a utilizatorului cu robotul si generarea unor stragegii de invatare adaptiva pentru a fi imitate de robot. Comunicarea naturala presupune considerarea de interfete multimodale care permit diverse moduri de expresie (tactile, haptice, gesturi, verbale) [Olsson, 2007]. Astfel, pentru obtinerea acestor cerinte aspectele privind programarea robotilor implementati in diverse aplicatii se pot sintetiza in platforme separate cu caracter de generalitate - aplicabile pentru diversele sisteme de programare comerciale – care implica reconsiderarea problematicilor de planificare si programare prin noi baze teoretice dar si prin includerea realizarilor spectaculoase in domenii conexe (realitate virtuala, inspectia conformitatilor, analiza interactiunilor mecanice, vision etc.) [Aleotti, 2006; Ahlskog, 2007; Aranha, 2003; Yoon, 2006].
Realitatea Virtuala (RV) este un domeniu de varf intr-o permanenta dezvoltare avand un impact deosebit asupra modului in care utilizatorii percep vizual, se imerseaza si navigheaza si interactioneaza intr-un mediu virtual, cvasiapropiat ca in cel real (RV = 3I: Iamagine, Imersare, Interacţiune [Burdea, 1999]). În plus, în ultima periodă de timp tehnologiile RV, ca înalte interfeţe utilizator calculator, au inceput sa fie implementate cu succes in aplicatii industriale. Diversificarea tehnologiilor cat si a ariilor de aplicare creeaza o nevoie reala precum si o presiune crescuta pentru implementarea tehnologiei RV in procesele industriale inclusiv pentru dezvoltarea de medii evoluate de programare a robotilor [Baydar, 2002; Cecil, 2005; Chen, 2005; Maoyuan, 2003; Stefani, 2004; Pang, 2006; Talaba, 2006; Zachmann, 2000; Zhang, 2005]. Astfel, un scop important al eforturilor depuse in cercetarea la nivel mondial este de a facilita implementarea tehnologilor de RV in cercetarea fundamentala si aplicativa acestea oferind posibilitatea de dezvoltare de medii evoluate de mare eficienta privind performantele tehnice dar, mai ales, cele economice [Talaba, 2006]. In particular, utilizand tehnologiile RV in programarea robotilor de productie permite dezvoltarea unui mediu de cercetare paralel cu cele reale in care se pot genera si testa functii (primitive) cognitive evoluate folosind interfete om-robot de comunicare naturala.
Pe de alta parte, deoarece dezvoltarile de pana acum privind programarea roboţilor pentru anumite sarcini specifice (asamblare [Baksys, 2006], sudare, vopsire), realizarea calibrarilor [Barkowski, 2005; Meng, 2007; Xiong, 2001] si cooperarile om-robot si robot-robot [Ferch, 2002; Hirata, 2005; Koeppe, 2005, Zhang, 2003; Zivanovic, 2006] sunt foarte diversificate (de regula, favorizate de aspecte comerciale), se impune, ca si in domeniul programarii calculatorelor, dezvoltarea unor platforme universale de programare a roboţilor cu un nivel cat mai apropiat de modurile de actiune, comunicare si rationare umane [Juarez, 2005] care corelat cu dezvoltarea unor sisteme senzoriale si/sau de interfatare externe adecvate [Connolly, 2005; Gaub, 2003; Gonzalez-Galvan, 2008; Gonzalez-Galvan, 2008; Mancas, 2007; Toth, 1999;Olsson, 2007; Pauli, 2001] sa permita programarea eficienta a robotilor actuali in scopul indeplinirii cu flexibilitate si adaptabilitate marite a diverselor sarcini de productie (manipulare, prelucrare, asamblare etc.).
Programarea robotilor prin demonstrare pe baze cognitive de invatare (instruire) si adaptare [Dillmann, 2004], folosind tehnicile RV si ale Inteligenţei Artificiale (IA) este un domeniu de cercetare dinamic cu aplicabilitate imediata in vederea cresterii eficientei prin marirea productivitatii, prin reducerea cunostintelor si abilitatilor programatorilor si prin disponibilizarea (reducerea) echipamentelor pentru activitatile indirecte de productie.
Pornind de la studiul sistemic a peste 300 referinţe bibliografice şi de la analiza critică a realizărilor teoretice şi experimentale , parţial prezentată mai sus, s-au elaborat obiectivele detaliate precum şi planul activităţilor de cercetare.
4
3. Modelarea experimental-teoretică a acţiunilor braţului si mîinii umane în vederea reproducerii acestora de roboţii industriali
3.1 Modelarea experimentalo- teoretica prin identificare a diferitelor secvente de actiune ale
corpului bratului si mainii umane in vederea reproducerii acestora prin imitare
Pornind de la faptul că structurile şi modurile de acţiune umane sunt optimizate, identificarea, modelarea şi reproducerea acestora de structurile robotice constitue un obiectv esenţial. Reproducerea prinderii naturală a obiectelor cu mâna este cunoscută ca o problemă dintre cele mai dificile probleme din robotică. Se poate menţiona ca fiind de referinţă lucrarea „Teaching Grasping to a Humanoid Hand as a Generalization of Human Grasping Data”, Michele Folgheraiter et al. au folosit datele obţinute direct de la un profesor uman pentru dezvoltarea unei reţele neuronale şi au realizat o mănuşă care a stat la baza verificării datelor din diferite experimente. [Folgheraiter, M. et al., 2005].
În vederea identificării acţiunilor de prindere şi manipulare a obiectelor cu mâna şi braţul s-a folosit sistem de tracking video, OptiTrack, prezentat în fig. 1. Camerele video OptiTrack generează imagini 2-D, gri cu 100 de fps, iar cu ajutorul toolkiturilor dedicate realizează un tracking 3-D sincron. Pentru realizarea măsurătorilor s-a folosit softul ARENA Full Body Motion Capture (Fig. 2) care este un soft flexibil, în care utilizatorul poate fi atât operator cât şi actor.
Fig. 1. Structura hard a sistemului OptiTrack (8 camere video)
În vederea identificării mişcărilor mâinii, braţului precum şi a altor părţi ale corpului uman sunt ataşate marcăre care sunt urmărite simultan de camera video dispuse spaţial ca în fig. Cel puţin trei marcăre realizează un segment (Rigid Body). Pachetul software cu ajutorul unei unelte Skeleton Wizard generează un schelet şi asignează marcăre automat. Capturarea informaţiilor se face în timp real. Pentru identificarea mişcărilor mâinii, braţului şi antebraţului s-a recurs la micşorarea volumului de lucru (aproximativ 1 metru cub) cu scopul de a mări precizia. Chiar dacă au fost montate opt camere, s-a ajuns la concluzia că este mai eficientă folosirea doar a patru camere (cele de jos) deoarece la folosirea celor opt camere exista posibilitatea , datorită restrângerii spaţiului de lucru, ca cele de jos să intre în câmpul vizual al celor de deasupra.
În fig. 3 se prezintă obiectul de prins şi manipulat pe care s-au ataşat patru marcăre, care în softul ARENA au fost selectaţi ca realizând un „rigid body”, denumit „corp” plasat pe masa de lucru în planul XOZ.
5
Fig. 2. Interfaţa utilizator a pachetului ARENA
Fig. 3. Obiectul de manipulat cu marcărele fixate Operaţia de măsurare a constat în identificarea unui ciclu de prindere-manipulare a obiectului care constă
în următorele faze: prinderea obiectului aflat pe masa de lucru, ridicarea acestui obiect la o anumită înălţime, coboarârea obiectul pe masa de lucru, eliberarea obiectului, ridică din nou mâna fără obiect (palma fiind deschisă), după care coboară mâna pentru a prinde din nou obiectul şi a reîncepe un nou ciclu. În fig. 4, a şi b este arătat momentul în care agentul uman preprinde obiectul aflat pe masa de lucru. În fig. 4, c şi d este arătat momentul în care agentul uman prinde obiectul situându-se pe masa de lucru.
În fig. 5 sunt reprezentate variaţia ordonatei Y al mâinii agentului uman şi ale obiectului, într-un ciclu de prindere-eliberare obiect. Zonele încadrate în elipse cu contur roşu reprezintă zonele de interes.
În fig. 6 se prezintă variaţiile coordonatelor mâinii şi obiectului la manipulare - culoarea albastru pentru cota Z a mâini, respectiv a obiectului ce trebuie manipulat; culoarea verde pentru ordonata Y a mâinii şi obiectului. Zona încadrată în dreptunghiul maro reprezintă perioada în care obiectul este ţinut în mână şi ridicat, respectiv coborât pe masa de lucru când distanţa între mână şi obiect pe OZ este constantă. Zona încadrată în dreptunghiul galben reprezintă perioada în care mâna este ridicată şi coborâtă fară obiect. Cea încadrată în roşu reprezintă perioda în care obiectul este eliberat, iar cea încadrată în negru reprezintă perioda în care obiectul este prins.
6
a b
c d Fig. 4. Preprinderea (a, b) şi prinderea (c,d) obiectului
În figura 7 sunt reprezentate variaţiile coordonatelor pe Y şi Z ale mâinii agentului uman şi obiectului
pentru un ciclu complet.
a b
c d Fig. 5 Variaţiile ordonatei Y la prindere-eliberare pentru mână şi obiect
7
Fig. 6. Variaţiile coordonatelor în cazul prinderii, manipulării şi eliberării obiectului
Fig. 7 Variaţiilole coordonatelor Y şi Z ale mâinii şi obiectului pentru un întreg ciclu.
Pentru identificarea mişcărilor braţului agentului uman atunci când acesta prinde un obiect au fost
efectuate prin măsurători cu ajutorul sistemului OptiTrack în configuraţie ca cu şapte camere video (4 în partea de jos şi 3 în partea de sus) dintre cele opt prezente în fig. 1. S-a recurs la mărirea numărului de camere video faţă de cazul măsurătorilor anterioare, pentru crearea condiţiilor eficiente de efectuare a măsurătorilor şi pentru cazul realizării de rotaţii în direcţia OZ a braţului uman. Pentru obţinerea coordonatelor braţului au fost nec plasate marcăre pe braţul agentului uman (fig. 8)
a) b) c)
Fig. 8. Secvenţe de acţiune a măinii şi braţului pentru diverse acţiuni în spaţiul de lucru a) preprindere, b) primul tip de prindere, c) al doilea tip de prindere
8
În fig. 9 şi 10 cu verde sunt reprezentate ordonatele Y iar cu albastru cotele Z ale punctelor de interes: pentru punctul 1 coordonatele marcate de curbele c şi d; pentru punctul 2 cordonatele marcate de curbele b şi e iar pentru punctul 3 coordonatele marcate de curbele a şi f. Se observă că pentru fiecare punct de interes cu cât este mai mică descreşterea pe axa Y cu atât este mai mare creşterea pe axa OZ. Cu alte cuvinte putem spune că panta de descreştere pe axa OY se află într-un raport de inversă proporţionalitate cu panta de creştere pe axa OZ.
Fig. 9. Coordonatele pe axele OZ şi OY a punctelor de interes pentru primul mod de prindere.
Fig. 10. Coordonatele pe axele OZ şi OY a punctelor de interes pentru primul mod de prindere .
3.2 Modelarea teoretică a secvenţelor de lucru (deplasare, preapucare, apucare, manipulare, preeliberare,eliberare etc.) in corelaţie cu acţiuni umane similare, realizabile de roboţi industriali
Rezultatele obţinute la etapa identificare a mişcărilor mâinii, antebraţului şi braţului în sunt folosite
pentru a realiza modelele vitezelor de deplasare a cuplelor unui robot antropomorf. Curbele de variaţie a coordonatelor obţinute la identificare approximate prin interpolare şi apoi derivate în raport cu timpul conduc la caracteristicile de de viteză. De exemplu, în fig. 11 şi 12 se prezintă secvenţe de deplasare şi caracteristici viteză după axele OY şi OZ a efectorului robotului. Având la bază caracteristicile de deplasare obţinute s-au determinat caracteristicile de acţionare ale cuplelor robotului Mitsubishi RV-2AJ.
În cadrul cercetărilor viitoare se va continua studiul prin testarea acestor modele pe robotul industrial Mitsubishi RV-2AJ precum şi se vor studia prinderea şi a altor obiecte (sferice, conice, prisme etc.)
9
Fig. 11. Modelarea variaţiei spaţiului şi vitezei de deplasare pe vertical
Fig. 12. Modelarea variaţiei spaţiului şi vitezei de deplasare la preapucare
10
4. Identificarea şi modelarea teoretică a proceselor de raţionare umane în vederea reproducerii în sisteme de raţionare artificiale de programare a roboţilor industriali
La baza proceselor de raţionare umane stau reţele neuronale. În fig. 13 se prezintă schema simplificată a
unei reţele neuronale biologice în care se evidenţiază neuronii şi conexiunile sinaptice ca elemente cheie în procesarea informaţiei. Cei mai mulţi neuroni dispun de structuri ramificate denumite dendrite prin care recepţionează semnale de intrare primite de la alţi neuroni prin intermediul joncţiunilor numite sinapse [Cowan, 1987]. Neuronul ca parte distinctă a unei reţele complexe se compune din corpul celulei neuronale (soma) în care se realizează majoritatea funcţiilor logice genetice şi metabolice; dendritele, ca prelungiri ramificate prin care se primesc informaţii; axonul, care transportă semnale de ieşire către dendritele altor neuroni; sinapsa ca legătură (joncţiune) de tip axon-dentrită, axon-soma sau axon-axon. În cazul în care celula este excitată de un stimul a cărui intensitate depăşeşte un anumit prag, are loc o modificare rapidă a concentraţiei ionilor din lichidul intracelular şi cel interstiţial, respectiv o modificare a diferenţei dintre potenţialul interior şi cel exterior, diferenţă ce poartă denumirea de potenţial de acţiune [Nicu, 1996]. Axonul şi dendritele transportă informaţia prin aceste potenţiale de acţiune, spre legăturile sinaptice. Acest proces adesea se modelează cu o regulă de propagare prin intermediul unei variabile ui (fig. 14).
Neuronul i colectează semnalele de intrare, le ponderează cu valorile wik ce reprezintă influenţele excitatoare şi inhibitoare de la sinapsele sale (k = 1…n, cu n - numărul de intrări) şi le însumează. Dacă influenţele excitatoare sunt dominante în raport cu constanta bi (pragul de activare al neuronului), atunci nivelul de prag al neuronului este depăşit şi informaţia rezultată ai este transmisă către alţi neuroni prin intermediul sinapselor de ieşire. În acest sens funcţia de activare este adesea modelată ca o funcţie treaptă f(u).
Fig. 13. Reţea neuronală biologică
Fig. 14. Modelul simplificat al neuronului biologic [Kung, 1993]
Soma
11
Fig. 15. Structura de bază a unei RNA
O reţea neuronală artificială (RNA) este formată din straturi de neuroni, dimensiunea acesteia depinzând de numărul straturilor şi de numărul de neuroni din fiecare strat. Numărul de straturi ale unei RNA este determinat de numărul de straturi intermediare (ascunse) la care se adaugă un strat de intrare şi unul de ieşire (fig. 15). Numărul de neuroni din stratul de intrare este fix şi depinde de numărul de intrări, la fel ca şi numărul de neuroni din stratul de ieşire, care depinde de numărul de ieşiri. Numerele de neuroni din straturile intermediare pot fi variabile, iar adoptarea optimă a acestora conduce la o creştere a performanţelor reţelei privitor la timpul de antrenare, rata de convergenţă, timpul de exploatare etc.
Odată stabilită structura reţelei neuronale se poate trece la antrenarea acesteia prin generarea setului de antrenament şi adoptarea unui algoritm de învăţare care pentru cazurile tehnice se constitue în termenul de “Machine Learning” (ML). Există mai multe tipuri de algoritmi de învăţare: învăţare supervizată (mediul înconjurator oferă atât problemele pe care le are de rezolvat agentul, cât şi răspunsurile corecte la aceste probleme); învăţare nesupervizată (mediul înconjurator nu oferă informaţii despre corectitudinea acţiunilor întreprinse de agent); învăţare semi-supervizată (combină ambele feluri de supervizare pentru a genera o funcţie sau un clasificator potrivit); învăţare cu întărire (mediul înconjurator furnizează date despre corectitudinea acţiunilor întreprinse de agent, dar nu spune care sunt acţiunile corecte); învăţarea metodei de învăţare (algoritmul îşi crează vechea bază inductivă bazat pe experienţa anterioară).
Aplicaţii practice ale ML cu aplicabilitate în robotică cuprind procesare audio (speech recognition), procesare video (object recognition), folosirea interfeţelor creier-calculator (BCI) sau de Electrooculografie (EOG), recunoşterea de pattern-uri şi multe altele.
Programarea cognitivă reprezintă în mod general programarea caracteristicii de cogniţie. Programarea cognitivă a roboţilor mobili presupune implementarea atributelor cognitive necesare realizării unui sistem care posedă atributul de cogniţie, adică implementarea funcţiilor de planificare şi învăţare (antrenarea eventualilor clasificatori, a reţelelor neurale), utilizarea sistemelor senzoriale existente pentru percepţie (procesarea video şi audio), construirea capabilităţilor de anticipaţie, colaborare şi HRI prin voce şi gesturi (Khaldoun, 2009).
Programarea roboţilor (din punct de vedere al legăturii cu conceptul de inteligenţă artificială) poate fi realizată cu ajutorul unor limbaje de programare logică special concepute, precum LISP, Prolog, IPL şi altele.
5. Inspecţia acţiunilor (de orientare, de poziţionare şi deplasare pe traiectorii) roboţilor în
spaţiul de lucru
5.1 Inspecţia oritionărilor şi poziţionărilor cu dispozitive de urmărire vision Identificarea poziţiei şi orientării pieselor din celula flexibilă este necesară la prehensarea lor de către roboţi.
Pentru aceasta în timpul mişcării roboţilor se foloseşte informaţia vizuală ca feedback la traiectoria corectă de prindere a pieselor. Metodologia folosită este bazată pe sistemul ABB – Optimaster iar arhitectura pentru aplicaţia de ghidare a robotului pentru prinderea pieselor este prezentată în fig. 16.
12
Fig. 16. Aplicaţia ghidare a robotului pentru prinderea pieselor cu ajutorul sistemului vision Optimaster Sistemul vision Optimaster captează imaginea piesei de la cameră. Apoi aceasta imagine este procesată
rezultând poziţia şi orientarea piesei prin identificarea caracteristicilor predefinite de utilizator. O singură caracteristică este suficientă pentru a defini poziţia şi orientarea unei piese, dar pentru a creste acurateţea de identificare se definesc mai multe caracteristici.
În fig. 17 se prezintă secvenţele de identificare a orientării şi de prindere a unei piese. Această piesă în procesul de manipulare poate avea mai multe orientări, iar pentru următorul pas, este necesară prinderea acesteia cu alezajul poziţionat către baza prehensorului. Pentru prinderea piesei în acest fel este necesar feedback-ul de la Optimaster care returnează robotului poziţia şi orientarea de prindere.
Fig. 17. Prinderea piesei orientată după alezaj, a identificarea orientării piesei;
b, c prinderea piesei. Pentru identificare s-au folosit două caracteristici de bază ale piesei, conturul exterior care identificat
returnează poziţia piesei şi alezajul, care returnează orientarea piesei. Aceste caracteristici au fost învăţate în două modele, care sunt derulate în momentul inspecţiei, rezultând astfel poziţia şi orientarea corectă de prindere indiferent de poziţia şi orientarea piesei în spaţiul de lucru.
Identificarea poziţionărilor şi orientărilor pieselor din spaţiul de lucru robot s-a realizat şi cu sistemul video mobil (cu două camere video şi lasere) montat pe braţul robotului IRB 1600 (fig. 18).
a b c
OptiMaster
Robot ABB
Camera CCD
Prinderea piesei
CCXC
RS Sistem
de
iluminat
Controler ABB
13
a. b Fig. 18. Identificarea poziţionărilor şi orientărilor cu sistemul video mobil a) în dispozitivul de prindere al unei
maşini de frezat, b) pe masa de lucru
5.2. Inspecţia oritionărilor si poziţionărilor cu dispozitive de complianţă activă
De obicei, procesele de asamblare robotizate sunt mult îngreunate datorită inpreciziilor tehnologice, de poziţionare şi de orientare; aceste procese sunt dificile deoarece toleranţele de execuţie, de obicei, sunt mai mici decât incertitudinile de poziţionare şi de orientare a robotului. Din cauza acestor situaţii, efectorul robotului programat să se deplaseze pe traiectorie spre punctul ţintă T (fig. 19,b; fig. 21) cu viteza vp ajunge în punctu T’ cu viteza vp’ (fig. 19,b). În acest punct datorită condiţiilor fizice de coliziune se poate întrerupe sau poate continua în direcţie nedorită. Astfel, pentru a se putea realiza asamblarea se impune o comportare cvasilocală a robotului care în cazul folosirii dispozitivelor de complianţă active cu senzor de forţă (fig. 19,a) se face similar cu acţiunile de umane de realizare a acestei asamblări prin “pipăire“ a zonei până la sesizarea poziţiei şi direcţiei cu rezistenţă minimă.
a b Fig. 19 Structura efectorului robot cu senzor de forţă a)foto, b) schema
Programarea mişcărilor fine ale robotului în zona de asamblare urmărind comportarea umană la asamblarea manuală fără a privi zona de asamblare implică studiul forţelor care apar în această zonă. Robotul acţionează în cazul unei coliziuni cu forţa fR (fig. 19) mediul reacţionează cu forţa fE cu următoarele două component: forţa normală Na,b.c,d şi forţa de frecare tangenţială µ Na,b.c,d. Direcţia forţei de acţiune a robotului fR în funcţie de unghiul de frecare φ generează două situaţii posibile. Prima, când unghiul de acţiune al forţei robotului α este mai mic decât unghiul de frecare φ şi rezultatnta dintre forţele de acţiune a robotului fR şi de reacţiune a
14
Fig. 22 Schema forţelor în zona de contact
mediului fE este zero (fig. 20,a) sau mai mică decât forţa de frecare de ferecare µNb (fig. 20,b) şi mişcarea este întreruptă. Cea de-a doua situaţie posibilă, forţa Fd (fig. 20,d) obţinută prin compunerea forţelor de acţiune a robotului fR (cu direcţia în afara conului de frecare) şi de reacţiune a mediului fE generează miscarea relativă de alunecare în zona de contact. În cazul în care unghiul de acţiune al forţei robotului este egal cu unghiul de frecare (fig. 20,c) mişcarea în zona de contact este cu instabilitate.
Din această analiză rezultă că pentru a se putea identifica comportările robotului în zona de contact se impune determinarea unghiului de acţiune (orientare) a efectorului robotului α prin măsurarea componentelor forţei de acţiune
zyxR f f ff
Măsurarea componentelor fx,y,z s-a realizat cu ajutorul unui senzor de forţă SHUNK (fig. 18,a ) care produce semnale şi prin intermediul driverului soft valori numerice prporţionale cu aceste component.
Valoarea unghiului de acţiune se determină cu relaţia (fig. 22)
z
2y
2x
f
ffarctanα
a b
c d Fig. 20. Situaţiile de contact efector-mediu
15
a b Fig. 21 Diverse poziţionări şi orientări ale efectorului
De exemplu, pentru valorile indicate de senzor 3,7954 0,2359 0,1754fR , conform acestei relaţii unghiul α=4,288o. Bibilgrafie selectivă
[Aleotti, 2006]; Aleotti, J., Robot programming by demonstartion in virtual reality, Phd Thesis, Universita Degli Studi di Parma, dipartimento di ingegneria dell’ínformazione, Parma, 2006. [Ahlskog, 2007]; Ahlskog, M., 3D Vision, Master Thesis, Department of Computer Science and Electronics, Mälardalen University, May 2007. [Aranha, 2003]; Aranha, C. et all: A Realistic Simulated Robot for Vision Algorithms, Journal of WSCG 11/1, Pilzen, 2003. [Baksys, 2006]; Baksys, B., Kilikevicius, S., Insertion investigation of cylindrical parts to be assembled with clearance, Journal Mechanika, No. 2, pp. 30-36, ISSN: 1392-1207, 2006. [Barkowski, 2005];Barkowski, I,et all,Error compensation method for a gantry robot and a laser-vision sensor-based chassis module measurement system, The International Journal of Advanced Manufacturing Technology 27/3-4, 329-333, 2005. [Baydar, 2002]; Baydar, C., Diagnosis of complex failure in robotic assembly systems using virtual factories, Joint Workshop on Real-Time Decision Support and Diagnosis Systems, 2002. [Biggs, 2005]; Biggs, G., MacDonald, B., A Survey of Robot Programming Systems, Department of Electrical & Electronic Engineering, University of Auckland”, 2005. [Cecil, 2005]; Cecil, J., Gobinath, N., Development of a virtual and physical work cell to assemble micro-devices, Robotics and Computer-Integrated Manufacturing 21, pp. 431–441, 2005. [Chan, 2003]; Chan, S.F., Kwan, R., Post-processing methodologies for off-line robot programming within computer integrated manufacture, Journal of Materials Processing Technology 139, pp. 8–14, 2003. [Chen, 2005]; Chen, Y., Transfer of manipulation skills from human to machine through demonstration in a haptic rendered virtual environment, Phd thesis, University of Wollongong, 2005. [Chhatpar, 2001]; Chhatpar, S.R., Branicky, S.M., Search Strategies for Peg-in-Hole Assemblies with Position Uncertainty, Proceedings of the 2001 IEEE/RSJ, International Conference on Intelligent Robots and Systems, Maui, Hawaii, USA, 2001. [Connolly, 2005a]; Connolly, C., Vision enabled robotics, The Industrial Robot 32/6, pag. 456-459, 2005 [Gaub, 2003]; Gauß, M., Bürkle, A., Längle, T., Wörn, H. An Architecture and Communication Protocol for Interaction of Industrial Robots and Vision Systems, International Conference on Advanced Robotics Coimbra, pag. 625-630 Jun 2003.
16
[Dillmann, 2004]; Dillmann, R., Teaching and learning of robot tasks via observation of human performance, Robotics and Autonomous Systems, vol. 47:2-3, pp. 109–116, 2004. [Ferch, 2002]; Ferch, M., Zhang, J., Learning cooperative grasping with the graph representation of a state-action space. J. Robot. Auton. Syst., vol. 38, no. 3-4, pp 183-196, 2002. [Gonzalez-Galvan, 2008]; Gonzalez-Galvan, E. J., et all., An optimal path-generation algorithm for manufacturing of arbitrarily curved surfaces using uncalibrated vision Robotics and Computer-Integrated Manufacturing 24, pag. 77–91, 2008. [Hasan, 2006]; Hasan, T. A., et. all, An adaptive-learning algorithm to solve the inverse kinematics problem of a 6 D.O.F serial robot manipulator, Elsevier, Advances in Engineering Software 37 (2006) 432–438, 2006. [Hirata, 2005]; Hirata, Y., Kume, et. all, Handling of a single Object by Multiple Mobile Manipulator in Cooperation with Human Based on Virtual 3-D Caster Dynamics, JSME International Journal, Series C, Vol. 48, No.4, 2005. [Juarez, 2005]; Juarez, L.I., et. all, On the design of intelligent robotic agents for assembly, Information Sciences 171, pp.377–402, 2005. [Koeppe, 2005]; Koeppe, R., et. all, Robot-Robot and Human-Robot Cooperation in Commercial Robotics Applications. Springer-Verlag, Berlin Heidelberg, 2005, Robotic Research, STAR 15, pp. 202. [Lau, 2003]; Lau, H.Y.K., A hidden Markov model-based assembly contact recognition system, Mechatronics 13, pp. 1001–1023, 2003. [Mancas, 2007]; Mancas, M., et all, Perceptual Image Representation, EURASIP Journal of Image and Video Processing, 2007. [Maoyuan, 2003];Maoyuan, C. et all, A Centralized Tele-teaching System for Industrial Robots Using Virtual Reality, IEEE International Symposium on Computational Intelligence in Robotics and Automation, 16-20, 2003, Kobe, [Ogawara, 2003]; Ogawara, K., Takamatsu, J., Kimura, H., Ikeuchi, K., Acquisition of a symbolic manipulation task model by attention point analysis, Advanced Robotics 17/10, pag. 1073–1091, 2003 [Meng, 2007]; Meng, Y., Zhuang, H., Autonomous robot calibration using vision technology, Robotics and Computer-Integrated Manufacturing, 23/4, pag. 436-446, 2007. [Norberto, 2005]; Norberto, P., Robot-by-voice: experiments on commanding an industrial robot using the human voice, Elsevier, Industrial Robot: An International Journal 32/6 (2005) 505–511, 2005. [Olsson, 2007]; Olsson, T., HighSpeed Vision and Force Feedback for MotionControlled Industrial Manipulators, Master Thesis, ISSN 0280–5316, ISRN LUTFD2/TFRT--1078—SE, Department of Automatic Control, Lund University, May 2007. [Stefani, 2004]; Stefani, O., et. all, PI-casso: Mobile Virtual Reality at Office Workplaces. Proceedings of Computer Graphics and Imaging, August 17-19 2004, Kauai, USA, 2004 [Pang, 2006]; Pang, Y., Andrew, et. all., Assembly feature design in an augmented reality environment, Assembly Automation, Vol.26, No.1, pp. 34–43, ISSN 0144-5154, 2006. [Pauli, 2001]; Pauli, J., Learning-based Robot Vision, Springer-Verlag, 2001. [Talaba, 2006]; Talabă, D., G. Mogan, et. all, Virtual Reality in Product Design and Robotics, Conferinta Internationala RV de la Brasov, 18-19 Mai 2006. [Toth, 1999]; Toth, E., Tel, F., Calibrated Virtual Reality Supported by Stereo Vision in Intelligent Robot Control System, Industrial Electronics, ISIE apos 99, Proceedings of the IEEE International Symposium 1, pag. 287 – 292, 1999. [Torgny, 2007]; Torgny, B., Present and future robot control development—An industrial perspective, Elsevier, Annual Reviews in Control 31 (2007) 69–79, 2007. [Xiong, 2001]; Xiong, Z. H., Li, Z. X., Error Compensation of Workpiece Localization, IEEE International Conference on Robotics & Automation, May 2001. [Yoon, 2006]; Yoon, Y. et. all, , A heterogeneous distributed visual servoing system for real-time robotic assembly applications, International. Conference on Robotics and Automation, 2006. [Zachmann, 2000]; Zachmann, G., Virtual Reality in Assembly Simulation—Collision Detection, Simulation Algorithms, and Interaction Techniques, Dissertation, 2000 [Zhang, 2005]; Zhang, W. et. all, From Virtuality to Reality: Individualized Freeform Model Design and Rapid Manufacturing, Human Factors and Ergonomics in Manufacturing 15/4, pag. 445–459, 2005.
