Retele_neuronale

7/30/2019 Retele_neuronale

1/47

1

Inteligen artificial

Reele neuronale


2/47

2

Reele neuronale

1. Introducere. Modelul biologic2. Reele cu un singur strat3. Perceptronul multistrat

Algoritmul backpropagation

4. Concluzii


3/47

3

Reele neuronale

1. Introducere. Modelul biologic


4/47

4

Introducere

Preocuparea pentru reelele neuronale artificiale, denumite nmod curent reele neuronale, a fost motivat derecunoaterea faptului c modul n care calculeaz creierulfiinelor vii este complet diferit de cel al calculatoarelornumerice convenionale

Spre deosebire de mainile von Neumann, unde exist ounitate de procesare care execut instruciunile stocate nmemorie n mod serial, numai o instruciune la un momentdat, reelele neuronale utilizeaz n mod masiv paralelismul

Fiind modele simplificate ale creierului uman, ele dein

capacitatea de a nva, spre deosebire de calculatoareleconvenionale, care rmn totui mai eficiente pentru sarcinilebazate pe operaii aritmetice precise i rapide

Reelele neuronale nu dispun de uniti de procesareputernice, dimpotriv, acestea sunt caracterizate printr-osimplitate extrem, ns interaciunile lor pe ansamblu produc

rezultate complexe datorit numrului mare de conexiuni


5/47

5

Sistemul nervos biologic

Pentru a nelege mai bine aceast abordare, trebuie precizatmodul de funcionare al sistemului nervos

Constituienii structurali ai creierului sunt neuronii, conectaiprin sinapse

Se estimeaz c n cortexul uman exist circa 10 miliarde deneuroni i 60 de trilioane de sinapse

Trebuie precizat ns c neuronii nu sunt cele mai numeroasecelule din creier

Celulele gliale sunt de 10 ori mai multe n mod tradiional, se considera c acestea au numai funcii

de nutriie i protecie, ns n ultimul timp au demaratcercetri privitoare la influena lor potenial asupra activitiide procesare a neuronilor


6/47

6

Neuronul

Neuronul const n principal din trei componente:corpul celulei (soma), dendrite i axon

Dendritele (numite astfel datorit asemnrii cu un

copac, dendron n greac) sunt intrrileneuronului, fibre scurte ramificate, de civamilimetri, care primesc impulsuri

Axonul (axn, ax), ieirea, este o fibr mailung, de civa centimetri, putnd ajunge ns la 1-1,5 metri

Fiecare neuron are un singur axon i mai multe (10-20) de dendrite


7/47

7

Neuronul


8/47

8

Sinapse

Neuronii nu se ating n mod direct, ci sunt separai prinspaii numite sinapse

Acestea sunt uniti structurale i funcionale elementarecare mediaz interaciunile dintre neuroni

Tipul cel mai rspndit de sinaps este sinapsa chimic,ce opereaz astfel: un proces presinaptic elibereaz osubstan transmitoare, care difuzeaz peste

jonciunea sinaptic dintre neuroni i apoi acioneaz

asupra unui proces postsinaptic Astfel, o sinaps convertete un semnal electric

presinaptic ntr-un semnal chimic (ioni de sodiu ipotasiu) i apoi din nou ntr-un semnal electricpostsinaptic


9/47

9

Propagarea semnalelor

n descrierile tradiionale ale organizrii neuronale,se consider c o sinaps este o conexiune simplcare poate impune excitare sau inhibare, dar nu

ambele, neuronului receptor Ambele efecte sunt locale; ele se propag pe o

distan mic n corpul celulei i sunt nsumate lanivelul axonului

Dac suma potenialelor de excitare depete unanumit prag, atunci neuronul este activat itransmite un impuls mai departe


10/47

10

Plasticitatea

Cea mai important trstur a reelei neuronalebiologice este plasticitatea

Ca rspuns la stimulrile primite, la nivelulconexiunilor se produc schimbri pe termen lung,

astfel nct conexiunile care ajut la obinerea derezultate pozitive sunt ntrite, iar cele caredetermin rezultate nedorite sunt slbite

De asemenea, neuronii pot forma n timp noiconexiuni cu ali neuroni

Aceste mecanisme stau la baza capacitii deadaptare a creierului la stimulii primii, pe care onumim n mod convenional nvare


11/47

11

Reele neuronale artificiale

n mod analog funcioneaz i o reeaneuronal artificial. n cea mai generalform a sa, o reea neuronal este o mainproiectat pentru a modela felul n carecreierul rezolv o anumit problem sauexecut o funcie cu un anumit scop; reeaua

este de obicei implementat folosindu-secomponente electronice sau simulatprintr-un program


12/47

12

Definiie

Simon Haykin consider c o reea neuronalesteun procesor masiv paralel, distribuit, care are otendin natural de a nmagazina cunotine

experimentale i de a le face disponibile pentruutilizare

Ea se aseamn cu creierul n dou privine: Cunotinele sunt cptate de reea printr-un proces de

nvare Cunotinele sunt depozitate nu n unitile de procesare

(neuroni), ci n conexiunile interneuronale, cunoscute dreptponderi sinaptice


13/47

13

Algoritm de nvare

Procedura folosit pentru a executa procesul de nvare senumete algoritm de nvare, funcia cruia este de a modificaponderile sinaptice ale reelei ntr-un stil sistematic pentru aatinge obiectivul dorit de proiectare

Printre numeroasele proprietai interesante ale unei reeleneuronale, cea mai semnificativ este abilitatea acesteia de anva prin intermediul mediului nconjurtor, i prin aceasta s-imbunteasc performanele; creterea performanelor are locn timp i conform cu unele reguli prestabilite

O reea neuronal i nva mediul printr-un proces iterativ deajustri aplicate conexiunilor i pragurilor sale sinaptice

n mod ideal, reeaua devine mai inteligent dup fiecareiteraie a procesului de nvare


14/47

14

nvarea

n contextul reelelor neuronale vom defini astfelnvarea:un proces prin care parametrii variabili aiunei reele neuronale se adapteaz prin continuastimulare din partea mediului n care este inclus

Tipul de nvare este determinat de modul n careau loc schimbrile parametrilor Aadar, nvarea n contextul unei reele neuronale

se caracterizeaz prin urmtoarele elemente: Reeaua neuronal este stimulat de un mediu Reeaua neuronal sufer schimbri datorit acestor

stimulri Reeaua neuronal rspunde n mod diferit mediului

datorit schimbrilor care au aprut n structura sa intern


15/47

15

Avantaje

Cu toate c asemnarea ntre sistemul nervos biologic ireelele neuronale artificiale este relativ mic, reeleleneuronale artificiale prezint un numr surprinztor decaracteristici ale creierului

De exemplu, acestea pot nva din experien, generaliza dinanumite exemple altele noi i sintetiza caracteristicileeseniale din intrri ce conin i date irelevante

Un mare avantaj al reelelor neuronale este c pot s descrieo problem i s o rezolve n acelai timp, prin

auto-organizarea lor i nu prin programul explicit Acest proces de auto-organizare are loc pe parcursul nvrii

datorate topologiei iniiale, unor reguli de nvare i unuinumr mare de antrenamente


16/47

16

Caracteristici

Caracteristicile cele mai importante ale reelelor neuronale sunt: Capacitatea de a nva:Reelele neuronale artificiale nu

necesit programe puternice, ci sunt mai degrab rezultatul unorantrenamente asupra unui set de date. Reelele neuronaleartificiale au un algoritm de nvare, dup care ponderileconexiunilor sunt ajustate pe baza unor modele prezentate. Cualte cuvinte, reelele neuronale nva din exemple, la fel cum

nva copiii s recunoasc un obiect pe baza mai multor instaneale acelui tip de obiect

Capacitatea de generalizare:Dac au fost instruite

corespunztor, reelele sunt capabile s dea rspunsuri corectei pentru intrri diferite fa de cele cu care au fost antrenate,atta timp ct aceste intrri nu sunt foarte diferite

Capacitatea de sintez:Reelele neuronale artificiale pot luadecizii sau trage concluzii cnd sunt confruntate cu informaiiafectate de zgomot, irelevante sau pariale


17/47

17

Deziderate

Datorit acestor trsturi ale prelucrrii informaiei, reeleleneuronale pot rezolva probleme complexe care sunt dificil deabordat prin metode clasice

Cu toate acestea, cercettorii recunosc c mai au un drumlung de parcurs pn vor ajunge s construiasc un calculatorcare s imite creierul omenesc

Inteligena la care au ajuns n prezent cele mai sofisticatereele neuronale este sub nivelul unui copil de civa ani

Cu toate acestea nu trebuie minimizat sau ignoratimportana reelelor neuronale artificiale i este posibil ca pe

viitor, cu ajutorul lor s se ajung la o cunoatere maiaprofundat a fenomenelor ce au loc n creierul uman Ceea ce recomand reelele neuronale artificiale este raportul

favorabil performan-complexitate, aflat ntr-o continucretere i care este superior sistemelor de inteligenartificial implementate prin alte tehnologii


18/47

18

Reele neuronale

2. Reele cu un singur strat


19/47

19

nceputurile

nceputul reelelor neuronale artificiale este legat de problemaclasificrii unor obiecte definite de o serie de atribute

Cel mai simplu model era funcia Ilogic ntre anumite atribute(prezente sau absente), care s determine o anumit clas

Totui, unele clase pot avea atribute comune, iar unele valori, ncazul n care provin dintr-un mecanism perceptual, pot fi afectatede zgomot

Soluia s-a bazat pe faptul de bun sim c unele atribute sunt maiimportante dect altele pentru determinarea unei anumite clase

O clas era determinat dac sumarea valorilor ponderatedepea un anumit prag, n bun concordan cu legea biologictotul sau nimic (dac un impuls nu depete un prag minim, elnu produce nici un rspuns)


20/47

20

Modelul McCulloch-Pitts

Warren McCulloch i Walter Pitts (1943) au propusun astfel de model, care rmne pn n prezentfundamentul structural pentru majoritatea reelelorneuronale


21/47

21

Ponderi, prag,funcie de activare


22/47

22

Antrenarea perceptronului

Se punea acum problema determinrii automate a acestorponderi, n cazul n care neuronului i erau prezentate mai multeobiecte, mpreun cu clasa creia i aparineau acestea

Rezolvarea a fost adus de Frank Rosenblatt (1960), care a

imaginat un algoritm de nvare pentru aa-numitulperceptron,o reea cu un singur neuron, la fel ca aceea din figuraanterioar

Ideea principal este de a face mici ajustri ale ponderilor pentrua reduce diferena dintre ieirea real a perceptronului i ieireadorit

Ponderile iniiale sunt iniializate aleatoriu (n general n intervalul[-0.5, 0.5]) i apoi actualizate treptat astfel nct ieirea s seapropie de valorile dorite

Exemplele de antrenare sunt prezentate succesiv, n orice ordine


23/47

23

Antrenarea perceptronului


24/47

24

Probleme liniar separabile

Cu ajutorul perceptronului pot fi nvate de exemplu funciibinare elementare, precum I, SAUetc.

Pe abscis i ordonat sunt reprezentate valorile celor douintrri, iar culoarea cercurilor reprezint rezultatul operaiei

(alb = 0, negru = 1)


25/47

25

Probleme liniar separabile

Perceptronul mparte planul n dou regiuni de decizie (datoritpragului funciei de activare); n cazul n-dimensional, spaiulsoluiilor va fi divizat tot n dou regiuni de un hiperplan

Acestea sunt probleme liniar separabile Aici poate fi observat i utilitatea pragului: n lipsa acestuia,

hiperplanul separator ar trece ntotdeauna prin origine, ceea ce nueste de dorit n orice situaie


26/47

26

Avantaje

Algoritmul de antrenare garanteazclasificarea corect a dou clase pe bazasetului de antrenare, cu condiia ca acele

clase s fie liniar separabile Scopul iniial al perceptronului era

recunoaterea optic a caracterelor Rosenblatt a reuit s construiasc n 1968

un sistem bazat pe implementarea sahardware, Mark I Perceptron, care econsiderat primul neurocomputer funcional


27/47

27

Probleme neseparabile liniar

Foarte multe probleme sunt ns liniarneseparabile, de exemplu funcia XORnu poate fi nvat de un perceptronsimplu

Minsky i Papert (1969) au demonstratlimitrile serioase ale reelelor de tipperceptron n aceste situaii i c suntimposibile generalizrile globale pebaza exemplelor nvate local

De asemenea, ei au studiat posibilitateautilizrii perceptronilor pentru calcululpredicatelor, demonstrndu-le limitele ncomparaie cu maina Turing


28/47

28

Reele neuronale

3. Perceptronul multistrat


29/47

29

Perceptronul multistrat ncercrile de rezolvare a problemelor neseparabile liniar au condus la diverse

variante privind numrul de straturi de neuroni i funciile de activare utilizate Perceptronul multistrat este tipul de reea neuronal cel mai cunoscut i mai des

folosit De cele mai multe ori, semnalele se transmit n interiorul reelei ntr-o singur

direcie: de la intrare spre ieire; nu exist bucle, ieirea fiecrui neuron

neafectnd neuronul respectiv. Aceast arhitectur se numete cu propagare nainte(engl. feed-forward)


30/47

30

Perceptronul multistrat Straturile care nu sunt conectate direct la mediu se numesc ascunse Exist n literatura de specialitate o controvers privind considerarea

primului strat (de intrare) ca strat propriu-zis n reea, de vreme cesingura sa funcie este transmiterea semnalelor de intrare sprestraturile superioare, fr a face vreo prelucrare asupra intrrilor

n cele ce urmeaz, am ales snumrm numai straturile formate dinneuroni propriu-zii,ns spunem c intrrile sunt grupate n stratul deintrare


31/47

31

Reele recurente

Exist i reele recurente(engl. feed-back),n care impulsurile se pot transmite n ambeledirecii, datorit unor conexiuni de reacie n

reea Aceste tipuri de reele sunt foarte puternice i

pot fi extrem de complicate Sunt dinamice, starea lor schimbndu-se

permanent, pn cnd reeaua ajunge la unpunct de echilibru iar cutarea unui nouechilibru are loc la fiecare schimbare a intrrii


32/47

32

Regiunile de decizie aleperceptronilor multistrat

Introducerea mai multor straturi afost determinat de necesitateacreterii complexitii regiunilor dedecizie

Un perceptron cu un singur strat i

o ieire genereaz regiuni dedecizie de forma unor semiplane Adugnd nc un strat, fiecare

neuron se comport ca unperceptron standard asupra ieiriineuronilor din stratul anterior iastfel ieirea reelei poate aproximaregiuni de decizie convexe,rezultate din interseciasemiplanelor generate de neuroni.

La rndul su, un perceptron cu treistraturi poate genera zone dedecizie arbitrare


33/47

33

Funcii de activare

Din punctul de vedere al funciei de activare aneuronilor, s-a constatat c reelele multistrat nuasigur o cretere a puterii de calcul n raport cu

reelele cu un singur strat dac funciile de activarermn liniare, deoarece o funcie liniar de funciiliniare este tot o funcie liniar

Puterea perceptronului multistrat provine tocmai din

funciile de activare neliniare Aproape orice funcie neliniar poate fi folosit n

acest scop, cu excepia funciilor polinomiale


34/47

34

Funcii de activare


35/47

35

Funcii de activare


36/47

36

Proprieti

Se poate constata c funciile sigmoide se comport aproximativliniar pentru valori absolute mici ale argumentului i sesatureaz, prelund oarecum rolul de prag, pentru valoriabsolute mari ale argumentului

S-a demonstrat (Cybenko, 1989) c o reea (posibil infinit) cu un

singur strat ascuns este capabil s aproximeze orice funciecontinu Astfel se justific proprietatea perceptronului multistrat de

aproximator universal De asemenea, aplicnd teorema Stone-Weierstrass n domeniul

reelelor neuronale, s-a demonstrat c acestea pot calcula

anumite expresii polinomiale: dac exist dou reele carecalculeaz exact dou funcii f1, respectiv f2, atunci exist oreea mai mare care calculeaz exact o expresie polinomial def1 i f2


37/47

37

Reele neuronale

3.1. Algoritmul backpropagation


38/47

38

Generaliti

Algoritmul backpropagation este cel mai cunoscut i utilizatalgoritm de nvare supervizat

Numit i algoritmul delta generalizatdeoarece extindemodalitatea de antrenare a reelei adaline (regula delta), el sebazeaz pe minimizarea diferenei dintre ieirea dorit i

ieirea real, tot prin metoda gradientului descendent(gradientul ne spune cum variaz o funcie n diferite direcii) Metoda a fost propus pentru prima dat de Bryson i Ho

(1969), dar atunci a fost practic ignorat, deoarecepresupunea un volum de calcule prea mare pentru vremearespectiv

A fost redescoperit apoi de Werbos (1974), ns abia lamijlocul anilor 80 a fost lansat de Rumelhart, Hinton iWilliams (1986) ca instrument general acceptat de antrenarea perceptronului multistrat

Ideea de baz este gsirea minimului funciei de eroare e(w)

n raport cu ponderile conexiunilor


39/47

39

Preliminarii


40/47

40

Preliminarii


41/47

41

Preliminarii

C ti t ii d


42/47

42

Corectie pentru neuronii deiesire (1)

C ti t ii d


43/47

43

Corectie pentru neuronii deiesire (2)

C ti t ii di


44/47

44

Corectie pentru neuronii dinstratul ascuns


45/47

45

Pasii algoritmului

Initializarea semnalelor de eroare pentru toti neuronii

Seteaza intrarile, respectiv iesirile dorite din multimea datelor deinstruire

Executarea unui pas inainte

Calcul semnal de eroare pentru neuronii din stratul de iesire Calcul semnal de eroare pentru neuronii din stratul ascuns

Actualizarea ponderilor legaturilor dintre stratul ascuns si cel deiesire

Actualizarea ponderilor legaturilor dintre stratul de intrare si celascuns

Calculeaza eroarea pentru setul de date de instruire curent


46/47

46

Concluzii

Reelele neuronale i dovedesc n principalutilitatea n rezolvarea unor probleme dificile,cum sunt cele de estimare, identificare i

predicie sau de optimizare complex Datorit independenei efecturii operaiilor

din interiorul componentelor fa de celelalte

componente din sistem, modeleleconexioniste au un potenial mare deparalelism


47/47

47

Concluzii

Modul de memorare i procesare a datelordifereniaz reelele neuronale artificiale deprogramele clasice, care urmeaz instruciunilentr-o ordine secvenial predefinit, iar informaia

este memorat n zone bine definite Datorit capacitii lor de a rezolva problemecomplexe pe baza unei mulimi consistente deexemple, sistemele conexioniste au un spectru largde aplicabilitate: de la sisteme de recunoatere de

forme (caractere, semnturi, etc.) sau de semnalesonore, pn la sisteme pentru controlul unorprocese complexe, cum ar fi sistemele deauto-reglare sau piloii automai

Date post:	14-Apr-2018
Category:	Documents
Upload:	ale-dragomir
View:	229 times
Download:	1 times

Retele_neuronale

Documents