8/12/2019 Cap. 3P

1/18

8/12/2019 Cap. 3P

2/18

Cele mai atractive caracteristici ale RN sunt:

posibilitatea prelucrrii total paralele, asigurnd construirea unor arhitecturi deosebit deperformante, rspunsurile fiind oferite n timp real;

nvare din exemple (supervizat sau nesupervizat) a fenomenului pentru care seantreneaz;

procesul care este prezentat n perioada de antrenare nu trebuie descris prin reguli clare.Aceast caracteristic face uoar modelarea unor procese complexe, a cror legi defuncionare sunt fie prea complicate, fie sunt neclare din punct de vedere analitic;

comportare bun n situaia unui set de date de intrare incomplet, performan datoratcapacitii de a asocia datele de intrare disponibile cu setul (sau seturile) complet(complete) de date de antrenare cu care rezoneaz cel mai bine;

comportarea bun n regim de date de intrare parial greite, datorit aceluiai mecanismde lucru prezentat anterior;

funcionarea relativ corect i n situaia n care anumii neuroni se defecteaz,datorit memorrii distribuite a informaiei n reea. Astfel, orice neuron particip laformarea potenialilor neuroni de ieire pentru toate seturile de vectori de intrare(antrenare).

3.1 Reele neuronale artificiale

3

3.2 Analogia ntre structura sistemului nervos i

reelele neuronale artificiale

Celula nervoas are cu unele excepii urmtoarea structur (fig. 3.1):

mai multe dendrite ramificateprin care recepioneaz informaii diferite de la alineuroni;

corpul celuleicare realizeaz o prelucrare a stimulilor informaiilor primite i elaboreazrspunsul;

un axon o fibr unic care transmite rspunsul elaborat ctre alte celule; sinapse ramificaii ale axonului care realizeaz legturi cu ali neuroni (axonul unei

celule umane realizeaz n medie 103legturi sinaptice cu ali neuroni).

Fig. 3.1. Structura celulei nervoase.

4

8/12/2019 Cap. 3P

3/18

3.3 Modele formale ale neuronului artificial

Neuronul formal

Este un element de procesare a informaiei care modeleaz, de o manier simplificat,

neuronul real. Cea mai simpl versiune de neuron formal este un automat linear cu doustri (fig. 3.2): activ (+1) i inactiv ( 1). Unele modele de RNA, folosesc convenia activ(+1) i inactiv (0).

Neuronul formal are o structur asemntoare neuronului uman, fiind o unitateelementar de procesare care realizeaz o operaie simpl pe o mrime de intrare pentru a

produce o mrime de ieire. Acesta este alctuit dintr-un corp, unset de intrri i o ieire.

Fig. 3.2. Structura neuronului formal.

5

3.3 Modele formale ale neuronului artificial

6

8/12/2019 Cap. 3P

4/18

3.3 Modele formale ale neuronului artificial

Funciile de activare

7

3.3 Modele formale ale neuronului artificial

8

8/12/2019 Cap. 3P

5/18

8/12/2019 Cap. 3P

6/18

3.3 Modele formale ale neuronului artificial

(3.5)

11

3.3 Modele formale ale neuronului artificial

Neuronul clasificator sau perceptronul

Pornind de la modelul MCP, psihologul Rosenblatt (1957) a introdus noiunea deperceptronsau neuron clasificator(fig. 3.5).

Fig. 3.5. Modelul perceptronului.

Ecuaiile de funcionare ale perceptronului sunt urmtoarele:

0100

1

net,

net,)net(y

xwnetn

i

ii

(3.6)

12

8/12/2019 Cap. 3P

7/18

3.3 Modele formale ale neuronului artificial

ClasaA

x1

x2

ClasaB

Dreapta dedecizie

Fig. 3.6. Comportarea perceptronului n cazul unei clasificri binare.

Modelul astfel definit al perceptronului poate fi utilizat n clasificarea uneimulimi de vectori de intrare n dou clase, fieA, corespunztoare ieirilor , fieBcorespunztoare ieirilor . Elementele clasei A sunt separate de elementele clasei

B atunci cnd, care determin frontiera celor dou semispaii n spaiul cu ndimensiuni (fig. 4.6).

13

Etapa de nvare are ca scop calculul ponderilor i al valorii pragului deactivare pe baza unei mulimi de Mexemple, pentru fiecare exemplu specificndu-sevalorile de intrare mpreun cu ieireaycorespunztoare claseiA sau clasei

B. Informal, corecia ponderilor se face astfel: dac pentru un exemplu perceptronul

se activeaz cnd ar trebui s fie inactiv, se reduc ponderile wi cu o cantitateproporional cu xi, iar dac perceptronul nu se activeaz dei ar trebui s o fac, secrete wi cu o cantitate proporional cuxi

nxx ,...,1

3.3 Modele formale ale neuronului artificial

Semnificativ este faptul c structura neural a perceptronului este primanzestrat cu un algoritm de nvare supervizat. Acest algoritm modific valorile

ponderilor ori de cte ori la intrarea reelei este prezentat o configuraie (pattern)incorect clasificat. Dup un numr finit de iteraii, ponderile capt valori stabile,care corespund nvrii frontierelor de separaie ntre configuraii aparinnd

claselor diferite.

n funcionarea perceptronului se disting dou etape: de nvare pe bazaexemplelor i apoi, de clasificare a exemplelor necunoscute.

14

8/12/2019 Cap. 3P

8/18

3.3 Modele formale ale neuronului artificial

15

3.3 Modele formale ale neuronului artificial

16

8/12/2019 Cap. 3P

9/18

3.4 Structuri ale reelelor neuronale artificiale

Structura general

y1

ym

x2

x1

xn

Intr ri Ie iriStratul ascuns

n general, neuronul formal calculeaz numai suma ponderat a intrrilor, asupra creia seaplic o funcie de activare ce are n general o form neliniar. Pentru ndeplinirea unor funcii

care s fac posibil abordarea unor probleme complexe, de interes practic, este necesar caneuronii s fie asociai ntr-un sistem numit reea neuronal.

Fig. 3.9. Arhitectura tipic a unei RNA.

17

Reelele neuronale sunt organizate pe straturi; reeaua din figura 3.9 conine trei straturide neuroni, dintre care primul estestratul de intrare, iar ultimul estestratul de ieire, stratulintermediar purtnd denumirea destrat ascuns. Singurele straturi care realizeaz procesareapropriu-zis a informaiei sunt stratul ascuns i cel de ieire. Neuronii din primul strat aunumai rolul de a prelua mrimile de intrare n reea; de aceea aceti neuroni fie nu au funcii

de activare, fie folosesc funcii de activare identitate ( ).j jy net

Legturile dintre straturile RNA se realizeaz prin conexiuni sinaptice ponderate. PentruRNA din figura 3.9, fiecare neuron dintr-un strat este legat cu toi neuronii din stratulurmtor i nu exist legturi ntre straturile neconsecutive (de exemplu intrare-ieire). Oastfel de structur este cunoscut sub denumirea de RNA complet conectat.

3.4 Structuri ale reelelor neuronale artificiale

Structura RNA este descris complet de matricea ponderilor conexiunilordintre dou straturiconsecutive [W], ale crei elemente indic influena pe care ieirea neuronului idin stratul

inferior o are asupra activrii neuronuluij din stratul superior.

ijw

18

8/12/2019 Cap. 3P

10/18

3.4 Structuri ale reelelor neuronale artificiale

RNA i dovedesc capacitatea de tratare global, asociind neuronii prin intermediul unorponderi ( ). Ansamblul ponderilor Wconstituie parametrii ce caracterizeaz, ntr-o manierabsolut, procesul modelat de reea. Astfel, antrenarea reelei necesit ostrategie de ajustare a

ponderilor respective un algoritm de antrenare. n cadrul antrenrii se prezint reeleineuronale un numr de exemple (intrri/ieiri), ale cror atribute sunt cunoscute ireprezentative pentru modelul de proces avut n vedere. Ansamblul respectiv de exemple senumete, ca i n cazul arborilor de decizie, mulime de antrenare.

iw

Proprieti ale RNA:

fiecare neuron acioneaz independent de ceilali neuroni din acelai strat; ieirea unuineuron depinde numai de semnalele ce se aplic pe conexiunile sinaptice de intrare;

activarea fiecrui neuron depinde numai de informaii cu caracter local; informaia ce esteprelucrat de neuron provine numai de pe conexiunile adiacente, nefiind necesarcunoaterea strilor altor neuroni cu care neuronul considerat nu are legturi directe;

numrul mare de conexiuni existente asigur un grad ridicat de rezervare i uureazreprezentarea distribuit a informaiei.

Primele dou proprieti permit funcionarea eficient a RNA n paralel, iar ultimaproprietate le confer o sensibilitate redus fa de posibilele perturbaii i caliti degeneralizare greu de obinut cu sistemele clasice de calcul.

19

3.4 Structuri ale reelelor neuronale artificiale

Perceptronul multistrat MLP

y1

y2

ym

T1

T2

Tm

x1

x2

xn

w11

w12w1m

w21w22

w2m

wnm

wn1 wn2

Perceptronul, unitatea funcional a unei reele neuronale, este capabil s realizeze oclasificare binar (n dou clase).

Pentru a obine o clasificare ntr-un numr mai mare de clase ( ) se va utiliza ostructur cu mai muli perceptroni conectai n paralel. n acest caz, intrrile sunt conectate la

fiecare neuron, obinndu-se astfel o structur conexionist cu nintrri i m ieiri, numrul deieiri fiind egal cu numrul de clase. Un exemplu este clasificat ca aparinnd clasei , dacieirea este activ, restul ieirilor fiind inactive

2m

kC

Fig. 3.10. Structur cu m neuroni

20

8/12/2019 Cap. 3P

11/18

3.4 Structuri ale reelelor neuronale artificiale

Datorit acestui tip de organizare stratificat, ca n figura 4.10, asemenea reele neurronalepoart denumirea de perceptron multistrat (Multi Layer Perceptron MLP). Celuleleelementare ale MLP se numesc neuroni i se deosebesc de perceptronul definit de Rosenblattprin utilizarea unor funcii de activare de tip sigmoid, n locul funciei treapt.

Perceptronul multistrat (MLP) reprezint un model de RNA cu activare direct, care conineunul sau mai multe straturi de neuroni ntre stratul de intrare i stratul de ieire. Aceste straturisuplimentare reprezint nivelurile ascunse ale perceptronilor multistrat.

n figura 3.12 se prezint un perceptron multistrat cu m ieiri i un strat ascuns.

y1

ym

x2

x1

xn

FxStrat

ascuns

F0

Stratde intrare

Stratde ie ire

Fz

y2

h1

h2

h3

hb...

Fig. 3.12. Perceptron multistrat cu un singur strat ascuns.21

3.4 Structuri ale reelelor neuronale artificiale

(3.8)

22

8/12/2019 Cap. 3P

12/18

3.4 Structuri ale reelelor neuronale artificiale

Reele neuronale backpropagation

Perceptronii multistrat cu mai multe ieiri i funcii de transfer sigmoidale se mai numesci reele backpropagation, denumire care provine de la algoritmul de nvare utilizat de aceste

structuri i anume algoritmul de propagare napoi a erorii introdus de Rumelhart i membriigrupului Parallel Distributed Processing n 1986. Valorile intrrilor acestor reele suntvalori reale cuprinse n intervalul [0, 1] i funcia de transfer trebuie s fie continu i

derivabil pe domeniul de definiie. De obicei se utilizeaz urmtoarea funcie sigmoid:

1

1 ix

ye

(3.9)

Se observ c dac suma intrrilor este 0, valoarea ieirii este i, pe msur ce sumaintrrilor crete, ieirea se apropie de valoarea +1. Pe msur ce suma intrrilor scade,valoarea ieirii se apropie de 0. Datorit caracterului funciei de transfer, valorile ieirilor nuvor putea fi niciodat 0 sau 1. ntr-un proces de clasificare, fiecare ieire corespunde uneiregiuni de decizie sau unei clase; pentru un exemplu necunoscut se selecteaz clasacorespunztoare ieirii cu cea mai mare valoare, de obicei aceea care tinde la valoarea +1.

0,5y

23

Funcionarea unei reele perceptron multistrat cuprinde dou etape: etapa de nvare ncare, pe baza mulimii de exemple cunoscute, se sintetizeaz ponderile i valorilepragurilor de activare i etapa de recunoatere (testare), n care reeaua este utilizatpentru a clasifica mulimi de valori necunoscute.

Algoritmul de nvare al reelelor backpropagation cuprinde dou etape principale:

parcurgere direct a reelei, de la intrri spre ieiri, n care se activeaz reeaua i sedetermin valorile ieirilor;

parcurgere napoi a reelei, de la ieiri spre intrri, n care ieirile calculate se comparcu ieirile din exemple i se determin o estimare a erorii, aceast estimare a erorii fiindpropagat napoi i utilizat la actualizarea ponderilor.

3.4 Structuri ale reelelor neuronale artificiale

24

8/12/2019 Cap. 3P

13/18

Algoritmul reelei backpropagation

3.4 Structuri ale reelelor neuronale artificiale

25

3.4 Structuri ale reelelor neuronale artificiale

26

8/12/2019 Cap. 3P

14/18

3.4 Structuri ale reelelor neuronale artificiale

27

3.4 Structuri ale reelelor neuronale artificiale

28

8/12/2019 Cap. 3P

15/18

3.4 Structuri ale reelelor neuronale artificiale

Observaii:

n situaia n care este satisfcut criteriul de terminare, algoritmul a reuit (reeaua anvat), n caz contrar, reeaua nu a nvat. Pentru a putea gsi o soluie, fie se modific

viteza de antrenare, fie se aleg alte valori iniiale pentru ponderi, sau ambele propuneri.

Algoritmul de nvare backpropagation poate fi vzut, la fel ca n cazulperceptronului, ca un proces de cutare, al crui spaiu de cutare este reprezentat de toatecombinaiile posibile de ponderi i valori de deplasare. Un algoritm backpropagation poateajunge s calculeze un set de ponderi care nu rezolv problema (nu clasific corect exemplele).Cu alte cuvinte, nu exist un analog al teoremei de convergen a perceptronului pentruperceptronii multi-strat.

S-a constatat c aceste reele neuronale se comport bine de cele mai multe ori, maiales pentru un numr mare de ponderi, deci de legturi. Reelele de tip backpropagation, deimult utilizate la ora actual, prezint dezavantajul c timpul de instruire este relativ ridicat n

principal datorit unui factor de nvare desemnat interactiv. Chiar i pentru cazuri simple,numrul de etape necesar pentru calcularea unor ponderi corecte este extrem de mare. n plus,

numrul de exemple necesar crete relativ exponenial cu dimensiunea reelei.

29

3.4 Structuri ale reelelor neuronale artificiale

30

8/12/2019 Cap. 3P

16/18

3.4 Structuri ale reelelor neuronale artificiale

31

3.4 Structuri ale reelelor neuronale artificiale

Aceste erori sunt propagate de la stratul de ieire la stratul ascuns i apoi la nivelulstratului de intrare: semnalul de eroare al unui neuron din stratul ascuns poate fi determinatn funcie de semnalul de eroare al neuronilor din stratul de ieire, semnal propagat napoispre intrare. De aici a provenit i denumirea algoritmului cu cei doi pai, adic propagareanainte a semnalului i propagarea napoi a erorii n procesul de antrenare.

n cazul implementrii practice a acestui algoritm, actualizrile se realizeaz pentru un

singur exemplu la un moment dat.

Alegerea parametrilor MLP

n general, este acceptat ideea c MLP poate aproxima cu o precizie foarte bun oricefuncie continu neliniar, ns cu preul creterii dimensiunilor reelei. Teorema luiKolmogorov d i numrul unui asemenea MLP: M, , N. Numerele M i N reprezintnumrul de elemente din primul strat (care nu efectueaz procesri), respectiv din ultimul

strat.

2 1M

32

8/12/2019 Cap. 3P

17/18

3.4 Structuri ale reelelor neuronale artificiale

Unele recomandri pentru construcia reelei MLP:

Numrul neuronilor din stratul de intrare depinde de specificul problemei, n particular,

de numrul de intrri considerate n aplicaia respectiv;

Dimensiunile stratului de ieire depind, de asemenea, de specificul problemei, precum ide ali factori, cum ar fi: tipul mrimilor de ieire (analogice sau binare), existena sauabsena unei ieiri speciale pentru semn etc. Cu alte cuvinte, numrul neuronilor din stratulde ieire depinde de forma i de structura n care se doresc a fi prezentate estimrile pentrumrimile de ieire;

Numrul neuronilor din stratul ascuns. n principiu, se recomand s se foloseasc unnumr ct mai mic de neuroni ascuni, deoarece fiecare neuron ascuns multiplic numrulconexiunilor. Totodat, numrul neuronilor din stratul ascuns poate fi apreciat de

dimensiunile exemplelor de intrare.

O posibilitate de dezvoltare a reelei, cunoscut sub denumirea de Cascade Correlation,pornete de la un singur neuron ascuns i, pe durata antrenrii, creeaz neuronisuplimentari, n msura n care acetia contribuie la mbuntirea performanelor;

33

3.4 Structuri ale reelelor neuronale artificiale

34

8/12/2019 Cap. 3P

18/18

3.4 Structuri ale reelelor neuronale artificiale

35