7/25/2019 sisteme inteligente in ie
1/52
APLICAII ALE
REELELOR NEURONALE
7/25/2019 sisteme inteligente in ie
2/52
Obiectivele disciplinei Aprofundeaz principiile fundamentale i
te!nicile sistemelor bazate pe re"ele neuronale Aprofundeaz principalele modele de re"ele
neuronale i aplica"iile acestora
7/25/2019 sisteme inteligente in ie
3/52
Introducere# $omenii de aplicabilitate
Re"elele neuronale au fost aplicate cu succes la un spectru lar% de aplicatii pentru prelucrarea intensiv a datelor# Lista de mai &os se bazeaz pe e'emple de succes din lumea real# Acesta ofer o ima%ine de ansamblu a domeniilorde aplicare a problemelor pe care le pot aborda RNA#
Financiar Predic"ia stocurilor de marf Acordarea creditelor bancare Predic"ia falimentelor Evaluarea propriet"ilor
$etec"ia fraudelor Pro%noze de pre" Pro%noze ale unor indicatori economici
Medical $ia%nosticul medical Estimarea costului tratamentelor
Marketing i vnzri Pro%noza v(nzrilor
Educational Predic"ia performan"elor studen"ilor Managementul resurselor umane
)elec"ia i An%a&are personalului Planificarea an%a&a"ilor
Bioinformatic structura proteinei secundare secven"ierea A$N
http://www.alyuda.com/products/forecaster/applications1.htmhttp://www.alyuda.com/products/forecaster/applications3.htmhttp://www.alyuda.com/products/forecaster/applications6.htmhttp://www.alyuda.com/products/forecaster/applications6.htmhttp://www.alyuda.com/products/forecaster/applications3.htmhttp://www.alyuda.com/products/forecaster/applications1.htmhttp://www.alyuda.com/products/forecaster/applications1.htm7/25/2019 sisteme inteligente in ie
4/52
Introducere# $omenii de aplicabilitate tiin
Recunoaterea formelor
Identificarea compuilor c!imici *odelarea sistemelor fizice Evaluarea ecosistemelor Identificarea polimerilor Recunoaterea %enelor Procesarea semnalelor+ ,iltrarea neuronal Analiza sistemelor biolo%ice Pro%noza nivelului stratului de ozon
Exploatarea datelor Predic"ie Clasificare $etec"ia sc!imbrilor Analiza seriilor de timp
Analiz operaional Optimizarea stocurilor de v(nzare cu amnuntul Predic"ia flu'ului financiar
Energie Pro%noza -ncrcrii de sarcin Pro%noza cererii de ener%ie
Estimarea -ncrcrii pe termen lun% i scurt Alte domenii Pariuri sportive Pronosticuri curse de c(ini i cai Pro%noza meteo Implementare de &ocuri .&ocul de table/ Estimarea produc"iei a%ricole
http://www.alyuda.com/products/forecaster/applications7.htmhttp://www.alyuda.com/products/forecaster/applications7.htm7/25/2019 sisteme inteligente in ie
5/52
storic 0123 neuronul *cCulloc!4Pitts 0121 Le%ea lui 5ebb 0167 Perceptronul .Rosenblatt/ 0189 Adaline .:idro;< 5uff/ 0181 Limitrile re"elelor neuronale .*ins=>< Papert/ 01?@ Re"ele o!onen< memorii asociative 017@ Re"eaua 5opfield< problema satisfacerii constr(n%erilor 0178 Bac=propa%ation .Rumel!art< 5inton< *cClelland/ 0177 Neoco%nitron< recunoaterea c!aracterelor .,u=us!ima/
7/25/2019 sisteme inteligente in ie
6/52
Aplica"ii ale RNA Recunoaterea scrisului de m(n
Cifrele sunt di%itizate< normalizate i centrate -ntr4omatrice de dimensiune fi' .e'# @7'@7/ a crorelemente sunt nuan"e de %ri .9
7/25/2019 sisteme inteligente in ie
7/52
Aplica"ii ale RNA $etec"ia facial
!ttp+GG;;;#cs#n>u#eduG >annGresearc!Gcface
7/25/2019 sisteme inteligente in ie
8/52
Aplica"ii ale RNA $etec"ia i recunoaterea obiectelor
!ttp+GG;;;#cs#n>u#eduG >annGresearc!Gnorb
7/25/2019 sisteme inteligente in ie
9/52
Clasificare Presupunem c o fabric de procesare fructe trebuie s sortezeautomat mai multe tipuri de fructe+
p anumite preprocesri fircare fruct este caracterizat printr4un vector
al trsturilor 'D'0
7/25/2019 sisteme inteligente in ie
10/52
$efini"ie RNA denumite uneori procesoare paralel distribuitenapse
)>napse
$endrites
A'on
)>napse
$endrites
A'on
7/25/2019 sisteme inteligente in ie
20/52
Modelul biologic Neuronii nu se atin% -n mod direct< ci sunt separa"i prin
spa"ii numite sinapse Acestea sunt unit"i structurale i func"ionale
elementare care mediaz interac"iunile dintre neuroni Mipul cel mai rsp(ndit de sinaps este sinapsa c!imic# Astfel< o sinaps convertete un semnal electric
presinaptic -ntr4un semnal c!imic .ioni de sodiu ipotasiu/ i apoi din nou -ntr4un semnal electricpostsinaptic
7/25/2019 sisteme inteligente in ie
21/52
Modelul biologic. Propagarea semnalelor
)e consider c o sinaps este o cone'iune simpl care poate impune e'citaresau in!ibare< dar nu ambele< neuronului receptor
Ambele efecte sunt locale ele se propa% pe o distan" mic -n corpul celuleii sunt -nsumate la nivelul a'onului
$ac suma poten"ialelor de e'citare depete un anumit pra%< atuncineuronul este activat i transmite un impuls mai departe Cea mai important trstur a re"elei neuronale biolo%ice este plasticitatea Ca rspuns la stimulrile primite< la nivelul cone'iunilor se produc sc!imbri
pe termen lun%< astfel -nc(t cone'iunile care a&ut la ob"inerea de rezultatepozitive sunt -ntrite< iar cele care determin rezultate nedorite sunt slbite
$e asemenea< neuronii pot forma -n timp noi cone'iuni cu al"i neuroni Aceste mecanisme stau la baza capacit"ii de adaptare a creierului la stimulii
primi"i< pe care o numim -n mod conven"ional -nv"are
7/25/2019 sisteme inteligente in ie
22/52
Analo%ia -ntre re"elele neuronale
biolo%ice i cele artificiale
7/25/2019 sisteme inteligente in ie
23/52
Modelul biologic
Calculator (vonNeumann)
Unul sau cateva procesoare
de viteza mare (ns) si cu putere
de calcul mareUna sau cateva magistrale de
comunicare de viteza mareMemorie accesata prin adresaComponenta ce incorporeaza
cunoasterea este separata decea destinata efectuarii
calculelorAdaptabilitate redusa
Creier umanUn numar mare (111) de unitati
functionale de viteza relativ mica
(ms) cu putere de calcul limitataNumar foarte mare (11!) de
cone"iuni de viteza limitataMemorie cu caracter asociativCunostintele sunt stocate in
sinapseAdaptarea se realizeaza prin
modificarea cone"iunilor
7/25/2019 sisteme inteligente in ie
24/52
Re"ele neurale artificiale ,unc"ioneaz -n acelai fel fiind o main proiectat pentru a modela
felul -n care creierul rezolv o anumit problem sau e'ecut o func"iecu un anumit scop re"eaua este de obicei implementat folosindu4secomponente electronice sau simulat printr un pro%ram
!efiniie )imon 5a>=in consider c o reea neuronal este un procesor masiv
paralel< distribuit< care are o tendin" natural de a -nma%azina cunotin"ee'perimentale i de a le face disponibile pentru utilizare
Ea se aseamn cu creierul -n dou privin"e+ Cunotin"ele sunt cptate de re"ea printr4un proces de -nv"are
Cunotin"ele sunt depozitate nu -n unit"ile de procesare .neuroni/< ci -ncone'iunile interneuronale< cunoscute drept ponderi sinaptice
7/25/2019 sisteme inteligente in ie
25/52
Algoritm de "nvare *etoda utilizat pentru a e'ecuta func"ia de -nv"are se numete
algoritm de nvare< care are ca scop acela de a modifica ponderilesinaptice ale re"elei -ntr4un mod sistematic pentru a atin%eobiectivul dorit de proiectare
Printre numeroasele proprieta"i interesante ale unei re"eleneuronale< cea mai semnificativ este abilitatea acesteia de a -nv"a
prin intermediul mediului -ncon&urtor< i prin aceasta s4i-mbunt"easc performan"ele creterea performan"elor are loc -ntimp i conform cu unele re%uli prestabilite
O re"ea neuronal -nva" printr4un proces iterativ de a&ustri aplicatecone'iunilor i pra%urilor sale sinaptice
n mod ideal< re"eaua devine mai inteli%ent dup fiecare itera"iea procesului de -nv"are
7/25/2019 sisteme inteligente in ie
26/52
nv"area nvarea+ un proces prin care parametrii variabili ai
unei re"ele neuronale se adapteaz prin continuastimulare din partea mediului -n care este inclus
Mipul de -nv"are este determinat de modul -n care auloc sc!imbrile parametrilor nv"area -n conte'tul unei re"ele neuronale se
caracterizeaz prin urmtoarele elemente+ Re"eaua neuronal este stimulat de un mediu Re"eaua neuronal sufer sc!imbri datorit acestor
stimulri Re"eaua neuronal rspunde -n mod diferit mediului datorit
sc!imbrilor care au aprut -n structura sa intern
7/25/2019 sisteme inteligente in ie
27/52
#aracteristici
Caracteristicile cele mai importante ale re"elelorneuronale sunt+ Capacitatea de a nva Re"elele neuronale artificiale nu necesit
pro%rame puternice< ci sunt mai de%rab rezultatul unor
antrenamente asupra unui set de date# Re"elele neuronaleartificiale au un al%oritm de -nv"are< dup care ponderilecone'iunilor sunt a&ustate pe baza unor modele prezentate# Cualte cuvinte< re"elele neuronale -nva" din e'emple< la fel cum-nva" copiii s recunoasc un obiect pe baza mai multor instan"eale acelui tip de obiect
Capacitatea de generalizare: $ac au fost instruitecorespunztor< re"elele sunt capabile s dea rspunsuri corecte ipentru intrri diferite fa" de cele cu care au fost antrenate< at(tatimp c(t aceste intrri nu sunt foarte diferite
Capacitatea de sintez: Re"elele neuronale artificiale pot luadecizii sau tra%e concluzii c(nd sunt confruntate cu informa"ii
afectate de z%omot< irelevante sau par"iale
7/25/2019 sisteme inteligente in ie
28/52
Ar!itectura tipic a unei re"ele neuronaleartificiale
Strat de intrare Strat de ieire
Strat intermediar
Semnalede
intrare
Semnalede
ieire
7/25/2019 sisteme inteligente in ie
29/52
Neuronul este un element de calcul
simplu# $ia%rama unui neuron
Neuron Y
)emnale de intrare
x0
x@
xn
)emnale de ieire
Y
Y
Y
w@
w0
wn
Ponderi
7/25/2019 sisteme inteligente in ie
30/52
Neuronul calculeaz suma ponderat a intrrilor i oNeuronul calculeaz suma ponderat a intrrilor i ocompar cu o valoare de pra%
7/25/2019 sisteme inteligente in ie
31/52
Func ii de activareFunc ii de activare
7/25/2019 sisteme inteligente in ie
32/52
,unc ii de activare
7/25/2019 sisteme inteligente in ie
33/52
$oate un singur neuron "nv a o sarcin$oate un singur neuron "nv a o sarcin %%
In 0167
7/25/2019 sisteme inteligente in ie
34/52
(euronul artificial) Modelul Mc#ulloc*+
$itts
:arren *cCulloc! i :alter Pitts .0123/ au propus unastfel de model< care rm(ne p(n -n prezent fundamentulstructural pentru ma&oritatea re"elelor neuronale
rag
!ntrri
x0
x@
!eire
Y
"imitare
#ard
w@
w0
Sumator
liniar
7/25/2019 sisteme inteligente in ie
35/52
Perceptronul Ini"ial< c(nd au aprut re"elele neuronale< scopul acestora era de a efectua
clasificri# )e pune problema determinrii automate ponderilor< -n cazul -n care
neuronului -i erau prezentate mai multe obiecte< -mpreun cu clasa creia -iapar"ineau acestea
Rezolvarea a fost adus de ,ran= Rosenblatt .0189/< care a ima%inat unal%oritm de -nv"are pentru aa4numitulperceptron simplu< o re"ea cu unsin%ur neuron#
O re ea de neuroni *cCulloc!4Pitts cu un sin%ur strat de intrare carealimenteaz un strat de ie ire se nume te Perceptron#
i Papert .0181/ au demonstrat limitrile serioase ale re"elelor de
tip perceptron -n aceste situa"ii i c sunt imposibile %eneralizrile %lobalepe baza e'emplelor -nv"ate local