Post on 26-Oct-2019
transcript
10. Rezolvări probleme
În cadrul acestui capitol ne propunem să prezentăm, în plus faţă de problemele rezolvate în cadrul fiecărui capitol, rezolvarea a câtorva probleme din cele propuse spre rezolvare cititorilor, deci a unei selecţii, din cadrul capitolelor anterioare.
Problemele rezolvate sunt acelea care prin conţinutul lor facilitează înţelegerea unor concepte fundamentale, prezintă anumite metode specifice de rezolvare, au un anumit grad de dificultate, au o semnificaţie specifică (unele dintre ele fiind considerate probleme fundamentale), au o utilitate practică directă etc.
Capitolul 5 Problemă 5.4: Demonstraţi relaţiile (5.15)(a) şi (b).
.1)(lim)
},...,1{)(,0)(lim)
aFb
NipentruaFa
xa
xai (10.1)
Rezolvare: Aşa după cum ştim de la variabilele aleatoare, probabilitatea ca variabila aleatoare x să ia valoarea este: 0}{ xP .
În cazul nostru x este vector aleator iar componentele sale, xi, sunt variabile aleatoare pentru care vom avea: .0}{ ixP
Această ultimă relaţie împreună cu relaţia de incluziune dintre următoarele evenimente:
}{},...,,...,{},...,,...,{lim 1111
iNNiNNiia
xaxxaxaxaxaxi
(10.2)
conduce la următoarea relaţie între probabilităţi:
.0}{},...,,...,{)(lim 11
iNNixa
xPaxxaxPaFi
(10.3)
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
390
.1)(},...,,...,{
},...,,...,{lim)(lim
1
11
SPxxxP
axaxaxPaF
Ni
NNiia
xa
(10.4)
Problemă 5.5: Demonstraţi relaţiile (5.32):
).,()(
),()(
bFbF
aFaF
xyy
xyx (10.5)
Rezolvare: În continuare demonstrăm că funcţiile de distribuţie marginale, Fx(a) şi Fy(b), se obţin cu ajutorul relaţiilor anterioare.
Evenimentele {x ≤ ∞} şi {y ≤ ∞} sunt evenimente sigure:
{x ≤ ∞} = {y ≤ ∞} = S (10.6)
Rescriind evenimentele {x ≤ a} şi {y ≤ b} ca o intersecţie cu evenimentul sigur convenabil ales:
{x ≤ a} = { x ≤ a, y ≤ ∞} şi {y ≤ b} = { x ≤ ∞, y ≤ b} (10.7)
şi aplicând probabilitatea, P(·), ambilor membri ai celor două egalităţi obţinem:
),(},{)(}{
),(},{)(}{
bFbyxPbFbyP
aFyaxPaFaxP
xyy
xyx (10.8)
Problema 5.6: Demonstraţi relaţiile (5.42) şi (5.43).
Deci, în cadrul acestei probleme dorim să demonstrăm că pentru doi vectori aleatori discreţi/continui se obţine din funcţia masă/densitate de probabilitate comună probabilităţile/densităţile marginale pe baza relaţiilor:
i
ixyy
j
jxyx
bapbpb
bapapa
),()()
),()() şi, respectiv,
.),()()
),()()
dabafbfd
dbbafafc
xyy
xyx
Rezolvare: Deoarece indicii i şi j baleiază toate valorile posibile, ai şi bj, aferente vectorilor aleatori discreţi x, respectiv, y, evenimentele {x= ai} şi {y= bj} formează două partiţii ale lui S. Astfel, pe măsură ce j parcurge toate valorile posibile, bj, evenimentele {x= a, y= bj} sunt mutual exclusive iar reuniunea lor conduce la evenimentul {x= a, S}.
Rezolvări probleme
391
Luând probabilitatea acestor evenimente obţinem:
)(),(),() apSapbapa xxyj
jxy (10.9)
În mod similar se arată că:
)(),(),() bpbSpbapb yxyi
ixy (10.10)
Pentru cazul continuu avem:
a byxxy dvduvufbaF ),(, (10.11)
Diferenţiind relaţia de mai sus în raport cu variabila a, respectiv, b, obţinem:
bxy
xydvvaf
a
baF),(
),( şi .),(
),(
axy
xydubuf
b
baF
Punând b = ∞ (respectiv, x = ∞) obţinem în final:
dbbafdvvafaf
a
aF
a
aFc xyxyx
xxy),(),()(
)(),() (10.12)
.),(),()(
)(),() dabafdubufbf
b
bF
b
bFd xyxyy
yxy (10.13)
Problemă 5.8: Se ştie că pentru evenimentele A şi B avem P(A)=0.35,
P(B)=0.60 şi P(AB)=0.20. Să se calculeze: a) Probabilitatea ca să se realizeze evenimentul B atunci când s-a
realizat evenimentul A. b) Probabilitatea ca să se realizeze evenimentul A atunci când s-a
realizat evenimentul B. c) Probabilitatea ca să se realizeze evenimentul B atunci când nu s-a
realizat evenimentul A
Rezolvare: Din formula probabilităţii avem: a) P(B|A) = P(AB)/P(A)=0.20/0.35=4/70.57. b) P(A|B) = P(AB)/P(B)=0.20/0.60=1/30.33. c) P(B|Ā) = P(AB)/P(Ā)= P(AB)/[1-P(A)]=0.20/0.65=4/130.31.
Problema 5.9: Demonstraţi validitatea relaţiei (5.56) în conformitate cu
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
392
ipoteza anterioară.
Deci, dacă considerăm partiţia U = [A1, A2, ..., An] a evenimentului
sigur S şi fie B un eveniment arbitrar din S, atunci:
)()|(...)()|()( 11 nn APABPAPABPBP (10.14)
Rezolvare: În mod evident, folosind şi distributivitatea operaţiei de înmulţire din teoria mulţimilor vom putea scrie:
nn BABABAAAABBSB ...)...( 2121 (10.15)
Întrucât evenimentele Ai şi Aj sunt mutual exclusive atunci şi evenimentele BAi şi BAj vor fi, de asemenea, mutual exclusive. Folosind a treia axiomă a probabilităţii vom avea:
)(...)()()( 21 nBAPBAPBAPBP (10.16)
Din formula probabilităţii condiţionate (5.52) avem că:
)()|()( iii APABPBAP (10.17)
de unde rezultă mai departe teorema probabilităţii totale:
)()|(...)()|()( 11 nn APABPAPABPBP (10.18)
Problema 5.12: Să se demonstreze că în relaţia (5.63), actualizarea lui P(A) conform regulei lui Bayes are loc numai atunci când P(B|A) P(B| Ā), unde Ā reprezintă evenimentul complementar lui A (evenimentul A este diferit de evenimentul sigur).
Rezolvare: Pornind de la formula regulei lui Bayes scrisă pentru cele două evenimente complementare, A şi Ā, (relaţia (5.65)) şi egalând probabilitatea condiţionată cu probabilitatea marginală, a priori, avem că:
)()()|()()|(
)()|()|( AP
APABPAPABP
APABBAP
P (10.19)
De aici rezultă mai departe:
)](1)[|()()|()|(1)](1)[|()()|(
)|(PAPABPAPABPABP
APABPAPABP
AB
(10.20) În final obţinem:
0)](1)][|()|([ APABPABP (10.21)
Rezolvări probleme
393
de unde rezultă fie P(A)=1 (ipoteza exclude această variantă), fie P(B|A) = P(B|Ā).
În consecinţă, pentru P(B|A) P(B| Ā) avem:
P(A|B) P(A) (10.22)
Problemă 5.15: Dacă pentru două evenimente, A şi B, diferite de evenimentul imposibil, este adevărată egalitatea P(B|A) = P(B|Ā), atunci, să se demostreze că evenimentele A şi B sunt independente.
Rezolvare: Dacă P(B|A) = P(B|Ā) rezultă atunci, conform exerciţiului Problema 5.12, că P(A|B) = P(A) de unde deducem, ţinând cont de relaţia (5.105), că evenimentele A şi B sunt independente.
Problema 5.22: Să se estimeze punctual, prin metoda bayes-iană,
parametrul scalar media, = mx, al unei populaţii a cărei caracteristică studiată este descrisă de vectorul aleator unidimensional, x, despre care se ştie că este distribuit conform unei legi de distribuţie normale,
x ~ N(, σx2) (10.23)
şi pentru care se cunoaşte doar varianţa, σx2. De asemenea, mai
dispunem:
de o serie de informaţii a priori despre parametrul care ne fac să credem că valorile posibile pentru acesta respectă, de asemenea, o distribuţie normală, de medie şi varianţă, cunoscute, respectiv,
~ N( 0, σ02) (10.24)
şi de un eşantion, de dimensiune n, de date empirice.
Să se comenteze rezultatul obţinut.
Rezolvare: Conform relaţiei (5.134), desfăşurarea temporală a fazelor procesului de estimare bayesiană presupune următoarele:
a) specificarea, mai întâi, a unei distribuţii de probabilitate a priori pentru parametrul ce ne interesează; în cazul nostru ~ N( 0, σ0
2), unde 0
reprezintă cea mai bună estimare pe care o putem realiza în lipsa oricăror altor informaţii disponibile care să confirme sau să infirme această convingere iar σ0
2 reprezintă incertitudinea noastră legată de această estimare;
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
394
b) obţinerea apoi de noi informaţii privind caracteristica studiată a populaţiei – informaţii furnizate de o nouă evidenţă statistică (eşantion de date empirice, , Xk=[ak
1,..., akn], obţinut, de regulă, în urma
realizării unui experiment fizic);
n
i
ikk afXf i
1θ|aθ|X )|()|( (10.25)
Această etapa este urmată, în final, de
c) combinarea, conform teoremei lui Bayes, a celor două informaţii de mai sus şi obţinerea corespunzătoare a distribuţiei posterioare a parametrului în cauză; această distribuţie oferă, mai departe, baza pentru inferenţele statistice privind parametrul al populaţiei.
)|(X|θ kXXf
dfXf
fXf
Xf
fXf
k
k
k
k
)()|(
)()|(
)(
)()|(
|
||
θθX
θθX
X
θθX
n
i
ikk faffXf i
1θθ|aθθ|X )()]|([)()|(
(10.26)
În relaţia de mai sus reprezintă un factor de normalizare ce depinde de eşantionul Xi şi este independent de . Această ecuaţie arată cum observarea unui set de date empirice modifică părerea noastră despre adevărata valoare a lui , exprimată iniţial prin densitatea a priorică, f().
Cunoscând formele funcţionale ale densităţilor de mai sus pentru:
variabila aleatoare ~ N( 0, σ02) şi, respectiv,
variabilele aleatoare ai| ~N(, σx2), consecinţă directă a
relaţiei x~N(, σx2),
unde prin N(,) înţelegem familia de distribuţie normală dată de relaţia (5.115), obţinem în continuare:
)|(X|θ kXXf
20
20
2
2
2
)(
01
2
)(
2
1
2
1
ee
n
i
a
x
x
ik
2
0
0
1
2
2
1
'
n
i x
ika
e
Rezolvări probleme
395
20
20
2
2
22
22)(
2
1
'
x
i i
ik
ik naa
e
20
202
220
02
220
2)(
112
1
2
1
'
i
ik
xi
ik
xx
aan
e
20
02
220
2
12
1
2
1
'' i
ik
xx
an
e (10.27)
În relaţiile mai sus prezentate constantele ’ şi ’’ includ constanta şi, respectiv, toţi acei factori rezultanţi care nu depind de . Ceea ce am obţinut pentru densitatea posterioară a lui este o funcţie exponenţială a unei funcţii cuadratice de ; mai exact, vorbim tot de o funcţie gaussiană. Dacă scriem forma generică a funcţiei de densitate gausiană pentru vectorul aleator |Xk ~ N( 1, σ1
2) astfel:
21
21
21
1221
2
1
1 21
2
1
1
2
1
1
X|θ2
1
2
1)|(
eeXf k (10.28)
şi egalăm coeficienţii din relaţia (10.27) cu cei corespondenţi din relaţia (10.28) obţinem:
20
221
11
x
n şi 20
022
1
1
xn
x
(10.29)
unde
n
i
ika
nx
1
1 , reprezintă media aritmetică a valorilor particulare ce
compun eşantionul Xk a v.a. x.
Figura 10.1. Învăţarea Bayes-iană a parametrului media pentru cazul
distribuţiilor normale unidimensionale
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
-5 -1 3 7 11 15 19 23 27 31 35 39 43 47 51
Densitatea anterioară
Funcţia de verosimilitate
Densităţi posterioarecalculate pentru
diverşi n:
2
35 8
5
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
396
Relaţiile de mai sus pot fi rescrise şi în următoarele forme
echivalente:
20
2
20
221
nx
x
(10.30)
şi, respectiv:
02
02
2
20
2
20
020
21
2
21
1
nx
n
nx
n
x
x
xx
(10.31)
Comentarii: După cum se poate remarca din relaţiile (10.31) precum şi din
Figura 10.1, în acest caz particular, valoarea estimată pentru paramerul este o combinaţie liniară între valoarea a priorică, propusă iniţial, 0, şi valoarea reprezentând estimatul clasic al aceluiaşi parametru, respectiv, media aritmetică a eşantionului, x ; coeficienţii care ponderează aceste două valori sunt non-negativi şi sumează la valoarea 1, fapt care determină ca estimatul bayesian 1 să ia valori undeva între valoarea a priorică şi estimatul clasic, după cum urmează: dacă σ0 ≠ 0 atunci, pentru n avem σ1 0 iar densitatea
posterioară, f|X( |Xk), devine o funcţie cu vârf tot mai ascuţit (se apropie tot mai mult de o funcţie Dirac); acest comportament – ilustrat grafic mai jos pentru diverse valori ale dimensiunii n a eşantionului –, este cunoscut ca învăţarea Bayesiană; în plus, tot ca o consecinţă directă avem că n σ1
2/ σx2 1 ceea ce înseamnă
că estimatul bayesian tinde tot mai mult, pe măsură ce n creşte, către estimatul clasic, x , efectul informaţiilor a priori devenind unul neglijabil;
dacă σ0 = 0 atunci ne aflăm în cazul degenerat în care certitudinea noastră privind egalitatea = 0 este atât de puternică încât nici un număr de observaţii, oricât de mare ar fi acesta, nu ar putea schimba opinia noastră;
un alt caz extrem este şi acela în care σ0 >> σx; intuitiv acesta s-ar traduce prin aceea că suntem atât de nesiguri privind posibila valoare 0
pentru parametrul nostru necunoscut încât la calculul estimatului bayesian se ţine cont practic numai de observaţiile eşantionului
Rezolvări probleme
397
Problema 5.26: Ştiind că media unei variabile aleatoare reale este mx = E{x} în timp ce varianţa aceleiaşi variabile este dată de x 2 = E{(x –mx)2} determinaţi E{x2} în funcţie numai de mx şi x 2.
Rezolvare: Din definiţia varianţei avem:
2222
2222
}{}{2}{
}2{)(
xxx
xxxx
mxEmxEmxE
mxmxEmxE
(10.32)
de unde rezultă mai departe relaţia dorită, respectiv: 222}{ xx mxE (10.33)
Problemă 5.30: Demonstraţi că atunci când vectorii aleatori x şi y sunt independenţi atunci sunt şi necorelaţi.
Rezolvare: Pentru a demonstra această problemă plecăm de la ipoteza că
vectorii aleatori x şi y sunt independenţi; atunci, prin definiţie, este adevărată relaţia:
fxy (a, b) def
fx (a) ∙ fy (b) (10.34)
şi trebuie să demonstrăm că pentru aceiaşi vectori este adevărată şi relaţia de mai jos ce defineşte vectorii necorelaţi:
Rxy = E{ x y*T } = E{ x } E{ y*T } = mxmy*T (10.35)
Plecând de la definiţia matricei de corelaţie pentru vectorii aleatori x şi y:
dbdabafabxyER xy
TTxy ),(** (10.36)
şi folosind relaţia (10.34) obţinem:
dbbfbdaafadbdabfafabR y
Txyx
Txy )()()()( ** (10.37)
Din relaţia anterioară rezultă în continuare:
Tyx
TTxy mmyExEyxER ***, (10.38)
Problemă 5.33: Dacă aveţi o variabilă aleatoare x monodimensională,
caracterizată de o funcţie de distribuţie normală standard N(0, 1), determinaţi modalitatea de a o converti într-o altă variabilă aleatoare y, caracterizată de următoarea distribuţie generică, N(my,
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
398
σy2).
Rezolvare: y = my + σyx (10.39)
Problemă 5.37: O dată cu creşterea numărului de eşantioane a ferestrei pe
care se face analiza se observă că un număr din ce în ce mai mare de componente spectrale devin semnificative din punct de vedere statistic (au un grad de grad de încredere mai mare sau egal cu 95%). Justificaţi acest fenomen.
Rezolvare: O dată cu creşterea numărului de eşantioane a ferestrelor pe baza cărora se face analiza în vederea determinării estimatorului de masă al coerenţei numărul de segmente luate în calcul devine din ce în ce mai mic iar rezultatele vor fi din ce în ce mai puţin reprezentative statistic. Deci din punct de vedere statistic o fereastră cu număr minim de eşantioane va determina o reprezentativitate statistică crescută a setului de date, dar rezoluţia (ca un dezavantaj direct) spectrală va fi slabă.
Variind numărul de eşantioane ale ferestrei utilizate în analiză se va observa că anumite componente spectrale depăşesc sau nu gradul de încredere, devenind statistic reprezentative, în timp ce altele nu mai sunt capabile să aibă o relevanţă statistică. Se recomandă alegerea componentelor spectrale relevante statistic dintre acelea care depăşesc gradul de încredere indiferent de numărul de eşantioane ale ferestrei analizate.
Capitol 6 Problemă 6.6: Încercaţi să demonstraţi validitatea relaţiilor:
d
jjxC
1
şi
d
jjx trCtr
1
.
Rezolvare:
(a).
I
TT
TTTx
EEEE
EEEEEEC
**
*** )(
(10.40)
Rezolvări probleme
399
În final rezultă:
d
jjxC
1
(10.41)
Pentru demonstrarea acestui rezultat final am utilizat relaţia BABA , vezi anexa “Relaţii matematice fundamentale”; aici, prin
|| s-a simbolizat determinantul.
(b).
trEEtrEEtr
EEtrEEtrCtr
I
TT
TTx
**
**
)(
)(
(10.42)
În final rezultă:
d
jjx trCtr
1
(10.43)
Pentru demonstrarea acestui rezultat final am utilizat relaţia tr (A B) = tr (B A), vezi anexa “Relaţii matematice fundamentale”.
Capitol 7 Problemă 7.4: Determinaţi toate relaţiile precum şi interdeterminismul
reciproc care în final să vă conducă la obţinerea unei relaţii generale (fără nici o particularizare) similară cu (7.44) pornind de la relaţia (7.37). Implementaţi această relaţie într-un program scris în limbajul LabWindows CVI şi verificaţi corectitudinea ei prin plot-area suprafeţei de decizie.
Rezolvare: În cadrul clasificatorului Bayes-ian ecuaţia funcţiei discriminant asociată fiecărei clase este următoarea:
ik
iiiiT
ii cPCD
maCmaag )(lnln2
1)2ln(
2)()(
2
1)( 0100 (10.44)
Având în vedere că în problema analizată avem numai două clase definim:
y
xao ,
1
11
y
x
m
mm ,
2
22
y
x
m
mm ,
dc
ba
cc
ccC
11
1111 ,
dc
ba
cc
ccC
22
2212
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
400
Deoarece în relaţia (1) termenul (D/2) ln(2) este comun tuturor funcţiilor discriminant acesta poate fi eliminat din toate relaţiile de forma (1). În continuare dezvoltăm relaţia (1):
iyi
xi
idic
ibiayixii k
my
mx
cc
ccmymx
y
xg
,
2
1 (10.45)
iyi
xiyiidxiibyiicxiiai k
my
mxmycmxcmycmxc
y
xg
,
2
1
(10.46)
iyiyiidxiib
xiyiicxiiai
kmymycmxc
mxmycmxcy
xg
}
{2
1
(10.47)
În final după efectuarea tuturor înmultirilor din paranteze şi gruparea termenilor putem scrie relaţia sub următoarea formă canoncă:
i
e
yixiibicyiidxiia
d
ibic
b
xiibicyiid
a
yiibicxiiaidiai
kmmccmcmc
xyccymccmc
xmccmcycxcy
xg
i
ii
i
22
22
2
22
1
(10.48)
cu notaţiile făcute în relaţia (10.48):
yiibicxiiai mccmca 2 (10.49)
xiibicyiidi mccmcb 2 (10.50)
ibici ccd (10.51)
yixiibicyiidxiiai mmccmcmce 22 (10.52)
obţinem următoarea formă ai relaţiei (10.48):
Rezolvări probleme
401
iiiiiidiai kexydybxaycxcy
xg
22
2
1 (10.53)
Dar ştim, că pentru determinarea ecuaţiei suprafeţei de decizie între clasa i şi clasa j trebuie să egalăm funcţiile discriminant a celor două clase:
gi (x) = gj (x) (10.54)
Având în vedere ca avem doar două clase, putem scrie:
22222
22
22
111112
12
1
2
12
1
kexydybxaycxc
kexydybxaycxc
da
da
(10.55)
Care se poate scrie în următoarea formă canonică care este de altfel şi răspunsul la problema noastră:
022 212121
12122
212
21
kkeeyxdd
ybbxaayccxcc ddaa (10.56)
Capitol 8 Problema 2: Considerăm următorul set de antrenare generat de o funcţie
densitate de probabilitate necunoscută f(x):
48.0,41.0,32.0,19.0,12.0,01.0X .
(a) Găsiţi analitic estimatul lui f(x) prin algoritmul celor mai apropiaţi 3 vecini.
(b) Reprezentaţi în mod grafic estimantul funcţiei densitate de probabilitate (folositi-vă pentru aceasta de mediul LabWindows CVI sau de editorul Scientific Work place).
Rezolvare:
(a) Parcurgând aceeaşi paşi şi acelaşi raţionament ca în cadrul problemei care a fost rezolvată la sfârşitul Subcapitolului 8.7 se va obţine următurul estimant al vecinătăţii pe baza algoritmului celor mai apropiaţi 3 vecini (3-NN):
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
402
aa
aa
aa
aa
aa
aa
aa
aa
Vn
4.032.02
4.0335.048.02
335.03.019.02
3.0265.041.02
265.022.012.02
22.0165.032.02
165.01.001.02
1.019.02
(10.57)
Ştiind că:
nV6
3)x(ˆ f (10.58)
Utilizând relaţiile (10.57) şi (10.58) am răspuns acestei probleme.
(b) Reprezentarea grafică a estimatului funcţiei densitate de probabilitate (relaţia (10.58) în care l-am particularizat pe Vn conform cu relaţia (10.57)) este dată în Figura 10.2.
Figura 10.2. Reprezentarea grafică a estimntului funcţiei densitate de probabilitate
Problema 2: Pentru o distribuţie a două clase (clase date de elementele marcate cu ● şi ■) conform Figura 10.3:
(a). să se determine mediile celor două clase; (b). să se determine apartenenţa elementului caracterizat de vectorul
de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de minimă distanţă ce utilizează distanţa Euclidiană;
0.5
1
1.5
2
2.5
3
-0.4 -0.2 0 0.2 0.4 0.6 0.8x
Rezolvări probleme
403
(c). să se determine apartenenţa elementului caracterizat de vectorul de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de tipul NN în situaţia utilizării unei distanţe Euclidiene;
(d). să se determine apartenenţa elementului caracterizat de vectorul de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de tipul 3-NN în situaţia utilizării unei distanţe Euclidiene;
(e). să se determine matricele de covarianţă a celor două clase; (f). să se deseneze elipsele de concentrare pentru cele două clase în
ipoteza că ambele distribuţii sunt caracterizate de funcţii de densitate de probabilitate Gauss-iene.
(g). să se determine apartenenţa elementului caracterizat de vectorul de trăsături [1, 2]T la una din cele două clase utilizându-se un clasificator de tipul Bayes-ian. Se ştie că probabilitatea apriorică a clasei ■ este 4/7;
Figura 10.3. Distribuţia spaţială a elementelor ce formează cele două clase (● şi, respectiv, ■)
Rezolvare:
(a). Anterior determinării mediilor celor două clase se numerotează elementele conform Figura 10.3. Cu aceste notaţii pentru prima clasă avem următoarele elemente:
x2
x1
-1
3
2
1
3 2 1 -1
4
a1 a2
a3
a4 a5
a6
b1
b2
b3
b4
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
404
0
1,
1
1,
1
0,
0
1,
1
1,
1
0 654321 aaaaaa
în timp ce pentru cea de a doua clasă:
4
0,
3
1,
5
2,
4
1 4321 bbbb
Mediile claselor se determină într-un mod similar celui prezentat în cadrul Problemei 5.31. Astfel, media primei clase este:
0
0
0
1
1
1
1
0
0
1
1
1
1
0
6
1
6
1ˆ
6
11
i
iam
(10.59)
Media celei de a doua clase se calculează în mod identic şi este dată de relaţia:
4
1
4
0
3
1
5
2
4
1
6
1
4
1ˆ
4
12
i
iam (10.60)
Rezultate obţinute cu ajutorul relaţiilor (10.59) şi (10.60) se pot verifica şi intuitiv, analizând cu atenţie dispunerea spaţială a elementelor prezentate în Figura 10.3. Astfel pentru prima clasă se observă că elementele a3 şi a6 sunt dispuse simetric faţă de originea sistemului de coordonate (sunt dispuse pe aceeaşi axă orizontală, cu o unitate la stânga, elementul a6, şi cu o unitate la dreapta originii – elementul a3), în mod similar despre perechea a1 şi a4, respectiv, a2 şi a5 putem face aceeaşi observaţie. Deci contribuţia unui element este contra-balansată de contribuţia celuilat element din pereche, iar valoarea medie se plasează între aceste două elemente.
Pentru cea de a doua clasă situaţia este similară. Tot din Figura 10.3 se observă că faţă de elementul b1 contribuţia elementelor b3 şi b4 (primul poziţionat cu o unitate mai jos faţă de b1 iar celălalt element cu o unitate mai la stânga) la valoarea medie este compensată de contribuţia elementului b2 (poziţionat cu o unitate mai sus şi mai la dreapta elementului b1).
(b). Pentru a determina apartenenţa elementului caracterizat de vectorul de trăsături o0 = [1, 2]T la una din cele două clase vom
Rezolvări probleme
405
calcula distanţele de la acest element la mediile (elementele prototip):
0
0ˆ1m şi
4
1ˆ 2m
estimate a celor două clase. Aceste distanţe sunt egale cu:
5 || - || 2222,1
02
21,1
011
01 21momomod (10.61)
şi
4 || - || 2222,2
02
21,2
012
02 20momomod (10.62)
Din relaţiile (10.61) şi (10.62) se observă că:
d1 > d2 (10.63)
deci elementul necunoscut va aparţine celei de a doua clase.
(c). Ideea fundamentală a clasificatorului NN constă în determinarea celui mai apropiat vecin şi atribuirea elementelui necunoscut clasei de apartenenţă a vecinului anterior determinat. Dar, din Figura 10.3 se observă că elementul necunoscut o0 = [1, 2]T are elementele a2 şi b1 drept cei mai apropiaţi vecini (găsindu-se simultan la aceeaşi distanţă faţă de o0), în plus, aceste elemente aparţin la două clase distincte. În această situaţie, clasificatorul NN este incapabil să asocieze elementul o0 la una din clase – acest element găsindu-se chiar pe suprafaţa de decizie ce separă cele două clase.
(d). Esenţa clasificatorului 3-NN presupune specificarea iniţială a numărului de vecini (3) şi extinderea unui volum spaţial până când acesta cuprinde acest număr specificat apriori de vecini. Ulterior, în pasul doi, se contorizează aparteneţa fiecărui vecin la una sau alta din clasele existente. Iar în final, elementul necunoscut este asociat acelei clase care are numărul maxim de elemente printre vecinii determinaţi.
În cadrul problemei se specifică că se utilizează o distanţă Euclidiană, deci vecinătatea este definită de o sferă d-dimensională. Deoarece spaţiul trăsăturilor este unul bidimensional hipersfera se va reduce la un cerc.
În Figura 10.4 se prezintă o primă vecinătate V1 centrată în elementul o0 care nu conţine nici un element în afara celui
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
406
necunoscut. Crescând gradual această vecinătate ea devine V2 şi include astfel 2 elemente. Continuând acest proces, vecinătatea va deveni, la un anumit moment, identică cu V3. Această vecinătate conţine 3 elemente din setul de date supus analizei. Procesul creşterii acestei vecinătăţi poate fi oprit, în acest moment, deoarece numărul de elemente vecine cele mai apropiate faţă de elementul necunoscut a fost atins.
Figura 10.4. Poziţionarea diferitelor vecinătăţi în vederea determinării celor mai apropiaţi 3 vecini pentru clasificatorul 3-
NN
Dintre aceste 3 elemente determinate aparţinând vecinătăţii V3 două, a1
şi a2, aparţin primei clase şi doar un element, b3, aparţine celei de a doua clase. În consecinţă elementul necunoscut, o0, va fi atribuit de către clasificatorul 3-NN primei clase (clasă simbolizată cu „■” în Figura 10.4).
(e). Determinarea matricilor de covarianţă poate fi abordată prin utilizarea uneia din metodele prezentate în cadrul Problemei 5.31.
În mod teoretic matricea de covarianţă se determină cu ajutorul relaţiei:
Txxx mxmxEC * (10.64)
Estimarea matricei de covarianţă pentru prima clasă este dată de relaţia:
x2
x1
-1
3
2
1
3 2 1 -1
4
a1
a2
a3
a4 a5
a6
b1
b2
b3
b4
V1
V2
V3
o0
Rezolvări probleme
407
101
011
1
101
0
1
010
111
1
110
1
0
6
1ˆˆ
6
1ˆ6
1111
i
Tii mamaC
(10.65)
În calculul estimării matricii de covarianţă prezentată anterior s-a ţinut cont de valoarea vectorului mediu dat de relaţia (10.59). În final obţinându-se:
32
31
31
32
1 10
00
11
11
00
01
00
01
11
11
10
00
6
1C
(10.66)
Pentru cea de a doua clasă relaţia de calcul a valorii estimate a matricii de covarianţă este similară cu cea din relaţia (10.65), particularizată pentru elementele acestei clase. În final se obţine valoarea:
21
41
41
21
2C (10.67)
(f). Elipsele de concentrare pentru cele două clase se determină similar, urmând aceeaşi paşi, cu cei prezentaţi în Problema 6.9. De altfel, se observă că matricea de covarinaţă pentru cea de a doua clasă este identică cu cea din Problema 6.9. În continuare se prezintă doar rezultatele finale – valorile proprii şi vectorii proprii – ce caracterizează aceste matrici.
Astfel, pentru prima clasă în urma calculelor vor rezulta
următoarele valori proprii: 3
11 şi 12 . Vectorii proprii
asociaţi cu aceste valori proprii sunt: pentru 3
11 rezultă
următorii vectori proprii echivalenţi (din care trebuie să alegem
doar unul din ei)
21
21
1e sau
2
12
1
1e , în timp ce pentru
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
408
valoarea proprie 12 vor rezulta în mod similar vectorii proprii
21
21
2e sau
2
12
1
2e funcţie de semnul ales.
Pentru cea de a doua clasă valorile poprii ale matricii C2 sunt
4
11 şi
4
32 . Pentru valoarea proprie
4
11 avem unul din
următorii vectori proprii:
21
21
1e sau
2
12
1
1e . În timp ce,
pentru valoarea proprie 4
32 avem unul din următorii vectori
proprii:
21
21
2e sau
2
12
1
2e .
(g). În conformitate cu relaţia (7.16), caracteristică clasificatorului Bayes-ian elementul necunoscut o0 va fi atribuit de către acest clasificatorul clasei ci dacă:
jxjMj
ixi cofcPcofcP 0
...1
0 max
(10.68)
Definind:
ixii cafcPag (10.69)
drept funcţia discriminant a clasei i (cu i = 1, 2), vom particulariza relaţia (10.69) pentru a = o0 şi vom determina valoarea funcţiei discriminant asociată cu fiecare clasă.
În final, elementul necunoscut o0 va fi atribuit acelei clase a cărei funcţie discriminant va fi maximă în elementul o0.
Dezvoltând relaţia (10.69) şi particularizând-o pentru a = o0 rezultă:
2
1
0
2
0
11
2
1
0
2
0
1
21
ˆ
ˆ
ˆ
ˆ
2
1
02
010
2
1 i
i
i
T
i
i
m
m
o
oC
m
m
o
o
iii e
CcP
o
oog
(10.70)
După cum se observă şi din relaţia (10.70), în primul pas avem însă nevoie de inversele matricelor de covarianţă ce caracterizează ambele clase:
Rezolvări probleme
409
21
123ˆ
ˆ1ˆ
32
31
31
32
*1
1
11 C
CC (10.71)
38
34
34
38
21
41
41
21
*2
2
12 3
16ˆˆ1ˆ C
CC (10.72)
Introducând valorile numerice în funcţiile discriminant caracteristice claselor obţinem:
2
1
21
1221
2
1
132
3
7
4
2
1eg
(10.73)
2
0
38
34
34
38
202
1
232
4
7
3
2
1eg
(10.74)
Din relaţiile (10.73) şi (10.74) se observă că termenii din faţa exponenţilor sunt egali, deci ceea ce rămâne să facă diferenţa între aceşti termeni vor fi tocmai valorile exponenţilor. În final obţinându-se:
049.0314
12
314
12
2
1 31
eg (10.75)
0048.0314
12
314
12
2
13
16
2
eg (10.76)
Comparând valorile funcţiilor discriminant particularizate în elementul [1, 2]T observăm că g1 >[- g2, deci clasificatorul Bayes-ian va atribui elementul neucnoscut, o0, primei clase.
În Tabelul 10.1 sunt sintetizate rezultatele obţinute anterior în
urma clasificării elementului o0 = [1, 2]T de către patru clasificatori diferiţi. Din Tabelul 10.1 se observă că funcţie de tipul sistemului de clasificare un element poate fi asignat uneia sau alteia din clase sau, în anumite situaţii, clasificatorul este în imposibilitatea luării unei decizi.
Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I
410
Tabelul 10.1. Rezultatele obţinute în urma clasificării elementului [1, 2]T de către patru clasificatori diferiţi
Clasa asignată elementului o0
Clasificator
Clasa 1 Clasa 2
Minimă distanţă
NN Imposibilitate deciziei
3-NN
Bayes-ian
Capitol 9
Problemă 9.3: Demonstraţi Teorema Valorii Iniţiale pentru semnale cauzale:
zHhz
lim0 (10.77)
Rezolvare:
Transformata Z a unui semnal sau sistem oarecare este:
n
nznhzH (10.78)
Dar deoarece semnalul este cauzal avem:
0n
nznhzH (10.79)
Din relaţia precedentă rezultând că:
...3210 321 zhzhzhhzH (10.80)
Aplicân limita pentru z tinzând la plus infinit obţinem:
0lim hzHz
(10.81)