4. Clasificatori elementari

În continuare vom analiza două metode simple de clasificare şi anume cea a şablonului sau a “template”-ului (în limba engleză), cât şi metoda clasificatorului de tip minimă distanţă. În cadrul paragrafelor următoare se vor prezenta conceptual ambele metode, vom analiza caracteristicile acestora, se vor identifica slăbiciunile acestor metode simple de clasificare şi vom pune în evidenţă aspectele şi caracteristicile fundamentale implicate din punct de vedere al metodelor de identificare de pattern-uri.

4.1. Clasificatorul de tip şablon

Clasificatorul de tip şablon este o metodă naturală şi intuitivă de clasificare a pattern-urilor. De exemplu, să considerăm versiunile contaminate cu zgomot ale imaginilor celor două simbolurilor emoţionale şi prezentate mai jos. Versiunile corecte, fără zgomot sunt desenate în stânga şi vor fi considerate drept şabloane (template-uri sau elemente prototip ale clasei). Pentru clasificarea variantelor zgomotoase în mod natural vom recurge la compararea lor cu template-urile originale. Aceasta poate fi făcută în mai multe moduri:

1. Cuantificarea numărului de pixeli aflaţi în aceeaşi stare (a pixel-ilor negri şi albi care sunt situaţi pe aceeaşi poziţie şi au aceeaşi culoare în ambele imagini – în şablon şi în imaginea exemplar care trebuie clasificată), iar la sfârşit se alege clasa de apartenenţă cu numărul maxim de potriviri. Această abordare poartă numele de metoda corelaţiei maxime.

2. Cuantificarea numărului de nepotriviri (a numărului de pixeli de pe aceeaşi poziţie din cele 2 imagini pentru care starea diferă). În final se alege clasa de apartenenţă cu numărul minim de nepotriviri. Aceasta este metoda erorii minime.

Aplicaţie 4.1: În Figura 4.1 zgomotul de tip sare şi piper ce a contaminat

cele 4 exemplare a avut o probabilitate de afectare a fiecărui pixel a şablonului de 0.1. Utilizând programul Creare pattern img AxA

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

20

asociat acestui capitol generaţi exemplare din ambele clase contaminate cu zgomote ce au probabilităţile de afectare a fiecărui pixel de 0.2, 0.3, 0.4, 0.5 şi 0.6. Determinaţi:

a. Înţelegeţi codul sursă a programului care să implementează acest clasificator, programul îl găsiţi în directorul Clasificator de tip sablon asociat capitolului.

b. Numărul de potriviri/nepotriviri caracteristic fiecărei metode în parte: a corelaţiei maxime / a erorii minime.

c. Explicaţi în mod intuitiv în ce situaţie clasificatorul de tip şablon începe să clasifice greşit exemplarele de intrare.

Exemplar

Şablon

Clasa 1:

156 (13) 140 (29) 152 (17) 137 (32)

Clasa 2:

141 (28) 155 (14) 135 (34) 154 (15)

Rezultatul clasificării:

Clasa 1 Clasa 2 Clasa 1 Clasa 2

Figura 4.1. Metoda şablonului, rezultatele sunt prezentate pentru ambele metode: a corelaţiei maxime / a erorii minime

Metoda şablonului este foarte eficientă când variaţiile în interiorul

aceleiaşi clase sunt determinate în principal numai de diferitele tipuri de zgomote care se presupun procese aditive pe imagine. Pentru exemplul prezentat anterior algoritmul lucrează foarte bine, în principal şi datorită faptului că nu există şi alte distorsiuni ale caracterelor cum ar fi: translări, rotiri, ocluziuni, scalări etc. Acest tip de algoritm nu poate să lucreze cu toate tipurile de probleme dar în momentul în care se poate folosi el este foarte eficient.

Se poate observa că în mod direct ideea de contorizare a numărului de nepotriviri este apropiată mai mult de spiritul normei Manhattan decât a celei Euclidiene. Cu toate acestea folosirea normei Euclidiene este posibilă. Să presupunem că vectorul de trăsături, x, este compus din valorile pixel-ilor caracterului necunoscut (în acest vector un pixel ce aparţine simbolului are valoare 1 şi 0 dacă aparţine fundalului) iar vectorul de trăsături al şablonului

Clasificatori elementari

21

este compus în aceeaşi manieră. În această situaţie dacă utilizăm metrica Manhattan || x – template || aceasta este egală chiar cu numărul de neconcordanţe existente între cele două elemente (metoda erorii minime).

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

22

4.2. Clasificatorul de minimă distanţă

Cu toate că această metodă, a clasificatorului de minimă distanţă, este una dintre primele metode de clasificare cunoscută cu suport matematic, ea reprezintă în continuare o metodă eficientă de rezolvare a problemelor de clasificare a pattern-urilor. Metoda şablonului poate fi foarte uşor exprimată matematic. Fie x vectorul de trăsături pentru un pattern de intrare necunoscut, iar m1, m2, ..., mC şabloanele sau vectorii prototip (vectorii de trăsături necontaminaţi de zgomot, cei mai reprezentativi pentru fiecare din cele C clase sau centroizii “punctelor” din spatiul formelor ce apartin claselor respective). Eroarea de nepotrivire, ek, între x şi mk este dată de:

ek = || x - mk ||, Ck ,1 (4.1)

unde || u || este norma vectorului u. În Figura 4.2 se prezintă interpretarea vectorială a relației (4.1).

După cum se observă şi din Figura 4.3 un clasificator de eroare minimă calculează ek pentru k = 1…C şi apoi alege clasa de apartenenţă pentru care eroarea de nepotrivire este minimă. Deoarece || x - mk || este de asemenea şi distanţa de la vectorul de trăsături x la elementul prototip mk acest clasificator poartă numele de clasificator de minimă distanţă. În mod cert metoda de clasificare bazată pe template-uri de tipul erorii minime este un clasificator de distanţă minimă.

Figura 4.2. Distanţele în spaţiul multidimensional al trăsăturilor Clasificatorul de tip minimă distanţă se analizează în mod eficient

x

m1

m2

m3

mC

x1

x2

x3

x - m1

x - mC

x – m3

x – m2

Clasificatori elementari

23

folosindu-ne de noţiunile algebrei liniare. Astfel, produsul intern1 dintre doi vectori x şi y (ambii de tip coloană, d dimensionali) este definit ca:

d

kkkdd

T yxyxyxyxyx1

2211 ... (4.2)

În relaţia (4.2), xT reprezintă transpusul vectorului x.

Figura 4.3. Implementarea clasificatorului de minimă distanţă

Norma vectorului x este dată de (utilizând o metrica Euclidiană):

|| x || = ( xT x )½ (4.3)

Prin utilizarea produsului intern pentru a exprima distanţa Euclidiană2, de la vectorul x la prototipurile (template-urile) claselor, se scrie:

|| x - mk ||2 = (x - mk )T(x - mk ) =

= xTx - mkT x - xT mk

+ mkT mk =

= -2( mkT x – 0.5 mk

T mk ) + xTx (4.6)

Din expresia de mai sus se observă că termenul xTx îl regăsim în calculul tuturor distanţelor || x - mk ||, Ck ,1 , ceea ce ne permite să îl ignorăm în

1 Două dintre proprietăţile importante ale produsului intern sunt:

xT y = yT x = || x || || y || cos ( unghiul dintre x şi y ) (4.4)

xT ( y + z ) = xT y + xT z (4.5)

Astfel, produsul intern între x şi y este maxim numai atunci când unghiul dintre cei doi vectori este zero (unul dintre ei este egal cu cel de al doilea înmulţit cu o constantă). Dacă xT y = 0 vectorii x şi y sunt ortogonali.

2 Datorită utilizării distanţei Euclidiene în cadrul clasificatorului de minimă distanţă acesta mai este cunoscut şi sub denumirea de clasificator de minimă distanţă cu normă Euclidiană sau, mai simplu, clasificator Euclidian.

Distanţa, ||.||

Distanţa, ||.||

Distanţa, ||.||

Selecţie minimum

m1

m2

mc

e1

e2

eC

x

x aparţine clasei i

pentru care ei ≤ ek,

k = 1 ... C

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

24

final pentru a obţine un algoritm ce are o încărcare computaţională mai scăzută. Prin urmare, pentru găsirea template-ului care minimizează cantitatea || x - mk || este suficient să găsim mk care maximizează expresia:

mkT x – 0.5 mk

T mk (4.7)

pentru k = 1 … C. Determinarea valorii maxime a relaţiei (4.7) funcţie de k este de altfel

regula de decizie pentru clasificatorul de distanţă minimă. În concluzie, funcţia discriminant pentru o anumită clasă a acestui tip de clasificator este liniară, ea fiind dată de:

gi(x) = miTx - 0.5 || mi ||2 (4.8)

Clasificatorul de tipul distanţă minimă (Euclidiană) clasifică un vector de trăsături x prin calcularea a C funcţii discriminant liniare, vezi Figura 4.4, şi, în final, atribuie vectorul x clasei care are valoarea maximă pentru funcţia discriminantă. Putem să ne gândim la funcţiile discriminante că realizează o măsură a corelaţiei între x şi mk dar având şi un termen suplimentar de corecţie dat de “energia şablonului”, termen reprezentat de || mk ||2. Din această perspectivă clasificatorul de tip minimă distanţă (Euclidian) este echivalent practic cu un clasificator de tip maximă corelaţie.

Figura 4.4. Configuraţie clasificator de distanţă minimă, funcţiile gi(x) sunt date de relaţia (4.8)

Dacă funcţiile discriminat sunt date în mod direct de distanţele

Euclidiene până la elementele prototip a fiecărei clase, similar ca în Figura 4.3, atunci rezultă în mod direct, conform informațiilor din subcapitolului 3.5.2, că suprafeţele de decizie sunt acele locuri geometrice în care două funcţii discriminant întorc valori egale. În mod intuitiv locul geometric al punctelor aflate la distanţe egale faţă de elementele prototip a două clase

m1Tx - 0.5 || m1 ||

2

m2Tx - 0.5 || m2 ||

2

mCTx - 0.5 || mC ||2

Selectie maxim

m1

m2

mC

g1(x)

g2(x)

gC(x)

x aparţine clasei i

pentru care gi(x) ≥ gk(x),

k = 1 ... C

x

Clasificatori elementari

25

învecinate sunt poziţionate pe mediatoarea segmentului determinat de prototipurile claselor.

Din perspectiva spaţiului de intrare, al trăsăturilor, această metodă de clasificare presupune împărţirea acestuia în regiuni locale. Fiecare regiune este asociata cu un şablon sau vector prototip. Astfel, spaţiul de intrare va arăta împărţit ca un fagure. Daca unim printr-o linie oricare doi vectorii prototip învecinaţi şi determinăm locul geometric al mediatoarei acestui segment, atunci uniunea tuturor acestor mediatoare până la punctul de intersecţie al acestora formează o diviziune care este asemănătoare unui fagure, Figura 4.5. Matematic vorbind, aceasta diviziune este numită divizare Voronoi a spaţiului de intrare. Din punct de vedere al teoriei sistemelor de clasificare, uniunea mediatoarelor, anterior menţionată, reprezintă chiar suprafeţele de decizie. Eşantioanele de date care se regăsesc în cadrul fiecărei regiuni sunt asignate vectorului prototip corespunzător.

Figura 4.5. Diviziunea Voronoi a spaţiului trăsăturilor

Aplicaţie 4.2: Pentru a vizualiza, analiza şi verifica partiţionarea spaţială a spaţiului conform unei diviziuni Voronoi utilizaţi programul al cărui cod îl găsiţi în directorul „Comparatie minDist-Mahalanobis-Bayes” asociat acestui subcapitol. Încărcaţi fişierele „6 Classes.txt” şi „7 Classes.txt”. Afişaţi suprafeţele de decizie obţinute prin intermediul clasificatorului de minimă distanţă.

x2

x1

m1

m2

m3

m4

Suprafaţă de decizie

Mediatoarea segmentului m2m3 Mediatoarea

segmentului m1m2

Mediatoarea segmentului m1m3

A

B

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

26

4.3. Limitări ale clasificatorilor simpli

Dacă rezultatele furnizate de clasificatorul de tip minimă distanţă ar fi satisfăcătoare pentru toate problemele nu ar mai fi nevoie să utilizăm alte sisteme de clasificare a datelor mai complexe. Însă, de multe ori se întâmplă ca acest tip de clasificator să furnizeze o rată a erorilor inacceptabil de mare. În continuare vom analiza posibilele limitări care apar şi care constituie cauza acestei erori mari. Aceste limitări care vor fi descrise în continuare pentru cei doi clasificatori simpli, anterior prezentaţi, se regăsesc şi în cadrul altor algoritmi de clasificare. Deci, din acest punct de vedere analiza care urmează nu este limitată doar la aceşti doi clasificatori.

4.3.1. Trăsăturile pot fi inadecvat alese pentru procesul de

clasificare

Dacă trăsăturile alese nu conţin informaţii relevante necesare separării pattern-urilor de intrare în clase, indiferent cât efort şi muncă sunt depuse în proiectarea clasificatorului rezultatele vor fi unele foarte slabe. Soluţia în astfel de cazuri este să ne întoarcem din nou la faza de extragere a trăsăturilor şi să alegem alte trăsături sau poate să folosim combinaţii (fie ele liniare sau nu) între trăsăturile existente. Prin utilizarea combinaţiilor liniare sau neliniare a trăsăturilor vom obţine un nou spaţiu de trăsături, care poate avea aceeaşi dimensionalitate ca spaţiul iniţial sau o dimensionalitate superioară. De exemplu, obţinerea acestei dimensionalităţi superioare în noul spaţiu de trăsături este unul din conceptele fundamentale ale clasificatorilor de tip SVM (Support Vector Machine). Prin această mapare generată de clasificatorul SVM se urmăreşte obţinerea în noul spaţiu multidimensional a două clase liniar separabile. Scopul final al tuturor acestor transformări este de a obţine un nou spaţiu de trăsături în care să se obţină o separabilitate sporită a vectorilor de trăsături.

(a) (b)

Figura 4.6. (a) Trăsături adecvat alese versus (b) trăsături inadecvat alese

x2

x1

x2

x1

Clasificatori elementari

27

În Figura 4.6(a) avem un exemplu în care alegerea adecvată a trăsăturilor face ca cele două clase să fie liniar separabile în spaţiul trăsăturilor, în timp ce în Figura 4.6(b) datorită unei alegeri inadecvate a trăsăturilor se obţine o neseparabilitate a celor două clase.

4.3.2. Trăsăturile alese sunt corelate

Adesea se întâmplă ca două trăsături care măsoară două caracteristici

diferite ale pattern-ului de intrare să fie influenţate de acelaşi mecanism intern şi astfel aceste două trăsături vor tinde să varieze împreună. De exemplu, două trăsături precum ritmul cardiac şi cel respirator al unui subiect vor varia împreună o dată cu creşterea efortului fizic. Astfel, persoane supuse unui efort fizic susţinut vor avea atât un ritm cardiac cât şi unul respirator de valori ridicate (ambele caracterizate de un număr de bătăi/contracţii ridicat) în timp ce persoane care se plimbă printr-un parc au, în cea mai mare parte a cazurilor, atât un ritm cardiac cât şi unul respirator de valori reduse – spunem despre aceşti doi parametri că sunt corelaţi pozitiv, pentru subiecţii sănătoşi creşterea valorii unuia dintre parametri determină, în medie, creşterea simultană şi a valorii celui de al doilea parametru în timp ce scăderea valorii unuia dintre ei determină şi scăderea valorii celui de al doilea parametru.

(a) (b)

Figura 4.7. (a) Trăsături necorelate versus (b) Trăsături corelate. Suprafaţa de decizie S1 este cea obţinută de un clasificator de minimă

distanţă ce utilizează distanţa Euclidiană În cazul trăsăturilor corelate performanţele clasificatorului de distanţă

minimă, bazat pe distanţa Euclidiană, încep să scadă (eroarea de clasificare creşte). Astfel, un pattern aflat la una din extremităţile clasei va fi mai apropiat de şablonul (vectorul prototip) al celeilalte clase decât de propriul element prototip, Figura 4.7. O situaţie similară se întâmplă şi în momentul

x2

x1

x2

x1

Prototip clasa 1

Prototip clasa 2

Suprafaţa de decizie corectă – S2

Suprafaţa de decizie – S1

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

28

în care trăsăturile nu sunt scalate corespunzător (de exemplu o trăsătură este măsurată în V iar alta în zeci de volţi).

Problemă: Pentru problema prezentată grafic în Figura 4.7(b) demonstrați că clasificatorul de minimă distanţă ce utilizează distanţa Euclidiană va avea o suprafaţă de decizie plasată similar cu cea din figură. Această suprafaţă de decizie va fi întotdeauna liniară ?

Pentru a rezolva această problemă, generată de corelarea setului de date, există mai multe soluţii; de exemplu: (a) utilizarea unei alte norme în cadrul clasificatorului de minimă distanţă (cum ar fi norma Mahalanobis), (b) aplicarea anterior blocului de clasificare, a unui bloc de preprocesare în vederea transformării spaţiului iniţial de trăsături într-un nou spaţiu unde trăsăturile să fie necorate sau (c) utilizarea altor tipuri de clasificatori ce nu sunt influenţaţi de acest tip de limitare.

4.3.3. Suprafeţele de decizie nu sunt liniare

Suprafeţele de decizie – care în cazul clasificatorului de minimă distanţă

ce utilizează norma Euclidină sunt întotdeauna liniare – pot să nu furnizeze destulă flexibilitate clasificatorului.

Utilizarea clasificatorilor ce au suprafeţe de decizie liniare nu va oferi sistemului global de clasificare flexibilitatea necesară rezolvării tuturor problemelor apărute în practică, Figura 4.8. De exemplu, dacă trăsătura x2 este puterea şi trăsătura x1 este tensiunea medie a aceleiaşi serii de timp, x2 va creşte pătratic o dată cu creşterea liniară a valorii trăsăturii x1. În acest mod în spaţiul trăsăturilor clasele se vor “curba” împiedicând un clasificator liniar să obţină erori de clasificare cât mai mici.

(a) (b)

Figura 4.8. Suprafeţe de decizie: (a) liniară, (b) curbilinie Pentru a rezolva această problemă putem: reproiecta spaţiul trăsăturilor

(trăsătura x2 să fie aleasă radicalul puterii), să utilizăm distanţa Mahalanobis

x2

x1

x2

x1

Clasificatori elementari

29

care produce suprafeţe de decizie pătratice, vezi Figura 3.11, sau să utilizăm alt tip de clasificator (de exemplu, unul bazat pe reţele neuronale care vor aproxima suprafaţa de decizie nelinară printr-un număr de suprafeţe de decizie liniare cuplate între ele).

4.3.4. Numărul de clase este necunoscut

Determinarea numărului corect de clase existente într-un anumit set de

date este o prioritate şi mai mult o necesitate pentru obţinerea unor performanţe superioare de clasificare. Incapacitatea cunoaşterii exacte a numărului de clase, determină partiţionări forţate a setului de date, vezi Figura 4.9, care au ca rezultat obţinerea unor performanţe suboptimale pentru clasa de clasificatori utilizaţi în procesul clasificării.

(a) (b)

Figura 4.9. Rezultatul clasificării setului de date utilizând: (a) două clase, (b) trei clase

În plus, faţă de obţinerea unor performanţe superioare de clasificare

trebuie să ţinem cont şi de corelaţia ce trebuie să existe între rezultatele clasificării şi realitatea obiectivă existentă. De exemplu, într-un complex bioinstrumental ce urmărea clasificarea stării unui subiect în odihnit/obosit funcţie de parametrii semnalului de tremur, într-o primă etapă s-au utilizat doar aceste două clase [Dobrea, 2002]. Dar dintr-o analiză ulterioară asupra setului de date s-a constatat existenţa a trei clase distincte. Starea de oboseală a subiectului se reflecta prin două ipostaze diferite în setul de date: oboseala fizică şi cea mentală. În momentul introducerii şi utilizării ambelor clase ce caracterizează starea de oboseală a subiecţilor performanţele clasificatorului s-au îmbunătăţit simţitor. Astfel şi în cazul complexului bioinstrumental s-a confirmat analiza unui studiu, [Aaronson, 2003], efectuat în anii `90 care a evidenţiat existenţa a două componente distincte ale stării de oboseală: cea mentală şi cea fizică. Aceste rezultate au fost confirmate peste câţiva ani când dintre cele cinci dimensiuni evidenţiate ale

x2

x1

x2

x1

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

30

stării de oboseală două: oboseala fizică şi cea mentală s-au diferenţiat [Smets, 1995]. Într-un alt studiu [Aaronson, 2003] aceleaşi două manifestări ale stării de oboseală (fizică şi mentală) au fost puse din nou în evidenţă.

Numărul de clase existent într-un set de date poate fi determinat prin mai multe metode:

în mod apriori, dacă avem informaţii suplimentare despre problemă, în mod automat prin utilizarea unei măsuri de validitate a clasei [Pal,

1995] şi printr-un proces iterativ de introducere a unor noi centri de

clusterizare până când o măsură a validităţii clasificării [Gath, 1989] începe să scadă, sau alternativ se poate utiliza un proces invers de combinare a claselor existente.

(a) (b)

Figura 4.10. (a) Existenţa a două clase simple, (b) existenţa a două clase distincte fiecare clasă fiind formată din alte două subclase3

4.3.5. Existenţa unor subclase distincte în setul de date

Clasele definite de utilizator s-ar putea să nu fie tocmai unele “natural”

definite, fiind posibilă existenţa subclaselor care ar defini mai bine partajarea spaţiului de pattern-uri. Aceste subclase pot apare în mod similar ca în exemplul prezentat anterior în care starea obosit a unui subiect este formată din două componente, oboseala fizică şi cea mentală. În loc să utilizăm un clasificator cu două clase mai natural ar fi să utilizăm un clasificator cu 3 clase, iar în final pentru clasa obosit vom face un sau logic între cele două subclase.

Într-o altă problemă de tipul OCR (Optical Character Recognition) pentru alfabetului limbii române vor exista 26 de clase distincte. Dar

3 Problema porţii SAU-EXCLUSIV

x2

x1

x1

x2

Clasificatori elementari

31

existenţa literelor mici şi a celor mari (care au vectori prototip distincţi) deci a două subclase distincte determină în mod natural o abordare în care clasificatorul va avea 52 de clase distincte. În final vom cupla simbolurile mari şi mici ale aceluiaşi caracter într-o singură clasă.

O soluţie elegantă utilizată pe larg în rezolvarea acestor probleme ce conţin mai multe subclase pentru fiecare clasă în parte constă în utilizarea unui modul de clusterizare a spaţiului urmat ulterior de un clasificator, vezi Figura 3.1.

4.3.6. Spaţiul trăsăturilor este prea complex

Se poate întâmpla ca variabilitatea elementelor din aceeaşi clasă să fie

una foarte mare determinând astfel imposibilitatea clasificatorului de a obţine rezultatele scontate. Erorile obţinute în acest caz ar fi datorate, în principal, complexităţii dispoziţiei spaţiale a elementelor care compun fiecare clasă.

(a) (b)

Figura 4.11. Complexitatea dispunerii elementelor în spaţiul caracteristicilor: (a) complexitate redusă, (b) complexitate mare

De exemplu, o astfel de problemă este şi cea a existenţei a două clase

dispuse sub forma unor spirale. Acest tip de problemă este una dintre cele mai dificile probleme existente în domeniul recunoaşterii de pattern-uri având o importanţă fundamentală în câteva domenii precum: ştiinţele naturale, medicină, economie şi în domeniul ingineresc. Câteva exemple de probleme care manifestă o dispunere spaţială a setului de date sub această formă sunt: structura dublu elicoidală a ADN-ului, mişcarea particolelor în ciclotroane, galaxiile spiralate, mişcarea în spirală a valorii indicilor bursieri etc.

Un astfel de set de date caracterizat de o mare complexitate este prezentat în Figura 4.11(b) pentru un spațiu de trăsături bidimensional. Acest set de date este unul puternic neliniar; el este unul utilizat pe larg în testarea diferiţilor algoritmi de adaptare a diferitelor structuri neuronale sau a

x2

x1 x1

x2

Algoritmi şi metode inteligente cu aplicaţii în electronică şi biomedicină, vol I

32

diferiţilor clasificatori (precum cei neuronali sau statistici) devenind un set de date de referinţă, benchmark în cadrul teoriei clasificării.

Creşterea artificială a gradului de complexitate a dispunerii spaţiale a elementelor în spaţiul trăsăturilor poate apare în problemele de clasificare a datelor furnizate de senzori atunci când pattern-urile fac obiectul unor operaţii de translare, rotire etc. Soluţia optimă pentru evitarea acestor neajunsuri este în această situaţie aceea de a lucra cu trăsături care sunt invariante la astfel de transformări. Astfel, clasificatorul nu mai este forţat să lucreze cu respectivele trăsături complexe şi deci nici să compenseze complexitatea suplimentară introdusă în mod artificial.