+ All Categories
Home > Documents > Curs IV Validitatea

Curs IV Validitatea

Date post: 18-Jul-2015
Category:
Upload: sunflower04
View: 119 times
Download: 1 times
Share this document with a friend

of 46

Transcript

Caliti psihometrice

VALIDITATEA

Dr. Mihaela Minulescu

Definiie

Validarea unui test este procesul prin care se investigheaz gradul de validitate a interpretrii propuse de acesta (APA. Standards 1985); gradul n care testul msoar ceea ce se presupune a msura lat deci c validarea nu se mai refer att la instrumentul n sine, ci la interpretarea datelor furnizate de el. Dar, pentru o interpretare corect a scorurilor unui test este necesar s fie ndeplinite dou condiii (Albu, 1995): s se tie exact ce reprezint scorurile testului; msurrile tcute de test s fie corecte.

probleme generale i perene ale validitii.

Msoar testul ceea ce pretinde? Poate fi utilizat n luarea unor decizii corecte? Cercetm aspectele avute n vedere de test suficient de echilibrat? S-a pierdut ceva important? Modul de msurare introduce cumva surse de invalidare sau de variaie irelevant care pot influena scorurile sau evalurile? Modul ales de scorare reflect maniera n care se combin procesele domeniului respectiv pentru a produce efecte? Este structura scorului ales consistent cu structura domeniului asupra cruia trebuie s producem evaluri sau s facem predicii? Ce dovezi exist c scorurile noastre semnific ceea ce interpretm c ar semnifica i, n particular, ca reflectri ale unor caracteristici personale ce au implicaii plauzibile pentru aciunea educaional, de selecia de personal sau terapeutic?

Azi: transformarea procesului de validare ntr-o progresiv includere a tot mai multe aspecte practice

Exist interpretri plauzibile opuse pentru nelesul scorurilor, sau implicaii alternative pentru aciuni i, dac exist, prin ce dovezi i argumente au aprut? Sunt evalurile i scorurile fidele i sunt ele proprieti i relaii generalizabile de-a lungul coninuturilor i contextelor de utilizare, ct i pentru grupe de populaie pertinente? Sunt implicaiile valorice ale interpretrilor scorurilor fundamentale empiric i mai ales, au ele i un aspect peiorativ; sunt co-articulate cu implicaiile scorurilor trsturii respective? Au scorurile utilitate pentru scopurile propuse n edinele aplicative? Sunt aplicate corect pentru scopurile avute n vedere? Exist consecine pe termen lung sau scurt pentru interpretarea scorurilor. Sunt ele folosite ca punct de sprijin pentru scopurile generale ale testrii; nu exist cumva i efecte secundare?

Standardele APA (1985)propun patru categorii eseniale de definire a validitii denumite cele patru fee ale validitii i care n prezent au devenit patru strategii ale validrii inferenelor fcute pe baza scorurilor de test 1. validitatea conceptual; 2. validitatea de coninut; 3. validitatea predictiv; 4. validitatea concurent.

Faete ale validitii Validitate

de coninut: validitatea itemilor specifici ai testului; include i validitatea de aspect (de faad) Validitatea de construct: gradul n care testul relaioneaz cu constructul teoretic subiacent testului Validitatea de criteriu: abilitatea unui test de a prezice cu acuratee performanele subiectului la un criteriu din viaa real

Standardele APA (1985):

apreciaz c nu se poate vorbi despre tipuri diferite de validitate, cele recunoscute pn acum sunt doar simple etichete atribuite unor categorii de strategii de validare care nu sunt disjuncte. nlocuirea denumirii de tip de validitate cu cea de tip de analiz a validitii. Prin analiza validitii el nelege o procedur, un proces sau o strategie prin care se colecteaz sau se genereaz date n vederea determinrii extinderii ori a robusteii inferenelor care pot fi fcute pe baza unei mulimi de scoruri de test (C. L. Lawshe,1986)

Hammond, 1995:

1. Exist numeroase metode pentru validarea testelor, care pot fi privite ca moduri diferite de formulare a cerinelor referitoare la teste. Corespunztor scopurilor pentru care se utilizeaz un test, se alege strategia de validare. Ea se poate baza pe analiza de itemi, pe analiz factorial, pe determinarea corelaiilor testului cu diverse criterii etc. 2. Validitatea unui test nu poate fi estimat printr-un singur coeficient, ci se deduce din acumularea dovezilor empirice i conceptuale. Standardele APA din 1974, subliniaz faptul c validitatea nu se msoar, ci se deduce. Manualul testului trebuie s conin coeficienii de validitate, dar n cazul unei aplicri particulare a testului nu se va lua n considerare un singur coeficient ci, prin analiza lor global, se va aprecia dac utilizarea testului este adecvat sau nesatisfctoare.

...Standardele APA din 1985 modific terminologia utilizat n legtur cu validitatea. Astfel, ele nlocuiesc denumirile - cunoscute ale tipurilor ele validitate cu urmtoarele etichete atribuite strategiilor de validare: dovezi ale validitii relative la coninut, dovezi ale validitii relative la construct i dovezi ale validitii relative la criteriu.

...Hammond3. Validarea unui test este cumulativ. Procedura de va1idare trebuie reluat periodic pe eantioane diferite de subieci. Ori de cte ori se face o modificare important ntr-un test n ceea ce privete formatul, limbajul, coninutul sau instruciunile de administrare, testul trebuie revalidat. 4. Validitatea unui test depinde mai mult de felul n care este folosit testul dect de testul in sine.

Validitatea testului relativ la constructul msurat

variabile sunt construite pornind de la fapte observabile, printr-un ir de raionamente bazate pe ipoteze i deducii. Din acest motiv, va1iditatea relativ la construct este adesea denumit i validitate ipotetico-deductiv construct i concept sau noiune sunt adesea utilizai ca sinonimi, validitatea relativ la construct a testului este denumit i validitate conceptual (concept validity).

Definiie:

Validarea testului relativ la constructul msurat se ocup de calitile psihice care contribuie la formarea scorurilor acestuia i urmrete nelegerea dimensiunilor evaluate de test. Numai nelegnd constructul msurat de test se pot formula ipoteze asupra prediciilor pe care le face testul i asupra relevanei i a reprezentativitii coninutului su. Deci, validarea constructului trebuie s precead validarea coninutului testului si validarea relativ la criteriu

Procedur:Pentru a putea verifica dac un test msoar bine un anumit construct, este necesar s se realizeze o descriere a constructului n termeni comportamentali concrei. Operaia se numete "explicarea constructului" i const din trei pai (Murphy i Davidshofer, 199l): Se identific acele comportamente care au legtur cu constructul msurat de test. Se identific alte constructe i pentru fiecare se decide dac are sau nu legtur cu constructul msurat de test. Se alctuiete cte o list de comportamente prin care se manifest aceste constructe. Pentru fiecare din ele, pe baza relaiilor dintre constructe, se decide dac are sau nu legtur cu constructul msurat de test.

Componente:descompunerea operaiei de validare a testului relativ la constructul msurat, n trei componente: validarea materialului testului (substantive validity), care necesit specificarea constructului msurat de test i se confund uneori cu validarea coninutului testului; validarea structurii constructului aflat la baza testului (structural validity), care identific elementele componente ale constructului i investigheaz legturile dintre ele; validarea extern (extenal validity), care urmrete s determine relaiile constructului cu alte msurtori (constructe sau variabile observate).

Validarea externSe refer la calitatea testului de a avea relaii corecte cu alte msuri psihologice; ea este denumit uneori "validitate convergent i discriminant" (Murphy i Davidshofer, 1991): a. Un test are validitate convergent dac msoar ceea ce evalueaz si alte teste sau variabile care se refer la acelai construct, deci scorurile sale variaz (liniar sau nu) n acelai sens cu rezultatele respectivelor msurtori. b. Un test are validitate discriminant dac evalueaz altceva dect diverse teste sau variabile despre care se tie c se refer la constructe ce nu au legtur cu constructul msurat de test. Aceasta nseamn c scorurile testului nu sunt n relaie funcional monoton (liniar sau nu) cu rezultatele acelor msurtori.

coninut Validitatea

convergent: indic ct de bine coreleaz testul cu alte msurtori ale aceluiai construct Validitatea divergent: un test nu trebuie s coreleze nalt cu acele teste care nu relaioneaz cu constructul msurat de test

matricea multitrait-multimethod

O metod utilizat pentru verificarea validitii convergente i discriminante a testelor este aceea propus de D. T. Campbell i D. W. Fiske, bazat pe matricea multitrait-multimethod Aceasta conine valorile coeficienilor de corelaie liniar ntre diverse msurtori ale acelorai constructe, dar obinute prin intermediul a dou sau trei tehnici ori instrumente diferite.

Procedur: n

urma evalurii constructelor A, B i C, despre care se face presupunerea c nu au legturi ntre ele, prin trei metode diferite test I, test II si test III - s-a obinut urmtoarea matrice de coeficieni de corelaie liniar (pentru a se putea urmri mai uor datele, ea a fost scris sub forma unui tabel unde coeficieni de corelaie sunt la pragul p .05):

metode / constructe test I a b c test II a b c a b c

test I a b 81 .12 .86 .04 .32 .46 .14 .48 .08 .21 .50 .32 .46 .28 .36

test II c a b

test III b c a

c

.76 .74 .02 .77 .55 .10 .15 .54 .37 .65 .60 .28 .38

.82 .85 .38 .61 .36 .83 .40 .85

test III

Explicaie

Valorile notate pe diagonala principal sunt coeficienii de fidelitate ai testelor, obinui prin metoda formelor paralele. De exemplu, pentru testul II, coeficienii de fidelitate sunt .74 (pentru constructul A), .77 (pentru constructul B) i . 82 (pentru constructul C). Valorile de pe diagonalele celorlalte csue sunt coeficienii de corelaie ntre msurtorile realizate de cele trei teste pentru aceleai constructe. Ei servesc la verificarea validitii congruente.

Pentru constructul a, coeficienii

de corelaie sunt: .46 (testul I cu testul II); .50 (testul I cu testul III); .54 (testul II cu testul III).

Pentru constructul b .48

pentru testul I cu II .46 pentru I cu III .65 pentru II cu III

Pentru constructul c,

.55

pentru I cu II .60 pentru I cu III .61 pentru II cu III

Validitate discriminativ Celelalte

valori din matrice reprezint coeficienii de corelaie liniar ntre constructe diferite, msurate prin acelai test sau prin teste diferite. Ei servesc la aprecierea validitii discriminativ a testelor

2. Validitatea testului relativ la coninutul suDefiniie: Acest tip de validitate este analizat la testele care se utilizeaz pentru a estima cum acioneaz o persoan n universul de situaii pe care testul intenioneaz s l reprezinte (APA Standards, 1974). Pentru analizarea acestui tip de validitate trebuie luat n considerare nu numai coninutul itemilor testului ci i procesul utilizat de subiect pentru a ajunge la formularea rspunsului; urmrete s verifice dac eantionu1 de stimuli i cel de rspunsuri observate i nregistrate n procesul de msurare sunt reprezentative pentru universul de comportamente pe care l definete constructul respectiv

3. Validitatea relativ la criteriuStrategii: Concurent: ncearc s indice stadiul actual al problemei (util n testele de diagnostic i QI) Predictiv: util pentru teste care ncearc s anticipe comportamentul viitor (ex. Scale de suicid, etc.)

Definiie:Validarea

relativ la criteriu se refer la gradul n care deduciile fcute pornind de la scorurile testului concord cu cele bazate pe scorurile unei alte msurri, numit criteriu.

necesitatea Este

important ca un test s fie valid relativ la un criteriu atunci cnd testul trebuie s nlocuiasc variabila criteriu, fie din cauz c valorile variabilei criteriu nu sunt cunoscute n momentul testrii (de exemplu, n cadrul unei aciuni de selecie profesional), fie pentru c administrarea testului este mai puin costisitoare dect msurarea variabilei criteriu

procedur Aprecierea

validitii relative la criteriu se bazeaz, de obicei, pe valorile unui coeficient de validitate a testului, obinut n urma calculului coeficientului de corelaie (liniar sau de alt fel) ntre scorurilor testului si rezultatele criteriului.

validarea predictivEste interesat de gradul de eficient al testului n prognoza comportamentului unei persoane ntr-o situaie dat. Ea se realizeaz prin compararea scorurilor testului cu rezultatele obinute la criteriu dup un interval de timp mai lung sau mai scurt.

valididarea concurent

Pentru estimarea validitii concurente este necesar obinerea scorurilor la criteriu aproximativ n acelai timp cu cele ale testului. Deosebirea esenial dintre cele dou tipuri de validri relative la criteriu nu const n lungimea intervalului de timp dintre administrarea testului i nregistrarea rezultatelor criteriului, ci n faptul c validarea concurent utilizeaz un eantion de populaie selecionat (personal angajat deja sau studeni admii n faculti). Apare aici problema denumit restrngerea mulimii i care face ca validarea concurent s nu poat furniza totdeauna informaii corecte asupra capacitii predictive a testului.

Coeficientul de validitateR

este coeficientul de validitate; ridicat la ptrat indic variania scorurilor la test explicat de test De exemplu: dac r este .80, atunci coeficientul de validitate la ptrat va fii .64 ceea ce nseamn c 64% din varian poate fi explicat de test

Eroarea standard a estimrii, SEEFormula de calcul utilizat pentru eroarea standard a estimrii este: SEE = Sdy - rxy2 n formul: Sd este deviaia standard la scorurile obinute la criteriu rxy2 este ptratul valorii coeficientului de validitate dac rxy = maxim 1, atunci SEE = 0, deci o certitudine de 100% privind comportamentul subiectului n viitor

SEE, exemplu dac

rxy = 08.0, atunci SEE = Sdy, deci criteriul folosit de cei care au utilizat testul. dac rxy = 0.80, SEE = 0.36, anticiparea poziiei ocupate de subiect este mai mare cu 36% dect dac s-ar face din pur ntmplare.

interpretarea validitiiSe apreciaz c un test are validitate de criteriu bun atunci cnd coeficientul de validitate este mare. Valoarea coeficientului de validitate evideniaz gradul n care randamentul la test coreleaz cu rezultatele la criteriu: Valoarea coeficientului este influenat de o serie de factori avnd n vedere c, de regul, mai ales cnd apelm la modalitatea predictiv, exist o durat de timp ntre cele dou serii de msurtori. n orice caz, dou aspecte sunt implicate:

- natura i specificul grupului (vrst, sex, pregtire profesional..) - caracter omogen sau eterogen al eantionului (val. coeficientului de corelaie e mai mare)

Majoritatea consider c valoarea corelaiei trebuie s fie suficient de mare pentru a fi semnificativ la un prag de 0.01 - 0.05

Interpret.... n

experiena obinut, valoarea coeficientului de validitate predictiv al unui test este cuprins ntre 0 i 0.60, n majoritatea cazurilor fiind situat n partea inferioar a intervalului (Guilford, 1965)

Interpret...

Se pot obine valori mari ale coeficienilor de validitate atunci cnd testul predictor reproduce o situaie din criteriu (de exemplu, dac se d un test de aptitudini matematice unor studeni de la Politehnic). Din contr, atunci cnd testul se refer la atribute dificil de evaluat prin orice fel de date non-test (de exemplu, adaptarea social i emoional. creativitatea etc.) coeficienii de validitate iau valori mai mici dect 0.30 (L. J. Cronbach, C. Gleser. dup Silva, 1993)

Interpetare: matricea progresiv Messick

n ultima decad a secolului trecut, validitatea este privit ca un raionament evaluator integrativ, legat de gradul n care dovezile empirice i raiunile teoretice sprijin aspecte precum adecvarea interpretrilor i adecvarea aciunilor bazate pe scorurile la teste. Validitatea nu nseamn un simplu scor de corelaie ntre valorile la test, sau la test vs. criteriu, sau evalurile experilor privind msura n care coninutul testului este relevant sau nu pentru utilitatea testului. Validitatea este i o eviden a consecinelor reale i poteniale ale utilizrii aciunilor de interpretare a scorurilor testului i de utilizare a informaiilor astfel obinute

cadru unificator...Pentru Messick, un cadru unificator distinge ntre dou dimensiuni interconectate ale validitii ca i concept unitar: sursa de justificare a testrii prin evaluarea fie a dovezilor care sprijin nelesurile scorurilor, fie a consecinelor ce contribuie la valoarea scorului; cealalt dimensiune este funcia sau rezultatul testrii, fie utilizarea ca interpretare, fie ca aplicare direct.

Matrice a procesului de validareFaete Interpretarea testului Validitatea de construct Utilizarea testului

Evaluarea dovezilor

Validitatea de construct i Relevana (utilitatea)

Evaluarea consecinelor

Validitatea de Validitatea de construct, Relevana, construct i Implicaiile valorice Implicaiile valorice i Consecinele sociale

Explicaie

Autorul consider c cele patru cerine corespund celor 4 aspecte fundamentale ale validitii. Astfel putem evalua n ce msur, pe baza dovezilor i a raiunilor teoretice, scorurile la test ar trebui interpretate i utilizate n modul propus: Ce echilibru de dovezi susine interpretarea sau nelesul scorurilor? Ce dovad sprijin nu numai nelesul scorului ci i relevana scorului pentru scopul aplicativ particular?

...explicaie

Ce face ca implicaiile valorice ale interpretrii scorurilor s fie credibile i, asemenea, toate implicaiile asociat privind modalitile de aciune? Ce semnific valoarea funcional a testrii din perspectiva consecinelor ei intenionate sau ne-intenionate?

...explicaie

Deseori, denumirea constructului revel atitudinea latent a cercettorului fa de importana acestuia, atitudine care este mai degrab dependent de ideologie dect de dovezile experimentale. Implicaiile valorice ale interpretrilor scorurilor apar astfel nu numai ca o parte a nelesului scorurilor, ci i o parte cu relevan social care poate facilita sau mpiedica aciunile bazate pe scoruri i poate servi la nelegerea relaiei dintre msurarea constructului i problemele practicii aplicative i a politicilor sociale. Fundamentul pentru consecinele utilizrii testului l reprezint evaluarea att a consecinelor sociale potenial, ct i a celor reale, consecinele circumstanelor n care se aplic testul. O modalitate de evaluare a efectelor secundare posibile este compararea beneficiilor i riscurilor utilizrii testului propus cu aspectele pro i contra alternative.

consecin

Aceast perspectiv multipl evideniat prin matricea progresiv elaborat de autorul american permite o examinare deschis, clar a valorii fiecrei componente propuneri posibile privind testarea psihologic cu anumite teste. Ceea ce conteaz nu este pur i simplu faptul c unele consecine sociale ar putea invalida testul ci faptul c unele consecine sociale adversive nu ar trebui atribuite nici uneia dintre sursele de invalidare a unui anume teste avut n vedere (de exemplu, posibilitatea irelevanei constructului).

Relaia dintre fidelitate i validitate Pentru

a fi valid un test trebuie s fie fidel; nu i invers.Totui, un test fidel nu trebuie s fie i valid. Maximul de validitate:Rmax = R11R22

(R11 i R22 sunt coeficienii de fidelitate ale celor dou variabile)

Bibliografie

M.Minulescu, Teorie i practica n psihodiagnoy. Testarea intelectului, Ed. Fundaiei Romnia de Mine, 2003 P. Lisievici, Evaluarea n nvmnt. Teorie practic, instrumente, Editura Aramis, 2002 M.Albu, Construirea i utilizarea testelor psihologice, Clusium, Cluj Napoca, 1998 A.Anastasi, Psychological Testing, MacMillan, N.Y., 1988


Recommended