Sådan læser du validitetsdokumentation

En testscore betyder ingenting i sig selv. Den får først mening, når den holdes op mod en normgruppe, altså den samling mennesker testen er afprøvet på. Derfor er det første spørgsmål til enhver leverandør, hvem normgruppen består af, hvor stor den er, og hvornår data er indsamlet.

Tre forhold er værd at se efter. Størrelsen først: en normgruppe på nogle få hundrede personer giver bredere usikkerhedsmarginer end en på flere tusinde. Dernæst sammensætningen. Hvis normgruppen overvejende består af studerende, men testen bruges til erfarne specialister, sammenlignes kandidaten med den forkerte referenceramme. Endelig alderen. Arbejdsmarkedet ændrer sig, og en normgruppe indsamlet for femten år siden beskriver ikke nødvendigvis ansøgerfeltet i dag.

Lokal normering fortjener særlig opmærksomhed på det danske marked. Mange internationale test normeres på engelsksprogede populationer og oversættes efterfølgende. Det er ikke i sig selv et problem, men det bør fremgå af manualen, om der findes en dansk eller nordisk normgruppe, og hvor stor den er. Står der intet, er svaret som regel nej.

Reliabilitet handler om, hvor stabilt en test måler. Hvis den samme person tager testen to gange med et par ugers mellemrum, hvor meget flytter resultatet sig så? Og måler de spørgsmål, der hører til samme skala, faktisk det samme?

Manualen angiver typisk to tal. Intern konsistens, ofte som Cronbachs alfa, viser i hvor høj grad spørgsmålene inden for en skala hænger sammen. Test-retest-reliabilitet viser stabiliteten over tid. Begge rapporteres på en skala fra 0 til 1, og højere er bedre, men et højt tal er ikke automatisk et kvalitetsstempel. En skala kan opnå meget høj intern konsistens ved at stille stort set det samme spørgsmål ti gange, hvilket gør skalaen snæver frem for stærk.

Det praktiske råd er at se på reliabiliteten skala for skala, ikke på et gennemsnit for hele testen. En test kan have solide tal på hovedskalaerne og svage tal på de underskalaer, som rapporten alligevel bruger til at formulere konklusioner om kandidaten.

Validitet er det spørgsmål, der faktisk betyder noget: måler testen det, den påstår at måle, og siger resultatet noget om arbejdsindsatsen bagefter?

Prædiktiv validitet er den stærkeste form for dokumentation. Den kræver, at leverandøren har fulgt en gruppe kandidater fra testtidspunktet og sammenholdt scorerne med et senere mål for jobpræstation. Den type studier er dyre og tidskrævende, og derfor findes de ikke for alle test. Begrebsvaliditet er lettere at dokumentere og viser, at testen hænger sammen med andre etablerede mål for det samme konstrukt.

Når du læser dokumentationen, er tre spørgsmål tilstrækkelige til at skille det veldokumenterede fra det udokumenterede. Findes der validitetsstudier på selve testen, eller henvises der blot til forskning på konstruktet i almindelighed? Er studierne udført på uafhængige stikprøver eller udelukkende af leverandøren selv? Og passer jobtyperne i studierne til de stillinger, du selv rekrutterer til?

Mangler svarene, er det ikke nødvendigvis en dårlig test. Men det er en test, hvor du selv bærer risikoen for, at den virker.

Kilde: Baseret på offentligt tilgængelige testmanualer og branchestandarder for psykometrisk dokumentation.