Validitetsdokumentation, når AI sidder på begge sider af testen

Når en leverandør lægger en validitetsrapport på bordet, er det fristende at læse den som et facit. Men validitet afhænger af, hvem der tager testen, under hvilke forhold, og hvad scoren bruges til. Netop de forudsætninger er i bevægelse. Programmet for SIOP's Leading Edge Consortium 2026, som blev afholdt i Baltimore den 1. og 2. oktober under overskriften Assessment in a New Era, viser, hvad fagfolkene selv ser som åbne spørgsmål. For indkøbere er det samtidig en liste over, hvad man bør spørge ind til.

SIOP, den amerikanske forening for arbejds- og organisationspsykologer, beskriver temaet som et møde mellem ny teknologi, analytics og ændrede forventninger fra arbejdsstyrken, med sigte på beslutninger, der kan forsvares. Det interessante er mønstret i titlerne. En hel blok fredag formiddag var afsat til innovation i scoring og validering. Her talte Tianjun Sun fra Rice University om, hvorfor psykometrik betyder mere end nogensinde, når man vil bygge AI-baserede test, man kan stole på. Mike Fetzer fra Aon spurgte, om AI er bedre end mennesker, og svarede i titlen, at det kommer an på. Bradley Pitcher fra APTMetrics præsenterede arbejde med at bruge store sprogmodeller til design og scoring af assessment centre.

I blokken om design af test spurgte Beth Bynum fra HumRRO direkte, om de grundlæggende principper for assessment stadig er grundlæggende i AI-tidsalderen. Ben Hawkes fra TAPnet havde et oplæg om at komme videre end etiketten bias-fri og sikre ansvarlighed hos leverandører af AI-baserede test.

Vi kender kun titlerne, ikke indholdet. Men de fortæller, at feltet ikke betragter validitet som et afgjort spørgsmål.

Sara Gutierrez fra SHL havde et oplæg om, hvad en testscore betyder, når individet ikke længere er alene, altså når kandidaten løser opgaver med AI som hjælper. Tariq Shaban fra Miraai spurgte, om man stadig kan stole på ikke-overvågede test, og pegede på adfærdstelemetri, afskrækkelse og proctoring som mulige svar. Jeff Facteau fra HackerRank beskrev AI som både en trussel mod og en beskyttelse af testens integritet.

For en indkøber betyder det noget konkret. En validitetsundersøgelse fortæller, hvor godt testen forudsagde jobpræstation i en bestemt stikprøve under bestemte forhold. Hvis stikprøven blev indsamlet, før kandidater havde adgang til generative sprogmodeller, siger den ikke nødvendigvis noget om, hvordan testen virker i dag. Spørg derfor, hvornår data er indsamlet, om testen blev taget overvåget eller uovervåget, og om leverandøren har undersøgt, hvad AI-hjælp gør ved scorerne.

Flere oplæg handlede om, at test nu designes, scores og rapporteres med AI. MQ Liu fra Amazon præsenterede en arbejdsgang, hvor generativ AI bruges hele vejen fra konstrukt til færdigt testindhold. Carolyn Hass fra SuccessFinder talte om validering, sikkerhedsmekanismer og menneskelig kontrol, når rapporter til beslutningstagere skrives af AI.

Det rejser et simpelt spørgsmål. Dækker dokumentationen den version af testen, du får leveret, med den scoringsmodel og den rapportform, der er i produktet i dag? En test, hvor indholdet eller scoringen er ændret, er i psykometrisk forstand en ny test, indtil nogen har vist, at den gamle evidens stadig holder. Bed om en versionshistorik og om dokumentation for, hvad der er gjort for at sikre, at ændringer ikke har forskubbet målingen.

Konsortiet havde en særskilt blok om lovgivning, etik og retfærdighed, hvor Kalpana Kotagal, kommissær i det amerikanske ligebehandlingsorgan EEOC, talte om den aktuelle regulerings- og håndhævelsessituation, efterfulgt af et panel med jurister og forskere.

Den amerikanske kontekst er ikke den danske. Men spørgsmålet er det samme her. Når en leverandør skriver, at testen er bias-fri, er det en påstand, der skal underbygges. Spørg, hvilke grupper der er undersøgt, med hvilken metode, og hvad resultaterne var. En rapport, der kun indeholder en konklusion uden tal, er ikke dokumentation.

Programmet i Baltimore var skrevet af og for fagfolk, der udvikler test. Når de selv spørger, om de klassiske principper holder, bør indkøbere ikke læse en validitetsrapport mindre kritisk end dem. Læs rapporten med tre spørgsmål i baghovedet. Hvornår og hvordan er data indsamlet. Er det den samme test, som jeg køber. Og hvad er der konkret gjort for at undersøge forskelle mellem grupper. Kan leverandøren ikke svare, er det i sig selv et svar.

Kilde: https://www.siop.org/events/the-leading-edge-consortium/assessment-in-a-new-era/program/schedule/