Spring til indhold
Assessment Guide
Tilbage til Artikler
Guide4 min. laesning

Validitetsdokumentation, når leverandøren siger, at AI certificerer kompetencer

Josh Bersin beskriver en ny platform, hvor AI-agenter observerer arbejde og certificerer kompetencer. Guiden gennemgår, hvad ordet certificeret ikke siger, og hvilke fire ting indkøbere bør bede om i validitetsdokumentationen, før de stoler på et certifikat.

Af RedaktionenKilde: Josh Bersin, joshbersin.com, 6. november 2026, om CodeSignals lancering af Agentic Skills Intelligence

Nyheden kort

Den 6. november 2026 beskrev analytikeren Josh Bersin på joshbersin.com en ny lancering fra CodeSignal, som bærer navnet Agentic Skills Intelligence. Ifølge Bersin er der tale om en udviklingsagent, der observerer og analyserer det arbejde, en person udfører, vurderer vedkommendes kompetencer og giver coaching undervejs. Platformen bygger ifølge artiklen på et benchmarkdatasæt med mere end 20 millioner poster, og den modellerer ikke kun kompetencerne selv, men også de adfærdsmønstre og arbejdsaktiviteter, der bidrager til dem. Såkaldte evaluatoragenter følger arbejdet og opbygger en løbende kapabilitetsprofil.

Bersin skriver, at CodeSignal efter hans vurdering er den eneste platform, der bruger AI til at certificere kompetencer frem for blot at vurdere eller opbygge dem. Det er hans holdning, og han oplyser samtidig, at hans eget firma bruger CodeSignal i sin certificering af HR-professionelle. Han nævner også andre aktører i markedet, blandt andet HackerRank, SHL, Eightfold og Pluralsight, samt HR-suiter som Cornerstone og Docebo med indbyggede vurderingsfunktioner.

Artiklen er relevant for alle, der køber test og assessment, fordi den viser, hvor markedet bevæger sig hen. Vurderingen flytter fra en afgrænset test før ansættelsen til en løbende observation af selve arbejdet. Og sproget flytter med, fra målt og vurderet til valideret og certificeret.

Hvad ordet certificeret ikke fortæller

Et certifikat lyder som et facit. Men i psykometrisk forstand er en certificering kun så god som den dokumentation, der ligger bag. Spørgsmålet, en indkøber skal stille, er ikke, om platformen certificerer, men hvad certifikatet er dokumenteret at kunne forudsige.

Her er det værd at skelne mellem tre ting, som ofte blandes sammen. Det første er, at en vurdering er konsistent, altså at den samme person får nogenlunde samme resultat ved gentagne målinger. Det andet er, at vurderingen faktisk måler den kompetence, den hævder at måle, og ikke noget andet, for eksempel hvor hurtigt man skriver, eller hvor fortrolig man er med et bestemt værktøj. Det tredje er, at resultatet hænger sammen med noget, der betyder noget for virksomheden, typisk præstation i jobbet. Et stort datasæt siger i sig selv intet om nogen af de tre. Mere end 20 millioner poster er et udsagn om omfang, ikke om validitet.

Fire ting at bede om

Når en leverandør beskriver AI-agenter, der observerer arbejde og udleder kompetencer, bør dokumentationen som minimum kunne svare på fire spørgsmål.

Hvordan defineres hver kompetence, og hvilke observerbare adfærdsmønstre tæller som evidens for den? Hvis agenten modellerer arbejdsaktiviteter, skal det fremgå, hvilke aktiviteter der indgår, og hvorfor netop de aktiviteter er valgt.

Hvor stabil er vurderingen? Hvis den samme person observeres i to perioder med samme type arbejdsopgaver, hvor ens er profilerne så? En løbende profil, der svinger meget fra uge til uge, er svær at bruge til beslutninger.

Hvad er sammenhængen med jobpræstation, og i hvilke stillinger og brancher er den undersøgt? En sammenhæng fundet blandt softwareudviklere kan ikke uden videre overføres til kundeservice eller salg. Dokumentationen bør oplyse, hvilke grupper undersøgelserne bygger på.

Hvordan fordeler resultaterne sig på tværs af grupper? Når vurderingen bygger på observeret arbejde, afhænger den af, hvilket arbejde personen har fået adgang til. Medarbejdere med færre eller mindre synlige opgaver kan ende med en tyndere profil, uden at det siger noget om deres kompetencer.

Når vurderingen er løbende

Klassisk validitetsdokumentation beskriver en test, der tages på et bestemt tidspunkt under kendte betingelser. En agent, der løbende observerer arbejde, bryder med den model og rejser spørgsmål, som ældre manualer ikke besvarer. Hvilke data indsamles, og ved medarbejderen det? Hvornår opdateres profilen, og kan en enkelt dårlig uge trække den ned? Og hvem har adgang til profilen, når den bruges til intern mobilitet eller forfremmelse?

De spørgsmål handler lige så meget om databeskyttelse og medarbejderinddragelse som om psykometri. I EU vil et system, der vurderer medarbejdere med henblik på forfremmelse eller fordeling af opgaver, også skulle holdes op imod AI-forordningens regler for højrisikosystemer, når de træder i kraft.

Hvad det betyder for indkøbere

Bersins artikel er en anbefaling fra en analytiker med en erklæret relation til leverandøren. Det gør den ikke uinteressant, men det gør den til et udgangspunkt for spørgsmål, ikke til dokumentation. Udviklingen mod løbende, AI-drevet kompetencevurdering kommer sandsynligvis til at præge hele markedet, og det gælder både de aktører, Bersin nævner, og de mange, han ikke nævner.

Den praktiske anbefaling er enkel. Bed om den tekniske manual eller valideringsrapporten, før ordet certificeret får lov at gøre sit arbejde. Læs efter, hvilke kompetencer der er defineret, hvilke grupper sammenhængene er undersøgt i, og hvordan resultaterne fordeler sig. Kan leverandøren ikke levere den dokumentation, er certifikatet et markedsføringsudsagn og ikke et måleresultat.

Kilde: https://joshbersin.com/2026/11/codesignal-agentic-skills-intelligence-builds-validated-skills-for-real/