Human in the loop AI: Sådan designer du godkendelsestrin
Human in the loop AI betyder, at et menneske indgår i den automatiserede arbejdsgang og kan vurdere, godkende eller stoppe handlinger. Den praktiske opgave er at placere kontrollen dér, hvor fejl får betydning, og give den ansvarlige et klart beslutningsgrundlag.
Placér kontrollen før handlingen får konsekvenser
Tegn arbejdsgangen fra modtagelse til afslutning. Markér, hvor systemet blot forbereder oplysninger, og hvor det sender noget, ændrer registreringer eller forpligter virksomheden. Et udkast til en leverandørbesked kan normalt vurderes senere. En afsendt accept kan allerede have konsekvenser. Placér derfor godkendelsen umiddelbart før den handling, der kræver menneskets beslutning.
AI-forordningen bygger på risiko og anvendelse. Brug til eksempelvis rekruttering kan være højrisiko; almindelig administrativ automatisering er ikke automatisk højrisiko. Afklar klassifikation og den relevante anvendelsesdato, før I vurderer jeres konkrete pligter. (kilde 1)
Artikel 14 fastlægger krav om menneskeligt tilsyn med højrisikosystemer, tilpasset risiko, selvstændighed og brugssituation. Den omfatter blandt andet mulighed for at forstå begrænsninger, tilsidesætte resultater og standse systemet sikkert. Den kræver ikke generelt et menneskeligt klik ved enhver AI-handling. (kilde 2)
De følgende forslag er praktiske designvalg til driften. De er ikke en udtømmende opskrift på at opfylde lovgivningen. Start med spørgsmålet: Hvilken konkret fejl skal mennesket kunne opdage, og kan den stadig forhindres på dette tidspunkt?
Definér, hvornår agenten må handle selv
Lav en skriftlig tilladelse for hver handlingstype. Beskriv tilladte modtagere, datakilder, ændringer og grænser. En intern mærkning af en henvendelse kan være egnet til selvstændig udførelse. En ændring af betalingsoplysninger bør som udgangspunkt kræve særskilt kontrol. Vurdér konsekvensen og muligheden for at rette fejlen, ikke kun hvor let opgaven virker.
NIST AI RMF anbefaler tydelige roller, dokumenteret risikotolerance og beskrevne processer for menneskeligt tilsyn. Rammen er frivillig og kan bruges til at strukturere jeres beslutninger. (kilde 3)
Sæt både grænser for enkelthandlinger og samlet aktivitet. Mange små handlinger kan tilsammen overskride virksomhedens mandat. Beløbsgrænser skal fastlægges af den ansvarlige ud fra jeres eksisterende beføjelser og risikovurdering. Manglende oplysninger eller modstridende dokumenter skal sende sagen til kontrol frem for at udløse et gæt.
Håndhæv tilladelserne i systemet, der udfører handlingen. En besked til agenten om at spørge først er utilstrækkelig som eneste kontrol. Agenten skal ikke kunne udvide sine rettigheder på baggrund af indhold i et modtaget dokument.
- Automatisk handling kræver, at alle fastlagte betingelser er opfyldt, og at resultatet kan kontrolleres.
- Menneskelig godkendelse kræves ved afvigelser, væsentlige konsekvenser eller handlinger uden for det aftalte mandat.
- Stop sagen, hvis nødvendige oplysninger mangler, eller handlingen ikke kan udføres sikkert.
Gør godkendelsen hurtig og fagligt reel
Saml beslutningsgrundlaget på én skærm: den foreslåede handling, berørte oplysninger, originalbilaget og årsagen til, at sagen kræver kontrol. Vis ændringen fra før til efter. Godkenderen skal kunne kontrollere forslaget uden først at lede i flere systemer.
Ved en foreslået ændring af en leveringsadresse kan skærmen eksempelvis vise den registrerede adresse, den ønskede adresse og den oprindelige anmodning. Medarbejderen skal kunne godkende, rette eller afvise samt sende sagen videre ved tvivl. Det er et designforslag, ikke et dokumenteret kunderesultat.
Bind godkendelsen til den præcise handling og de viste oplysninger. Ændres modtager, indhold eller datagrundlag bagefter, skal systemet kræve en ny vurdering. Kontrollér også, at handlingen ikke allerede er udført, så gentagne klik eller tekniske genforsøg ikke skaber dubletter.
Artikel 14 fremhæver risikoen for overdreven tillid til AI-resultater. Vis derfor dokumentationen, ikke kun agentens overbevisende forklaring. Målet om få sekunders behandling passer til enkle kontroller; komplekse vurderinger skal have den nødvendige tid. (kilde 2)
Giv køen en ejer og en vej videre
Et godkendelsestrin bliver en flaskehals, hvis ingen ejer køen. Udpeg en ansvarlig funktion, en stedfortræder og en svarfrist for hver sagstype. Aftal, hvem der overtager ved fravær, og hvad der sker, når fristen overskrides.
En overskredet frist bør som udgangspunkt føre til påmindelse, overdragelse eller sikker pause. Tavshed skal ikke regnes som godkendelse af en handling, der kræver aktiv kontrol. Gør samtidig ventestatus synlig, så medarbejdere ikke starter en parallel behandling af samme sag.
Prioritér efter konsekvens og frist. Saml ensartede rutinesager i planlagte gennemgange, mens hastende afvigelser får en særskilt besked. Undgå at sende alle hændelser til alle medarbejdere. Hvis køen vokser, skal den ansvarlige kunne begrænse tilgangen eller overtage behandlingen manuelt.
- Skriv, hvem der ejer sagen, hvem der kan overtage, og hvornår der skal reageres.
- Lad godkenderen sende sagen videre med en kort begrundelse og det eksisterende beslutningsgrundlag.
- Fastlæg, hvem der må genstarte en standset arbejdsgang, og hvilke kontroller der skal være afsluttet.
Brug stikprøver og log til at opdage fejl
Stikprøver egner sig til afgrænsede handlinger, hvor fejl kan opdages og håndteres efterfølgende. De erstatter ikke nødvendig kontrol før en alvorlig eller uoprettelig handling. Kontrollér både tilfældigt udvalgte sager og særlige risikogrupper, eksempelvis nye dokumenttyper. Kun at undersøge markerede afvigelser kan skjule fejl, som systemet ikke selv opdager.
NISTs vejledning anbefaler at måle tilsynets virkning, registrere menneskelige tilsidesættelser og følge fejl, svartider og eskaleringer. Brug det til at vurdere kontrollens kvalitet, ikke alene antallet af godkendelser. (kilde 4)
Loggen bør kunne forbinde datagrundlag, forslag, anvendte regler, menneskets beslutning og den faktisk udførte handling. Registrér også relevante versioner og tidspunkter. Begræns personoplysninger og adgang til loggen, og fastlæg opbevaringen efter formål og gældende krav.
- Mål ventetid og selve behandlingstiden hver for sig, så I kan finde årsagen til forsinkelser.
- Undersøg både rettelser før udførelse og fejl, der først opdages bagefter.
- Aftal, hvilke fejl der udløser flere stikprøver, obligatorisk godkendelse eller stop.
Afprøv kontrollen, før I giver mere frihed
Start med en afgrænset arbejdsgang, hvor agenten foreslår handlinger uden at udføre dem. Afprøv almindelige sager, mangelfulde bilag, ændrede oplysninger og fravær hos godkenderen. Test også, om en medarbejder faktisk kan afvise forslaget og standse videre behandling.
Giv først adgang til selvstændige handlinger, når den ansvarlige har gennemgået fejlene og godkendt rammerne. Revurdér tilladelsen, når model, datakilder eller arbejdsgang ændres. En tidligere velfungerende kontrol er ikke i sig selv dokumentation for den ændrede løsning.
Automatisering er et dårligt valg, hvis opgaven sjældent gentages, reglerne er uklare, eller kontrolarbejdet overstiger lettelsen. Mangler I en fagperson, som kan vurdere resultatet, løser en godkendelsesknap heller ikke problemet. Vælg da en enklere regelbaseret løsning, bedre datakvalitet eller manuel behandling.
Kilder
- Europa-Kommissionen: AI Act – risikokategorier og gennemførelse (digital-strategy.ec.europa.eu)
- Europa-Kommissionens AI Act Service Desk: Artikel 14 om menneskeligt tilsyn (ai-act-service-desk.ec.europa.eu)
- NIST AI Risk Management Framework: AI RMF Core (airc.nist.gov)
- NIST AI RMF Playbook: Measure (airc.nist.gov)
Denne artikel er udarbejdet med AI-assistance ud fra de angivne kilder og har gennemgået automatiske kvalitetstjek før udgivelse. Ansvarlig udgiver: NOWA.