AI-agent, chatbot eller script: Sådan vælger I den rette løsning

Hvad er en AI-agent, og hvordan adskiller den sig?

Den nyttige forskel ligger i, hvem der bestemmer forløbet. Anthropic skelner mellem faste arbejdsgange, hvor kode styrer rækkefølgen, og agenter, hvor sprogmodellen løbende vælger fremgangsmåde og værktøjer ud fra opgaven og resultaterne undervejs. (kilde 1)

Betegnelserne er dog ikke entydige. Microsoft bruger også agentbegrebet om løsninger med regelstyrede samtaler og opslag i virksomhedens viden. Brug derfor forklaringerne her som en praktisk indkøbsmodel, og få leverandøren til at beskrive den konkrete funktion. (kilde 2)

• Et script er et program, der udfører på forhånd beskrevne regler. Det kan hente filer, beregne værdier og ændre data. Det kan også håndtere undtagelser, hvis nogen har programmeret
• En chatbot er en samtalegrænseflade, der typisk besvarer spørgsmål eller laver tekstudkast. Den kan bygge på faste svar eller en sprogmodel og hente oplysninger fra jeres dokumente
• En AI-agent arbejder mod et mål og kan vælge næste skridt ud fra det, den finder. Den kan eksempelvis undersøge en sag og opdatere et system inden for tildelte rettigheder. En till
• En chatbot kan være indgangen til en agent, og et script kan udføre agentens valgte handling. Det afgørende er derfor både handlefrihed og adgang til systemerne.

Vælg ud fra opgaven og behovet for frihed

Anthropics anbefaling er at begynde med den enkleste løsning og kun tilføje kompleksitet, når opgaven kræver det. Faste arbejdsgange passer til veldefinerede opgaver; agenter er relevante, når forløbet kræver fleksible valg. Den ekstra frihed kan samtidig give længere svartid, større omkostninger og fejl, der bygger videre på hinanden. (kilde 1)

Beskriv derfor først opgavens start, det ønskede resultat og undtagelserne. Bed derefter leverandøren begrunde, hvilke valg der kræver AI. At flytte data mellem systemer kræver ikke i sig selv en agent.

• Bed om et script eller en fast automatisering, når oplysningerne er strukturerede, og reglerne kan skrives entydigt. Undersøg først, om jeres eksisterende system allerede kan løse
• Bed om en chatbot, når behovet primært er spørgsmål, forklaringer eller tekstudkast. Kræv aftalte videnskilder, synlig kildehenvisning og en vej videre, når svaret mangler.
• Overvej en agent, når opgaven kræver forskellige opslag og handlinger afhængigt af resultaterne. Kræv samtidig tydelige succeskriterier og stopregler.
• Bed om en kombination, når kun en del kræver sproglig forståelse. AI kan eksempelvis fortolke en henvendelse, mens faste regler afgør, hvad der derefter må ske.

Samme henvendelse kan kræve forskellige løsninger

Forestil jer en henvendelse om en forsinket levering. Det er et tænkt eksempel, som kan bruges til at sammenligne tilbud.

En chatbot kan forklare leveringsvilkårene og eventuelt slå den aktuelle ordrestatus op. En fast automatisering kan sende en besked, når en registreret leveringsdato overskrides. En agent kan undersøge ordrestatus, kontrollere relevante oplysninger og vælge mellem tilladte næste skridt, eksempelvis at oprette en intern opfølgningsopgave.

Hvis opgaven blot er at give besked ved en overskredet dato, kan den faste automatisering være tilstrækkelig. Hvis oplysninger mangler eller modsiger hinanden, skal tilbuddet beskrive, hvordan løsningen stopper og afleverer sagen til en medarbejder. Bed leverandørerne demonstrere samme situation, så I kan sammenligne adfærden.

Aftal tilladelser og ansvar før systemadgang

Skeln mellem at læse oplysninger, foreslå en ændring og gennemføre den. OpenAI beskriver automatiske kontroller og menneskelig godkendelse som forskellige mekanismer: Kontroller kan afvise uønsket adfærd, mens godkendelse sætter en følsom handling på pause før udførelsen. Kontrollen skal placeres ved den handling, der kan ændre noget. (kilde 3)

Bed om særskilte systemrettigheder og en konkret liste over tilladte handlinger. En skriftlig instruktion om at være forsigtig erstatter ikke adgangsbegrænsninger. Ved godkendelse bør medarbejderen kunne se den foreslåede ændring, modtageren og grundlaget for beslutningen.

AI-forordningen tager udgangspunkt i anvendelsens risiko. EU-Kommissionen fremhæver blandt andet gennemsigtighed ved chatbots og rekrutteringsværktøjer som et muligt højrisikoområde. Få derfor vurderet den konkrete anvendelse og jeres rolle frem for at nøjes med en generel erklæring om, at produktet overholder reglerne. (kilde 4)

• Aftal, hvilke handlinger der kræver godkendelse, og hvad der sker, hvis ingen godkender.
• Kræv en hændelseslog med anvendte oplysninger, handlinger, godkendelser og systemernes svar.
• Udpeg den person, der må stoppe løsningen, og beskriv, hvordan fejl rettes.
• Afklar, hvilke data leverandøren og eventuelle underleverandører modtager, opbevarer og kan anvende.

Spørgsmål, der gør tilbuddene sammenlignelige

Send samme opgavebeskrivelse og spørgsmål til alle leverandører. Bed om skriftlige svar og en demonstration med repræsentative, anonymiserede eksempler. En vellykket standardsag viser ikke, hvordan løsningen håndterer manglende oplysninger eller systemfejl.

Få etablering, løbende forbrug, vedligeholdelse og jeres eget tidsforbrug til kontrol beskrevet hver for sig. Afklar også, hvem der opdaterer forbindelserne, når et af jeres systemer ændrer sig.

• Hvilke trin følger faste regler, og hvilke beslutninger træffer en sprogmodel?
• Hvilke systemer skal løsningen læse og skrive i, og kan den begynde med læseadgang?
• Hvad sker der ved manglende data, modstridende oplysninger eller et system, der ikke svarer?
• Hvordan forhindres dobbeltregistreringer, hvis en handling gentages efter en fejl?
• Kan I demonstrere en afvist handling og en sag, der bliver overdraget til en medarbejder?
• Hvordan dokumenteres det, at en handling faktisk lykkedes i systemet?
• Hvilke aftalte prøver skal løsningen bestå, og hvem har ansvaret ved driftsfejl?
• Hvad kan vi få udleveret ved leverandørskifte, og hvordan tilbagekaldes adgangene?

Start afgrænset, og behold muligheden for at lade være

Vælg en tilbagevendende opgave med en tydelig ansvarlig. Saml normale henvendelser og besværlige undtagelser. Beskriv på forhånd, hvad et korrekt resultat er, hvornår løsningen skal afstå, og hvilke fejl der betyder, at afprøvningen skal stoppes.

Lad først løsningen foreslå svar eller ændringer, som medarbejdere kontrollerer. Sammenhold den samlede behandlingstid, kvaliteten og arbejdet med rettelser med den nuværende proces. Giv først adgang til selvstændige handlinger, når afprøvningen giver grundlag for det.

Vent med automatisering, hvis opgaven forekommer sjældent, reglerne er uafklarede, datagrundlaget er mangelfuldt, eller ingen kan tage ansvar for undtagelserne. En bedre formular, fælles vejledning eller oprydning i stamdata kan være det rigtige første skridt. Ved alvorlige konsekvenser og resultater, som er svære at kontrollere, kan menneskelig behandling fortsat være det bedste valg.