Det korte svar
En AI-hallucination er et svar, der fremstiller en forkert eller udokumenteret oplysning som et faktum. Et flydende sprog og en sikker tone er ikke dokumentation. Kontrollér udsagn mod relevante kilder og gør manglende grundlag synligt.
Skeln mellem tre forskellige fejl
Et forkert svar kan skyldes, at kilden er forkert, at søgningen finder den forkerte passage, eller at modellen tilføjer noget, kilden ikke siger. De tre fejl kræver forskellige rettelser. En ny prompt hjælper ikke nødvendigvis på en forældet prisfil.
Gem derfor spørgsmålet, de anvendte kilder og det færdige svar ved en fejlundersøgelse. Begræns logningen til det nødvendige og følg virksomhedens adgangsregler. Formålet er at kunne finde årsagen, ikke at kopiere alle dokumenter til endnu et arkiv.
Eksempel: en ukendt leveringstid bliver til et løfte
Ordresystemet viser klargjort, men der er ingen bekræftet transportdato. Et AI-svar siger alligevel, at varen kommer fredag. Problemet er ikke formuleringen; det er, at svaret tilføjer en dato uden grundlag.
En bedre arbejdsgang kræver en bekræftet kilde til datoen eller et svar, som forklarer, at tidspunktet afventer afklaring. Hvis kunden spørger igen med en mere insisterende formulering, skal den samme grænse stadig gælde.
| Observation | Undersøg først |
|---|---|
| Forkert tal findes i kilden | Datakvalitet og dokumentversion. |
| Rigtig oplysning findes, men blev ikke hentet | Søgning og adgang. |
| Svaret tilføjer et nyt tal | Instruktion, svarkontrol og stopadfærd. |
| Kilden støtter kun dele af svaret | Kontrollér hvert væsentligt udsagn. |
Gør det muligt at svare ved ikke
Definér, hvad løsningen skal gøre, når et nødvendigt felt mangler. Den kan stille et afklarende spørgsmål, vise den kendte del eller sende sagen til en medarbejder. Kravet bør være konkret nok til at blive testet.
Brug spørgsmål, hvor der ikke findes et svar i jeres materiale. Test også spørgsmål med falske forudsætninger, eksempelvis en ordre, der aldrig har eksisteret. Et godt resultat kan være et velbegrundet afslag frem for en lang forklaring.
Læg kontrollen tæt på den faktiske handling
Et svarforslag kan kontrolleres af en medarbejder. En handling i ERP kræver desuden validering af felter og mandat. Lad ikke en overbevisende tekst være det eneste grundlag for at ændre en ordre eller sende en betaling.
Følg fejltyperne særskilt fra generel tilfredshed. Brugeren kan være tilfreds med et hurtigt svar, som senere viser sig at være forkert. Derfor bør stikprøver kontrollere faktuelt grundlag, ikke kun læsevenlighed.
Brug det i praksis
Jeres næste skridt
- Gem spørgsmålet og de anvendte kilder ved fejl.
- Skeln kildefejl, søgefejl og tilføjelser i svaret.
- Test spørgsmål uden svar i materialet.
- Kræv validering før systemhandlinger.
- Mål faktafejl særskilt fra sprog og tilfredshed.
Ofte stillede spørgsmål
Fjerner RAG hallucinationer?+
Nej. RAG kan forbedre grundlaget, men søgningen og fortolkningen kan stadig fejle.
Er en kildehenvisning bevis for et korrekt svar?+
Kun hvis den faktisk understøtter udsagnet og er relevant og gældende.
Kan vi bede modellen om aldrig at tage fejl?+
Det er ikke en testbar sikkerhedsgaranti. Brug kilder, validering og en tydelig proces for usikkerhed.
Kilder og faglig baggrund
De praktiske eksempler og tjeklister er udarbejdet til denne guide. Følgende kilder uddyber de angivne faglige begreber.
Teknisk baggrund for at adskille informationssøgning fra vurdering af det genererede svar.
Begreber i guiden
Fra guiden til jeres arbejdsgang
Brug et afgrænset pilotforløb til at teste metoden på jeres data og undtagelser.
Udgivet af Norstream med AI-assisteret udarbejdelse. Eksempler er illustrative, medmindre andet er angivet. Tilpas metoder og kontroller til jeres systemer og faglige ansvar.
Har du en rettelse eller et spørgsmål?