Det korte svar
En konfidensscore er et signal fra en bestemt model eller metode, ikke en universel garanti for korrekthed. Stopregler bør også tage højde for feltets betydning, datavalidering og konsekvensen af en forkert handling.
Find ud af hvad scoren faktisk beskriver
En score kan vedrøre et aflæst ord, en feltklassifikation eller et match. De er ikke nødvendigvis sammenlignelige. En model, der selv skriver jeg er 95 procent sikker, leverer heller ikke automatisk en kalibreret sandsynlighed.
Læs dokumentationen for den konkrete metode og test den på egne sagstyper. Microsofts dokumentation om dokumentudtræk beskriver konfidens som et skøn for bestemte udtræksresultater. Det er derfor nødvendigt at vurdere både scorens betydning og den efterfølgende kontrol.
Skeln mellem kritiske og mindre kritiske felter
Et forkert internt notat kan være lettere at rette end en forkert kundeidentitet. En samlet gennemsnitsscore kan skjule, at det vigtigste felt er usikkert. Sæt derfor kontroller på feltniveau, hvor det er relevant.
Et ordreflow kan kræve entydigt kunde- og varematch, selv om beskrivelsen kan rumme mindre variation. En score må ikke tilsidesætte en hård regel om, at en manglende enhed skal afklares.
| Signal | Mulig kontrol |
|---|---|
| Lav sikkerhed i tekstudtræk | Vis felt og dokumentpassage til gennemgang. |
| Flere matchkandidater | Kræv afklaring af identitet. |
| Høj score, men ugyldigt varenummer | Stop på fast datavalidering. |
| Kritisk handling uden mandat | Kræv godkendelse uanset score. |
Eksempel: højere grænse giver flere manuelle sager
Antag, at en valgt grænse sender 20 af 100 testsager til kontrol. En højere grænse sender 35. Det kan være fornuftigt, hvis de ekstra 15 indeholder væsentlige fejl, men unødigt arbejde, hvis de alle er korrekte og lavrisiko.
Registrér derfor både fejl, som passerer, og korrekte sager, som stoppes. Tallene er illustrative. Den rigtige grænse kan ikke vælges ud fra et generelt procenttal; den afhænger af kvalitet, konsekvens og kontrolkapacitet.
Genbesøg grænserne, når input ændrer sig
Nye kunder, nye scanningstyper og ændrede modeller kan flytte fordelingen af scores. En grænse, som virkede på pilotmaterialet, er ikke nødvendigvis god på et nyt vareområde.
Bevar stikprøver blandt automatisk behandlede sager og sammenlign fejltyper før og efter ændringer. Gem grænse, modelversion og testgrundlag sammen. Det gør det muligt at forklare, hvorfor en sag blev stoppet på et bestemt tidspunkt.
Brug det i praksis
Jeres næste skridt
- Dokumentér hvad hver score betyder.
- Adskil kritiske felter fra øvrige felter.
- Lad faste valideringer have selvstændig effekt.
- Mål både oversete fejl og unødvendige stop.
- Gentest ved nye data eller modelændringer.
Ofte stillede spørgsmål
Er 90 procent en god standardgrænse?+
Det kan ikke afgøres generelt. Scorens betydning og kvalitet skal måles i den konkrete løsning.
Kan høj konfidens erstatte godkendelse?+
Nej. Et mandat eller en obligatorisk kontrol gælder uafhængigt af modellens sikkerhed.
Hvad hvis modellen ikke giver en score?+
Brug validering, tests og tydelige stopregler. Opfind ikke en sandsynlighed ud fra modellens tone.
Kilder og faglig baggrund
De praktiske eksempler og tjeklister er udarbejdet til denne guide. Følgende kilder uddyber de angivne faglige begreber.
Baggrund om dokumentudtræk, kvalitetsvariation og vurdering på den konkrete anvendelse.
Begreber i guiden
Fra guiden til jeres arbejdsgang
Brug et afgrænset pilotforløb til at teste metoden på jeres data og undtagelser.
Udgivet af Norstream med AI-assisteret udarbejdelse. Eksempler er illustrative, medmindre andet er angivet. Tilpas metoder og kontroller til jeres systemer og faglige ansvar.
Har du en rettelse eller et spørgsmål?