Een AI-chatbot die niets verzint
Taalmodellen produceren vloeiende tekst, of ze het antwoord nu kennen of niet. Zet er een zonder begrenzing op je website en hij vertelt een klant over een korting die niet bestaat. Dit is de belangrijkste reden dat bedrijven chatbots wantrouwen, en dat wantrouwen is terecht.
Waarom het gebeurt
- De standaard van een taalmodel is plausibel doorschrijven, niet controleren.
- Zonder afgebakende bron van waarheid is alles wat hij zegt een gok met goede grammatica.
De regel die het stopt
Beperk de assistent tot één benoemde verzameling tekst, de documenten van het bedrijf zelf, en geef hem precies één alternatief voor antwoorden: zeggen dat het antwoord er niet staat en de vraag doorgeven aan een mens.
- Elk antwoord is herleidbaar tot een geüpload document.
- "Dat weet ik niet" is een ontworpen uitkomst, geen falen.
- De mens blijft in beeld voor precies de vragen die een mens nodig hebben.
Zo test je elke chatbot hierop
- Vraag iets aannemelijks dat niet in het bronmateriaal staat.
- Een eerlijk systeem weigert en escaleert. Een oneerlijk systeem antwoordt.
De regel verkleint de fout, hij haalt hem niet weg. Antwoorden komen nog steeds uit een taalmodel, dus de chatpagina meldt bezoekers dat ze door AI zijn gemaakt en onjuist kunnen zijn.
FAQ Plus is op deze regel gebouwd.