Hvad er RAG, og hvorfor er det vigtigt for AI-chatbots?

Når en virksomhed overvejer en AI-chatbot til hjemmesiden, er det første spørgsmål oftest: "Hvordan undgår vi, at den finder på ting?" Det er en berettiget bekymring. Sprogmodeller som dem bag ChatGPT og Claude er trænet på enorme mængder offentlig tekst, og de er ekstremt gode til at generere flydende tekst, der lyder rigtig. Men de ved intet om netop din virksomheds priser, dine åbningstider, eller jeres returpolitik. Hvis du beder dem svare alligevel, gætter de.

Løsningen, der har vundet frem de seneste par år, hedder retrieval-augmented generation, forkortet RAG. Det er den teknik, moderne AI-chatbots bruger, til at holde sig til fakta fra dit eget materiale i stedet for at digte.

Hvad RAG faktisk gør

RAG er en simpel idé, men den ændrer meget. I stedet for at sende et spørgsmål direkte til en sprogmodel og håbe på det bedste, gør systemet to ting:

1. Henter (retrieval): Det leder først i en database af dit indhold (websider, dokumenter, FAQ) efter de tekststykker, der er mest relevante for spørgsmålet.
2. Genererer (generation): Det giver så sprogmodellen både spørgsmålet og de fundne tekststykker og beder den formulere et svar baseret på dem.

Resultatet er en svar, der er flydende formuleret som en menneskelig respons, men forankret i dit eget materiale. Hvis svaret ikke findes i kildematerialet, kan modellen sige det i stedet for at gætte.

Hvordan en chatbot bygger sin videnbase

For at RAG kan virke, skal AI'en først læse og strukturere dit indhold. Det sker typisk sådan her:

1. Crawling: En crawler henter alle relevante sider på dit website. Det kan være automatisk via dit sitemap eller styret af mønstre, du vælger.
2. Chunking: Hver side opdeles i mindre stykker (typisk 1.000 til 2.000 tegn) med lille overlap, så ingen relevant kontekst går tabt mellem stykkerne.
3. Embedding: Hvert stykke sendes gennem en embedding-model, der konverterer teksten til en vektor. Vektoren er en numerisk repræsentation, der fanger tekstens mening.
4. Lagring: Vektorerne gemmes i en vektordatabase, der kan finde de stykker, der ligner et spørgsmål mest, på millisekunder.

Når en besøgende stiller et spørgsmål, gentages processen: spørgsmålet konverteres til en vektor, vektordatabasen finder de mest relevante stykker, og en sprogmodel bygger svaret. Det hele tager typisk under et sekund.

Hvorfor RAG slår alternativer for SMV'er

Inden RAG var de almindelige tilgange til chatbots:

• Regelbaserede botter: Du skrev manuelt et beslutningstræ med præ-definerede svar. Skalerer dårligt og bryder sammen, så snart en kunde spørger lidt anderledes.
• Fine-tunede modeller: Du trænede en sprogmodel på dit eget data. Dyrt, langsomt at opdatere, og modellen kunne stadig finde på ting.
• Kun sprogmodel: Du sendte spørgsmål direkte til ChatGPT eller lignende. Lyder flydende, men kan ikke svare på noget specifikt om din virksomhed og er tilbøjelig til at hallucinere.

RAG kombinerer fordelene: du behøver ikke skrive manuelle regler eller træne en model. Du peger systemet på dit indhold, og det forstår spørgsmål formuleret naturligt og svarer ud fra det, der står på sitet. Når du opdaterer dit indhold, bliver svarene opdateret ved næste re-crawl, uden at nogen skal røre koden.

Hvor RAG ikke er nok

RAG har grænser, og det er værd at være ærlig om dem:

• Kun det, der er skrevet ned: Hvis et svar ikke findes i dit indhold, kan RAG ikke fremtrylle det. En god implementering bør sige "det ved jeg ikke" frem for at gætte.
• Ikke transaktioner: RAG er informationssøgning, ikke handling. Den kan forklare jeres returpolitik, men kan ikke selv oprette en returanmodning eller hente en konkret ordrestatus.
• Kontekstvinduet er begrænset: Sprogmodellen får typisk de 5 til 10 mest relevante tekststykker som kontekst. Hvis dit emne kræver, at den skal læse hele sitet på én gang, kan det stadig være en udfordring.

For de fleste SMV'er er disse grænser ikke et problem. De fleste besøgende stiller informationssøgende spørgsmål, ikke transaktionelle.

Hvordan vurderer du, om en chatbot rent faktisk bruger RAG ordentligt?

Når du evaluerer leverandører, så spørg om disse fire ting:

1. Hvor henter den svarene fra? Et godt RAG-system kan vise dig, hvilke dokumenter eller sider et svar er baseret på.
2. Hvad gør den, når svaret ikke findes? Den skal sige "det ved jeg ikke" eller henvise til kontaktinfo, ikke gætte.
3. Hvor hurtigt opdateres svar, når du ændrer i kildematerialet? Bedst er automatisk re-crawling efter en plan, du selv vælger.
4. Hvilken sprogmodel bruges? Forskellige modeller har forskellig kvalitet og pris. De bedste systemer bruger flere modeller, så simple spørgsmål håndteres af billige modeller, og komplekse spørgsmål går til de bedre.

Sådan bruger Clarifier RAG

Clarifier er bygget på RAG fra bunden. Vi crawler dit website automatisk, tillader upload af PDF og Word-dokumenter til vidensbasen, og bruger en kombination af sprogmodeller, så du får god kvalitet uden at brænde budgettet af på dyre kald.

Vil du se, hvordan det ser ud i praksis for din branche? Vi har lavet sider om Clarifier til webshops, konsulentvirksomheder, SaaS-virksomheder og kommuner.