Hoppa över indexering av innehåll

Oavsett hur kraftfull den är, är AI fortfarande bara en maskin som förmedlar information den lärt sig. Den förstår inte skämt, hypotetiska situationer eller sarkasm, vilket ofta är orsaken till de mest dråpliga (och ibland allvarligt skadliga) svaren. För att säkerställa att din chatbot inte skapar nästa AI-skandal och för att hjälpa den att förstå ditt innehåll bättre, kan du låta den veta vilket innehåll den ska hoppa över.

Sättet att säkerställa AI:ns tillförlitlighet är att övervaka informationen den lär sig av. Allt ditt innehåll är inte lämpligt för att chatbottens ska använda. Klassen flowhunt-skip låter dig markera det innehåll som FlowHunt inte ska indexera. Alla HTML-element med denna klass ignoreras vid bearbetning av innehållet.

När ska man använda skip-parametern

Det finns två huvudsakliga skäl till att du bör använda denna klass, men känn dig fri att använda den på allt innehåll du anser onödigt eller olämpligt för boten att använda.

1. Hoppa över repetitivt innehåll: Om liknande innehåll ständigt indexeras blir det svårt för AI att särskilja och kategorisera vad innehållet handlar om. Att hoppa över duplicerad information sparar dig också pengar på textbearbetning i längden.

2. Hoppa över riskabel eller olämplig information: Du bör hoppa över all information som kan få AI:n att ge felaktiga, skadliga eller lösryckta svar. Var särskilt försiktig om din varumärkesröst ofta innehåller skämt eller starkt språk. Även om det är bra i annat innehåll kanske användarna inte uppskattar en spydig bot.

Så använder du flowhunt-skip-parametern

FlowHunt crawlar och indexerar din webbplats för att ge kontext till chatbottens svar. Allt som FlowHunt indexerar kan din chatbot använda vid något tillfälle.

Genom att lägga till klassen flowhunt-skip på HTML-element kan du markera det innehåll du inte vill indexera. Alla element med denna klass ignoreras och når aldrig chatboten.

Här är ett exempel på hur klassen används:

<div class="flowhunt-skip">
  <h2>Duplicerat innehåll</h2>
  <p>Detta innehåll är en dubblett. Jag vill inte att FlowHunt ska indexera det igen.</p>
</div>

Du kan också hoppa över bara ett stycke eller en del av ett element:

<div>
  <h2>Mitt innehåll</h2>
  <p>Detta stycke ska indexeras.</p>
  <p class="flowhunt-skip">Jag vill inte att Chatboten ska använda denna information.</p>
  <p>Detta stycke ska indexeras.</p>
</div>

Hur fungerar indexeringen

Crawlprocessen körs i bakgrunden och baseras på de scheman du ställer in. Den laddar endast ner HTML-sidan. Alla bilder eller media lagras helt enkelt som länkar. Eventuella omdirigeringar följs och kanoniska URL:er utvärderas.

När sidan har crawlas konverteras HTML-innehållet till enkel markdown-text. Viss information kan tas bort under denna process. Den slutliga markdown-texten erbjuds chatboten som kontext. Botten kan sedan hämta denna information när det behövs.

Hur vet AI vilken information den ska välja

Markdown-texten delas upp i bitar, vektoreras och lagras i en vektordatabas. Denna typ av databas tilldelar värden till ords betydelser. Som ett resultat kan AI förstå relaterade ord istället för att kräva en exakt ordträff.

Orden placeras ut på ett rutnät baserat på deras tilldelade värden. Detta gör att datorn kan förstå vilka ord som är nära i betydelse till varandra:

Obs: Det här är en mycket förenklad modell. I praktiken gör AI detta med tusentals ord, fraser och hela meningar.

Att hämta information från vektordatabaser kallas semantisk sökning. Det är AI:ns förmåga att söka och utvärdera betydelsen av ord i vektordatabasen och använda dem för att ge svar.

När en användare skickar en fråga konverterar botten orden till vektorer. Den söker sedan i databasen efter nära matchningar från ditt innehåll. När den hittar matchande eller liknande innehåll använder den informationen för att skapa ett svar.

Varför är semantisk sökning så viktig

Föreställ dig att du äger en nätbutik för husdjur. En kund ställer följande fråga:

”Säljer ni mat för kattungar?”

Det gör du, men produktnamnet innehåller ordet ”junior” istället för ”kattunge”. Botten kommer att kunna förstå att ”junior kattmat” är samma sak (eller mycket likt) som ”mat för kattungar” och framgångsrikt guida kunden till rätt produkt.

Utan semantisk sökning i vektordatabasen skulle chatboten helt enkelt svara att du inte har ”mat för kattungar” och därmed förlora en framtida kund. Du behöver aldrig oroa dig för att något sådant ska hända när du använder FlowHunt.