Generator
Generer tekst med inputprompt og valgt LLM-modell.
Oversikt
Denne arbeidsflyten implementerer en chatbot som lar brukere laste opp et bilde og stille spørsmål om innholdet. Ved å bruke en kombinasjon av optisk tegngjenkjenning (OCR) og visuelle gjenkjenningsteknologier analyserer chatboten bildet og gir nøyaktige, kontekstsensitive svar. Denne automatiseringen er svært verdifull for å skalere oppgaver hvor brukere trenger å hente ut informasjon fra bilder eller samhandle med visuelt data på en samtalebasert måte.
Steg-for-steg flyt
Chatinitiering
- Når chatsesjonen åpnes, utløser arbeidsflyten en velkomstmelding via Message Widget.
- Meldingen introduserer brukerne for chatbotens funksjoner og forklarer at de kan laste opp bilder og stille spørsmål om innholdet.
Håndtering av brukerinput
- Brukere kan samhandle med chatboten ved å:
- Skrive et spørsmål om et bilde.
- Laste opp en bildefil.
- Chat Input-noden fanger opp både spørsmålet (tekstmelding) og det opplastede bildet (filinput).
- Brukere kan samhandle med chatboten ved å:
Behandling av bilde og spørsmål
- Generator-noden mottar:
- Det opplastede bildet (for OCR/visuell gjenkjenning).
- Brukerens spørsmål (som kontekst for språkmodellen).
- Generatoren analyserer bildet, trekker ut informasjon (f.eks. tekst via OCR eller visuelle trekk), og formulerer et relevant svar på spørsmålet.
- Generator-noden mottar:
Levering av svar
- Svaret som genereres av modellen sendes til en Chat Output-node, som viser responsen til brukeren i chatgrensesnittet.
- Dersom et bilde ble lastet opp, kan det også vises i chatten for referanse.
Arbeidsflytstruktur
Her er en forenklet struktur av arbeidsflyten:
| Steg | Nodetype | Funksjon |
|---|---|---|
| Chat åpnes | ChatOpenedTrigger | Utløser velkomstmeldingen |
| Vis velkomstmelding | MessageWidget | Viser introduksjon og instruksjoner |
| Vis melding til bruker | ChatOutput | Presenterer velkomstmelding i chatten |
| Bruker skriver spørsmål / laster opp bilde | ChatInput | Samler inn brukerens tekst og bildefil |
| Behandle bilde & spørsmål | Generator | Utfører OCR/visuell gjenkjenning, svarer på spørsmål |
| Vis generert svar (og bilde) | ChatOutput | Viser svaret (og eventuelt bilde) til brukeren |
Fordeler og bruksområder
- Automatisering & skalerbarhet: Denne arbeidsflyten automatiserer prosessen med å hente ut informasjon fra bilder, slik at man kan gi raske og konsistente svar på visuelle spørsmål uten menneskelig innblanding.
- Allsidighet: Nyttig for kundestøtte, opplæringsverktøy, dokumentanalyse og enhver situasjon der brukere trenger å spørre om eller forstå bilder.
- Bedre brukeropplevelse: Gir et samtalebasert grensesnitt som gjør det enkelt og intuitivt å bruke avanserte bildeanalyserverktøy.
- Sømløs integrasjon: Den modulære nodebaserte utformingen gjør det mulig å utvide eller integrere mer avanserte gjenkjenningsmodeller i fremtiden.
Eksempel på bruksområder
- Dokumentdigitalisering: Brukere laster opp bilder av dokumenter og ber om sammendrag eller spesifikke detaljer.
- Produktsupport: Kunder sender inn bilder av produkter og spør om spesifikasjoner eller problemer.
- Opplæringsverktøy: Elever laster opp diagrammer eller grafer og stiller forklarende spørsmål.
Ved å automatisere visuell spørsmålsbesvarelse med denne arbeidsflyten, kan organisasjoner gjøre kraftige bildeanalyserverktøy tilgjengelig for et bredt publikum, redusere manuelt arbeid og levere raskere, smartere svar i stor skala.
