Generaattori
Luo tekstiä syötekehotteen ja valitun LLM-mallin avulla.
Yleiskatsaus
Tämä työnkulku toteuttaa chatbotin, jonka avulla käyttäjät voivat ladata kuvan ja esittää kysymyksiä sen sisällöstä. Yhdistämällä optista tekstintunnistusta (OCR) sekä visuaalisen tunnistuksen teknologioita chatbotti analysoi kuvan ja antaa tarkkoja, asiayhteyteen sopivia vastauksia. Automaatio on erityisen hyödyllinen laajamittaiseen käyttöön, jossa käyttäjien täytyy poimia tietoja kuvista tai keskustella visuaalisen datan kanssa.
Vaiheittainen Työnkulku
Chatin Alustaminen
- Kun chatti avataan, työnkulku lähettää käyttäjälle tervetuloviestin Message Widget -komponentin avulla.
- Viestissä esitellään chatbotin toiminnot ja kerrotaan, että käyttäjät voivat ladata kuvia ja kysyä niistä.
Käyttäjän Syötteen Käsittely
- Käyttäjät voivat asioida chatbotin kanssa:
- Kirjoittamalla kysymyksen kuvasta.
- Lataamalla kuvatiedoston.
- Chat Input -solmu vastaanottaa sekä kysymyksen (tekstiviesti) että ladatun kuvan (tiedostosyöte).
- Käyttäjät voivat asioida chatbotin kanssa:
Kuvan ja Kysymyksen Käsittely
- Generator-solmu vastaanottaa:
- Ladatun kuvan (OCR:ää/visuaalista tunnistusta varten).
- Käyttäjän kysymyksen (kontekstiksi kielimallille).
- Generaattori analysoi kuvan, poimii tietoa (esim. tekstiä OCR:llä tai visuaalisia piirteitä), ja muodostaa kysymykseen sopivan vastauksen.
- Generator-solmu vastaanottaa:
Vastauksen Toimitus
- Mallin luoma vastaus ohjataan Chat Output -solmuun, joka näyttää vastauksen käyttäjälle chatissa.
- Jos kuva ladattiin, se voidaan myös näyttää chatissa viitteenä.
Työnkulun Rakenne
Tässä yksinkertaistettu rakenne työnkulusta:
| Vaihe | Solmutyyppi | Toiminto |
|---|---|---|
| Chatin avaus | ChatOpenedTrigger | Käynnistää tervetuloviestin |
| Tervetuloviestin näyttö | MessageWidget | Näyttää esittelyn ja ohjeet |
| Viestin näyttö käyttäjälle | ChatOutput | Esittelee tervetuloviestin chatissa |
| Käyttäjä syöttää kysymyksen/lataa kuvan | ChatInput | Kerää käyttäjän tekstin ja kuvatiedoston |
| Kuvan & kysymyksen käsittely | Generator | Suorittaa OCR:n/visuaalisen tunnistuksen, vastaa |
| Luodun vastauksen (ja kuvan) näyttö | ChatOutput | Näyttää vastauksen (ja mahdollisen kuvan) käyttäjälle |
Hyödyt ja Käyttötarkoitukset
- Automaatio & Skaalautuvuus: Työnkulku automatisoi tiedon poiminnan kuvista, mahdollistaen nopeat ja johdonmukaiset vastaukset visuaalisiin kysymyksiin ilman ihmisen osallistumista.
- Monipuolisuus: Sopii asiakastukeen, opetustyökaluihin, dokumenttien analysointiin ja kaikkiin tilanteisiin, joissa käyttäjät haluavat kysyä tai ymmärtää kuvia.
- Parannettu Käyttäjäkokemus: Tarjoaa keskustelupohjaisen käyttöliittymän, jonka kautta monimutkaiset kuva-analyysityökalut ovat helppokäyttöisiä.
- Saumaton Integrointi: Modulaarinen, solmupohjainen rakenne mahdollistaa laajennukset ja kehittyneempien tunnistusmallien käyttöönoton.
Esimerkkikäyttötapaukset
- Dokumenttien Digitointi: Käyttäjät lataavat kuvia dokumenteista ja pyytävät yhteenvedon tai tiettyjä tietoja.
- Tuotetuki: Asiakkaat lähettävät kuvia tuotteista ja kysyvät ominaisuuksista tai ongelmista.
- Opetustyökalut: Oppilaat lataavat kaavioita tai taulukoita ja esittävät selittäviä kysymyksiä.
Automatisoimalla visuaalisten kysymysten ratkaisemisen tällä työnkululla organisaatiot voivat tuoda tehokkaat kuva-analyysityökalut laajemman käyttäjäkunnan saataville, vähentää manuaalista työtä ja tarjota nopeampia ja älykkäämpiä vastauksia suuressa mittakaavassa.
