Generátor
Generování textu na základě vstupního promptu a zvoleného LLM modelu.
Přehled
Tento workflow implementuje chatbot, který umožňuje uživatelům nahrát obrázek a pokládat otázky týkající se jeho obsahu. Kombinací technologií optického rozpoznávání znaků (OCR) a vizuálního rozpoznávání chatbot obrázek analyzuje a poskytuje přesné, na kontext citlivé odpovědi. Automatizace je velmi cenná při škálování úloh, kde uživatelé potřebují získávat informace z obrázků nebo komunikovat s vizuálními daty konverzačně.
Postup krok za krokem
Inicializace chatu
- Po otevření chatovací relace workflow spustí uvítací zprávu pomocí Message Widgetu.
- Zpráva uživatele seznámí se schopnostmi chatbota a vysvětlí, že mohou nahrávat obrázky a pokládat otázky k obsahu.
Zpracování uživatelského vstupu
- Uživatelé mohou s chatbotem interagovat tím, že:
- Napíšou otázku týkající se obrázku.
- Nahrají soubor s obrázkem.
- Uzlový bod Chat Input zachytí jak otázku (textovou zprávu), tak nahraný obrázek (soubor).
- Uživatelé mohou s chatbotem interagovat tím, že:
Zpracování obrázku a otázky
- Uzlový bod Generator přijímá:
- Nahraný obrázek (pro OCR/vizuální rozpoznání).
- Uživatelskou otázku (jako kontext pro velký jazykový model).
- Generátor analyzuje obrázek, extrahuje informace (například text pomocí OCR nebo vizuální rysy) a na otázku formuluje relevantní odpověď.
- Uzlový bod Generator přijímá:
Doručení odpovědi
- Odpověď vygenerovaná modelem je směrována do uzlového bodu Chat Output, který zobrazí odpověď uživateli v chatovacím rozhraní.
- Pokud byl nahrán obrázek, může být také zobrazen v chatu pro referenci.
Struktura workflow
Zde je zjednodušená struktura workflow:
| Krok | Typ uzlu | Funkce |
|---|---|---|
| Chat otevřen | ChatOpenedTrigger | Spustí uvítací zprávu |
| Zobrazit uvítací zprávu | MessageWidget | Zobrazí úvod a instrukce |
| Zobrazit zprávu uživateli | ChatOutput | Zobrazí uvítací zprávu v chatu |
| Uživatel zadá otázku / nahraje obrázek | ChatInput | Sbírá text a obrázek od uživatele |
| Zpracování obrázku a otázky | Generator | Provádí OCR/vizuální rozpoznání, odpovídá |
| Zobrazit vygenerovanou odpověď (a obrázek) | ChatOutput | Zobrazí odpověď (a případně obrázek) uživateli |
Výhody a využití
- Automatizace a škálovatelnost: Tento workflow automatizuje proces získávání informací z obrázků, což umožňuje rychlé a konzistentní odpovědi na vizuální otázky bez zásahu člověka.
- Univerzálnost: Vhodné pro zákaznickou podporu, vzdělávací nástroje, analýzu dokumentů i další scénáře, kde uživatelé potřebují dotazovat nebo porozumět obrázkům.
- Zlepšená uživatelská zkušenost: Poskytuje konverzační rozhraní, které uživatelům umožňuje intuitivní práci i se složitými nástroji pro analýzu obrázků.
- Plynulá integrace: Modulární návrh na bázi uzlů umožňuje budoucí rozšíření nebo začlenění pokročilejších modelů rozpoznávání.
Ukázkové případy použití
- Digitalizace dokumentů: Uživatelé nahrávají fotografie dokumentů a žádají o shrnutí či konkrétní informace.
- Produktová podpora: Zákazníci posílají obrázky produktů a ptají se na specifikace nebo řešení problémů.
- Vzdělávací nástroje: Studenti nahrávají diagramy či grafy a pokládají vysvětlující otázky.
Automatizací vizuálních otázek a odpovědí tímto workflow mohou organizace zpřístupnit výkonné nástroje pro analýzu obrázků širokému publiku, snížit ruční práci a poskytovat rychlejší a chytřejší odpovědi ve velkém měřítku.
