Document la Text

AI-ul poate analiza cantități mari de date în câteva secunde, dar doar unele dintre date vor fi relevante sau potrivite pentru output. Componenta Document la Text îți oferă control asupra modului în care datele preluate sunt procesate și transformate în text.

Componenta Document la Text este concepută pentru a transforma documente de cunoștințe introduse într-un format de text simplu. Acest lucru este deosebit de util în fluxurile de lucru de AI și procesare a datelor unde este nevoie de date text pentru procesări ulterioare, analiză sau ca input pentru modele de limbaj.

Ce face componenta

Această componentă preia unul sau mai multe documente structurate (precum HTML, Markdown, PDF-uri sau alte formate suportate) și extrage conținutul textual. Poți specifica exact care părți din documente să fie exportate, dacă să incluzi sau nu metadate și cum să gestionezi secțiunile sau titlurile documentului. Output-ul este un obiect mesaj unificat ce conține textul extras, gata pentru sarcini precum sumarizare, clasificare sau răspuns la întrebări.

Inputuri

Componenta acceptă mai multe inputuri configurabile:

Tipuri de conținut disponibile: H1, H2, H3, H4, H5, H6, Paragraf
Opțiuni metadate: Autor, Produs, BreadcrumbList, VideoObject, BlogPosting, FAQPage, WebSite, opengraph

Outputuri

Componenta generează următorul output:

• Mesaj: Un obiect mesaj ce conține textul transformat și orice metadate incluse.

Funcționalități cheie & Utilitate

• Extragere flexibilă a conținutului: Poți controla exact ce părți din documente să fie extrase (ex: doar titlurile principale și paragrafele, sau tot conținutul).
• Incluziune metadate: Opțional poți include metadate bogate (ex: autor, produs sau date structurate) în output, util pentru contextualizare ulterioară.
• Gestionarea limitei de tokeni: Poți limita dimensiunea output-ului pentru a se încadra în cerințele modelului din aval, setând un număr maxim de tokeni.
• Strategie de extragere personalizată:
  • Concatenează documentele, umple de la primul până la limita de tokeni: Prioritizează completarea secvențială a output-ului de la primul document.
  • Include dimensiune egală din fiecare document: Echilibrează conținutul din mai multe documente în limita de tokeni.
• Gestionare inteligentă a secțiunilor: Opțiuni de a omite footerele documentului sau de a începe din secțiunea cea mai relevantă pentru query-ul tău, crescând relevanța textului extras.

Cazuri de utilizare tipice

• Preprocesarea bazelor de cunoștințe pentru modele AI (ex: înainte de embedding sau indexare).
• Sumarizarea sau condensarea documentelor mari prin extragerea doar a secțiunilor relevante.
• Furnizarea de conținut structurat către chatboți, motoare de căutare sau alte fluxuri de procesare a limbajului natural.
• Construirea de sisteme hibride de recuperare ce combină textul cu metadate pentru context mai bogat.

Tabel Rezumat

Strategie

Botul poate parcurge multe documente pentru a crea output-ul text. Setarea Strategie îți oferă control asupra modului în care utilizează aceste documente inteligent, rămânând în limita de tokeni.

În prezent, există două strategii posibile:

• Include dimensiune egală din fiecare document: Utilizează în mod egal toate documentele găsite.
• Concatenează documentele, umple de la primul până la limita de tokeni: Leagă documentele în funcție de relevanța față de query.

Cum conectezi componenta Document la Text în flow-ul tău

Aceasta este o componentă de tip transformator, ceea ce înseamnă că intermediază între două output-uri. Document la Text preia output-ul Documentelor generate de componentele Retriever:

• Document Retriever – preia cunoștințe din surse de cunoștințe conectate (pagini, documente etc.).
• URL Retriever – Îți permite să specifici o adresă URL de unde botul va prelua cunoștințe.
• GoogleSearch – Oferă botului abilitatea de a căuta pe web informații relevante.

Cunoștințele sunt convertite în text Markdown lizibil pe măsură ce trec prin transformator. Acest text poate fi apoi conectat la componente care necesită input text, precum splittere, widget-uri sau output-uri.

Iată un exemplu de flow ce folosește componenta Document la Text pentru a face legătura între Document Retrievers și AI Generator: