Belgeyi Metne Dönüştür

Yapay zeka saniyeler içinde büyük miktarda veriyi analiz edebilir, ancak bu verilerin yalnızca bir kısmı çıktı için uygun veya ilgili olacaktır. Belgeyi Metne bileşeni, retriever’lardan gelen verinin nasıl işlenip metne dönüştürüleceği üzerinde size kontrol sağlar.

Belgeyi Metne bileşeni, giriş olarak verilen bilgi belgelerini düz metin formatına dönüştürmek için tasarlanmıştır. Bu, özellikle metinsel verinin daha fazla işlenmesi, analiz edilmesi veya dil modellerine girdi olarak kullanılması gereken yapay zeka ve veri işleme iş akışlarında çok faydalıdır.

Bileşenin Yaptıkları

Bu bileşen, bir veya birden fazla yapılandırılmış belgeyi (ör. HTML, Markdown, PDF veya desteklenen diğer formatlar) alır ve metin içeriğini çıkarır. Belgelerin tam olarak hangi bölümlerinin dışa aktarılacağını, meta verilerin dahil edilip edilmeyeceğini ve belge bölümleri ya da başlıklarının nasıl ele alınacağını hassas biçimde belirlemenizi sağlar. Çıktı, çıkarılan metni içeren ve aşağı akış görevleri (özetleme, sınıflandırma veya soru-cevap gibi) için hazır birleşik bir mesaj nesnesidir.

Girdiler

Bileşen, çeşitli yapılandırılabilir girdileri kabul eder:

Kullanılabilir İçerik Türleri: H1, H2, H3, H4, H5, H6, Paragraf
Meta veri seçenekleri: Yazar, Ürün, BreadcrumbList, VideoObject, BlogPosting, FAQPage, WebSite, opengraph

Çıktılar

Bileşen aşağıdaki çıktıyı üretir:

• Mesaj: Dönüştürülmüş metni ve varsa dahil edilen meta verileri içeren bir mesaj nesnesi.

Temel Özellikler & Kullanışlılık

• Esnek İçerik Çıkarımı: Belgelerinizin tam olarak hangi bölümlerinin çıkarılacağını hassas biçimde kontrol edin (ör. yalnızca ana başlıklar ve paragraflar ya da tüm içerik).
• Meta Veri Dahil Etme: İsteğe bağlı olarak, çıktı içinde zengin meta veri (ör. yazar, ürün veya yapılandırılmış veri) sunar; bu, aşağı akışta bağlam sağlamada faydalıdır.
• Token Sınırı Yönetimi: Maksimum token sayısı belirleyerek çıktı boyutunu aşağı akıştaki model gereksinimlerine uygun şekilde kısıtlayın.
• Özel Çıkarma Stratejisi:
  • Belgeleri birleştir, ilk belgeden token sınırına kadar doldur: Çıktıyı sıralı şekilde ilk belgeden doldurmayı önceliklendirir.
  • Her bir belgeden eşit miktar dahil et: Birden fazla belgeden içerikleri token sınırı içinde dengeler.
• Akıllı Bölüm Yönetimi: Belge alt bilgilerini atlama veya sorgunuz için en alakalı bölümden başlama seçenekleriyle, çıkarılan metnin alakalılığını artırır.

Tipik Kullanım Alanları

• Bilgi tabanlarını ön işleme (ör. gömme veya indeksleme öncesi) için yapay zeka modellerinde.
• Büyük belgeleri özetleme veya yoğunlaştırma: Yalnızca ilgili bölümlerin çıkarılması.
• Yapılandırılmış içeriği sohbet botlarına, arama motorlarına veya diğer doğal dil işleme hatlarına besleme.
• Metin ile meta verinin birleştiği hibrit geri getirme sistemleri oluşturma: Daha zengin bağlam için.

Özet Tablo

Strateji

Bot, metin çıktısı oluşturmak için birçok belgeyi tarayabilir. Strateji ayarı, bu belgeleri akıllıca ve token sınırı içinde nasıl kullanacağını kontrol etmenizi sağlar.

Şu anda iki olası strateji vardır:

• Her bir belgeden eşit miktar dahil et: Bulunan tüm belgeler eşit şekilde kullanılır.
• Belgeleri birleştir, ilk belgeden token sınırına kadar doldur: Belgeleri birleştirir ve sorguya göre önceliklendirir.

Belgeyi Metne bileşenini akışınıza nasıl bağlarsınız?

Bu bir dönüştürücü bileşendir; yani iki çıktı arasındaki boşluğu kapatır. Belgeyi Metne, Retriever bileşenleri tarafından üretilen Belgeleri alır:

• Belge Retriever – Bağlı bilgi kaynaklarından (sayfalar, belgeler vb.) bilgi alır.
• URL Retriever – Botun bilgi alacağı bir URL belirtmenizi sağlar.
• GoogleSearch – Botun web’de bilgi arayabilmesini sağlar.

Bilgi, dönüştürücüden geçerken okunabilir Markdown metnine dönüştürülür. Bu metin daha sonra splitter, widget veya çıktı gibi metin girişi gerektiren bileşenlere bağlanabilir.

Aşağıda Belgeyi Metne bileşeninin, Belge Retriever bileşenleri ile AI Generator arasındaki boşluğu nasıl doldurduğuna dair bir örnek akış yer almaktadır: