Belge Yeniden Sıralama

Belge yeniden sıralama, elde edilen belgeleri sorgu ilgisine göre yeniden düzenleyerek arama sonuçlarını rafine eder. Sorgu genişletme, ilgili terimleri ekleyerek aramayı güçlendirir, hatırlamayı artırır ve belirsizliği giderir. Bu tekniklerin RAG sistemlerinde birleştirilmesi, geri getirme doğruluğunu ve yanıt kalitesini artırır.

Belge yeniden sıralama, elde edilen belgelerin kullanıcının sorgusuna olan ilgisine göre yeniden düzenlenmesi sürecidir. Başlangıçta yapılan geri getirme adımından sonra, yeniden sıralama her belgenin ilgisini daha hassas bir şekilde değerlendirerek en alakalı belgelerin önceliklendirilmesini sağlar.

Retrieval-Augmented Generation (RAG) Nedir?

Retrieval-Augmented Generation (RAG), Büyük Dil Modellerinin (LLM) yeteneklerini bilgi geri getirme sistemleriyle birleştiren gelişmiş bir çerçevedir. RAG’de, bir kullanıcı sorgu gönderdiğinde, sistem geniş bir bilgi tabanından alakalı belgeleri getirir ve bu bilgileri LLM’ye ileterek bilgilendirici ve bağlamsal olarak doğru yanıtlar üretir. Bu yaklaşım, Yapay Zekâ tarafından üretilen içeriğin doğruluğunu ve alaka düzeyini, onu gerçek verilere dayandırarak artırır.

Sorgu Genişletmeyi Anlamak

Sorgu Genişletme Nedir?

Tanım

Sorgu genişletme, arama sorgularının etkinliğini artırmak için bilgi geri getirme alanında kullanılan bir tekniktir. Orijinal sorgunun, anlamsal olarak ilişkili ek terimler veya ifadelerle zenginleştirilmesini içerir. Birincil hedef, kullanıcının niyetiyle ilgili belgelerde kullanılan dil arasındaki boşluğu kapatarak, ilgili bilgilerin geri getirilmesini iyileştirmektir.

Nasıl Çalışır

Sorgu genişletme pratikte çeşitli yöntemlerle gerçekleştirilebilir:

• Eşanlamlı Genişletme: Aynı kavramın farklı ifadelerine ulaşmak için sorgu terimlerinin eşanlamlılarını dahil etme.
• İlgili Terimler: Doğrudan eşanlamlı olmayan, ancak bağlamsal olarak ilişkili terimlerin eklenmesi.
• LLM Tabanlı Genişletme: Büyük Dil Modelleri kullanılarak, orijinal sorguya uygun kelime veya ifadelerin tahmin edilmesiyle genişletilmiş sorgular oluşturma.

Sorguyu genişleterek, geri getirme sistemi daha geniş kapsamlı bir arama yapabilir ve terminoloji veya ifade farklılıkları nedeniyle kaçırılmış olabilecek belgeleri yakalayabilir.

Sorgu Genişletme RAG Sistemlerinde Neden Önemlidir?

Hatırlamayı Artırmak

Hatırlama, geri getirme sisteminin tüm ilgili belgeleri bulabilme yeteneğini ifade eder. Sorgu genişletme, hatırlamayı şu yollarla artırır:

• Aynı kavramı farklı terimlerle anlatan belgelerin geri getirilmesi.
• Sorgunun ilgili alt başlıklarını veya daha geniş yönlerini kapsayan belgelerin yakalanması.

Sorgu Belirsizliğini Giderme

Kullanıcılar genellikle kısa veya belirsiz sorgular gönderir. Sorgu genişletme şu konuda yardımcı olur:

• Kullanıcının niyetini birden fazla yorumu dikkate alarak netleştirme.
• Konunun çeşitli yönlerini dahil ederek daha kapsamlı bir arama sağlama.

Belge Eşleşmesini Geliştirme

Ek ilgili terimler dahil edilerek, sistem farklı kelime dağarcığı kullanan belgelerle sorgunun eşleşme olasılığını artırır ve geri getirme işleminin genel etkinliğini yükseltir.

Sorgu Genişletme Yöntemleri

1. Pseudo-Relevance Feedback (PRF)

PRF Nedir?

Pseudo-Relevance Feedback, sistemin ilk aramadan elde edilen en üstteki belgelerin ilgili olduğunu varsaydığı otomatik bir sorgu genişletme yöntemidir. Bu belgelerden önemli terimleri çıkararak orijinal sorguyu rafine eder.

PRF Nasıl Çalışır

• İlk Sorgu Çalıştırma: Kullanıcının orijinal sorgusu çalıştırılır ve en üstteki belgeler geri getirilir.
• Terim Çıkarımı: Bu belgelerden sıklık veya öneme göre anahtar terimler belirlenir.
• Sorgu Rafinesi: Orijinal sorgu bu anahtar terimlerle genişletilir.
• İkinci Geri Getirme: Genişletilmiş sorgu ile yeni bir arama yapılır ve ideal olarak daha fazla ilgili belge alınır.

Avantajlar ve Dezavantajlar

• Avantajlar: Kullanıcı müdahalesi olmadan hatırlamayı artırır.
• Dezavantajlar: İlk sonuçlarda ilgisiz belgeler varsa, genişletme yanıltıcı terimler içerebilir ve hassasiyeti düşürebilir.

2. LLM Tabanlı Sorgu Genişletme

Büyük Dil Modellerinden Yararlanmak

Yapay Zekâ’daki gelişmeler sayesinde, GPT-3 ve GPT-4 gibi LLM’ler bağlamı ve semantiği anlayarak gelişmiş sorgu genişletmeleri oluşturabilir.

LLM Tabanlı Genişletme Nasıl Çalışır

• Varsayımsal Yanıt Üretimi: LLM, orijinal sorguya varsayımsal bir yanıt üretir.
• Bağlamsal Genişletme: Yanıt, ek bağlam ve ilgili terimler sunar.
• Birleşik Sorgu: Orijinal sorgu ve LLM çıktısı birleştirilerek genişletilmiş bir sorgu oluşturulur.

Örnek

Orijinal Sorgu:
“Geliri artıran en önemli faktörler nelerdi?”

LLM Tarafından Üretilen Yanıt:
“Mali yılda, şirketin gelirindeki önemli artışa katkıda bulunan başlıca faktörler arasında başarılı pazarlama kampanyaları, ürün çeşitlendirmesi, müşteri memnuniyeti girişimleri, stratejik fiyatlandırma ve teknolojiye yapılan yatırımlar yer aldı.”

Genişletilmiş Sorgu:
“Orijinal Sorgu: Geliri artıran en önemli faktörler nelerdi?
Varsayımsal Yanıt: [LLM Tarafından Üretilen Yanıt]”

Avantajlar

• Derin Anlayış: Nüanslı ilişkileri ve kavramları yakalar.
• Kişiselleştirme: Genişletmeyi belirli bir alana veya bağlama göre uyarlar.

Zorluklar

• Hesaplama Kaynakları: Önemli işlem gücü gerektirebilir.
• Aşırı Genişletme: İlgisiz veya çok fazla terim ekleme riski taşır.

RAG Sistemlerinde Sorgu Genişletme Uygulaması

Adım Adım Süreç

1. Kullanıcı Sorgusu Girişi: Sistem, kullanıcının orijinal sorgusunu alır.
2. LLM Tabanlı Genişletme:
   • Sistem, LLM’yi varsayımsal yanıt veya ilgili sorgular üretmesi için yönlendirir.
   • Örnek İstem:
     “Aşağıdaki için ayrıntılı bir yanıt veya ilgili sorgular ver: [Kullanıcının Sorgusu]”
3. Sorguları Birleştirme:
   • Orijinal sorgu ve genişletilmiş içerik birleştirilir.
   • Bu, genişletilmiş sorgunun kullanıcının niyetiyle alakalı kalmasını sağlar.
4. Geri Getirmede Kullanım:
   • Genişletilmiş sorgu, bilgi tabanından belge getirmek için kullanılır.
   • Bu işlem anahtar kelime arama, anlamsal arama veya ikisinin birleşimiyle yapılabilir.

RAG Sistemlerindeki Faydalar

• Gelişmiş Geri Getirme: Daha alakalı belgeler getirilir ve LLM için daha iyi bağlam sağlanır.
• İyileşmiş Kullanıcı Deneyimi: Kullanıcılar daha doğru ve bilgilendirici yanıtlar alır.

Belge Yeniden Sıralamayı Anlamak

Neden Yeniden Sıralama Gerekli

• İlk Geri Getirme Sınırlamaları: İlk geri getirme yöntemleri, genellikle ilgiyi tam olarak yakalamayan geniş benzerlik ölçütlerine dayanabilir.
• Gürültüyü Aşmak: Sorgu genişletme, daha az ilgili belgeler getirebilir; yeniden sıralama bunları filtreler.
• LLM’ler İçin Bağlamı Optimize Etmek: En ilgili belgeleri sunmak, LLM tarafından oluşturulan yanıtların kalitesini artırır.

Belge Yeniden Sıralama Yöntemleri

1. Cross-Encoder Modelleri

Genel Bakış

Cross-encoder’lar, bir sorgu ve bir belge olmak üzere iki girdi alan ve bir alaka puanı üreten sinir ağı modelleridir. Sorgu ve belgeyi ayrı ayrı kodlayan bi-encoder’ların aksine, cross-encoder’lar bunları birlikte işler ve iki öğe arasındaki etkileşimi daha zengin bir şekilde yakalar.

Cross-Encoder’lar Nasıl Çalışır

• Girdi Eşleştirme: Her belge sorgu ile eşleştirilir.
• Ortak Kodlama: Model, çifti birlikte kodlayarak etkileşimi yakalar.
• Puanlama: Her belge için bir alaka puanı üretir.
• Sıralama: Belgeler bu puanlara göre sıralanır.

Avantajlar

• Yüksek Hassasiyet: Daha doğru alaka değerlendirmeleri sağlar.
• Bağlamsal Anlayış: Sorgu ve belge arasındaki karmaşık ilişkileri yakalar.

Zorluklar

• Hesaplama Yoğunluğu: Özellikle büyük belge setlerinde önemli işlem gücü gerektirir.

2. ColBERT (Geç Etkileşimli Modeller)

ColBERT Nedir?

ColBERT (BERT Üzerinde Bağlamsal Geç Etkileşim), verimlilik ve etkinlik arasında denge kurmak için tasarlanmış bir geri getirme modelidir. Sorgu ve belge token’ları arasında detaylı karşılaştırmalar yapabilen, geç etkileşimli bir mekanizma kullanır ve yüksek hesaplama maliyetinden kaçınır.

ColBERT Nasıl Çalışır

• Token Düzeyinde Kodlama: Sorgu ve belge token’larını BERT ile ayrı ayrı kodlar.
• Geç Etkileşim: Puanlama sırasında sorgu ve belge token’larını benzerlik ölçütleriyle karşılaştırır.
• Verimlilik: Belge gömülerinin önceden hesaplanmasına olanak tanır.

Avantajlar

• Verimli Puanlama: Tam cross-encoder’lardan daha hızlıdır.
• Etkili Geri Getirme: Yüksek geri getirme kalitesini korur.

Kullanım Alanları

• Hesaplama kaynaklarının sınırlı olduğu büyük ölçekli geri getirmeler için uygundur.

3. FlashRank

Genel Bakış

FlashRank, son teknoloji cross-encoder’ları kullanan hafif ve hızlı bir yeniden sıralama kütüphanesidir. Mevcut akışlara kolayca entegre olacak şekilde tasarlanmıştır ve minimum ek yükle yeniden sıralama performansını artırır.

Özellikler

• Kullanım Kolaylığı: Hızlı entegrasyon için basit API.
• Hız: Hızlı yeniden sıralama için optimize edilmiştir.
• Doğruluk: Yüksek kaliteli yeniden sıralama için etkili modeller kullanır.

Kullanım Örneği

from flashrank import Ranker, RerankRequest

query = 'Geliri artıran en önemli faktörler nelerdi?'

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")
rerank_request = RerankRequest(query=query, passages=documents)
results = ranker.rerank(rerank_request)

Faydalar

• Yeniden Sıralamayı Basitleştirir: Model yönetiminin karmaşıklığını soyutlar.
• Performansı Optimize Eder: Hız ve doğruluk arasında etkili bir denge sağlar.

RAG Sistemlerinde Belge Yeniden Sıralama Uygulaması

Süreç

1. İlk Geri Getirme: Genişletilmiş sorgu kullanılarak aday belge seti getirilir.
2. Yeniden Sıralama: Her belgenin alaka düzeyini değerlendirmek için yeniden sıralama modeli (ör. Cross-Encoder, ColBERT) uygulanır.
3. Seçim: En üstteki belgeler LLM için bağlam olarak seçilir.

Dikkat Edilmesi Gerekenler

• Hesaplama Kaynakları: Yeniden sıralama kaynak yoğun olabilir; performans ve maliyet arasında denge gerektirir.
• Model Seçimi: Uygulamanın doğruluk ve verim gereksinimlerine uygun modeller seçilmelidir.
• Entegrasyon: Yeniden sıralamanın mevcut akışa sorunsuz entegre olduğundan emin olun.

RAG’de Sorgu Genişletme ve Belge Yeniden Sıralamanın Birleştirilmesi

Sorgu Genişletme ve Yeniden Sıralama Arasındaki Sinerji

Tamamlayıcı Teknikler

• Sorgu Genişletme arama kapsamını genişleterek daha fazla belge getirir.
• Belge Yeniden Sıralama bu sonuçları rafine ederek en alakalı olanlara odaklanır.

Birleştirmenin Faydaları

• Artırılmış Hatırlama ve Hassasiyet: Birlikte, getirilen belgelerin hem sayısını hem de kalitesini artırır.
• Sağlam Geri Getirme: Yalnızca kullanılan her yöntemin sınırlamalarını aşar.
• İyileşmiş LLM Çıktısı: Daha iyi bağlam sunarak daha doğru ve bilgilendirici yanıtlar sağlar.

Birlikte Nasıl Çalışırlar

1. Kullanıcı Sorgusu Girişi: Orijinal sorgu alınır.
2. Sorgu Genişletme: Sorgu, LLM tabanlı genişletme gibi yöntemlerle daha kapsamlı bir arama sorgusuna dönüştürülür.
3. İlk Geri Getirme: Genişletilmiş sorgu ile geniş bir belge seti getirilir.
4. Belge Yeniden Sıralama: Yeniden sıralama modelleri, belgeleri orijinal sorguya göre değerlendirir ve yeniden düzenler.
5. Bağlam Sağlama: En üstteki belgeler LLM’ye bağlam olarak sunulur.
6. Yanıt Üretimi: LLM, en alakalı belgelerden alınan bilgilerle yanıt oluşturur.

Pratik Uygulama Adımları

Örnek İş Akışı

• LLM ile Sorgu Genişletme:

  def expand_query(query):
      prompt = f"Provide additional related queries for: '{query}'"
      expanded_queries = llm.generate(prompt)
      expanded_query = ' '.join([query] + expanded_queries)
      return expanded_query
  

• İlk Geri Getirme:

  documents = vector_db.retrieve_documents(expanded_query)
  

• Belge Yeniden Sıralama:

  from sentence_transformers import CrossEncoder
  cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
  pairs = [[query, doc.text] for doc in documents]
  scores = cross_encoder.predict(pairs)
  ranked_docs = [doc for _, doc in sorted(zip(scores, documents), reverse=True)]
  

• En Üstteki Belgelerin Seçilmesi:

  top_documents = ranked_docs[:top_k]
  

• LLM ile Yanıt Üretimi:

  context = '\n'.join([doc.text for doc in top_documents])
  prompt = f"Answer the following question using the context provided:\n\nQuestion: {query}\n\nContext:\n{context}"
  response = llm.generate(prompt)
  

İzleme ve Optimizasyon

• Performans Metrikleri: Hassasiyet, hatırlama ve alaka puanları gibi metriklerle geri getirme etkinliğini düzenli olarak ölçün.
• Geri Bildirim Döngüleri: Kullanıcı geri bildirimlerini sorgu genişletme ve yeniden sıralama stratejilerini geliştirmek için entegre edin.
• Kaynak Yönetimi: Sonuçları önbelleğe alarak veya yeniden sıralanan belge sayısını sınırlayarak hesaplama kaynaklarını optimize edin.

Kullanım Alanları ve Örnekler

Örnek 1: Müşteri Desteği için Yapay Zekâ Sohbet Botlarını Güçlendirmek

Senaryo

Bir şirket, müşterilerin ürünleri ve hizmetleriyle ilgili sorularını yanıtlamak için bir Yapay Zekâ sohbet botu kullanıyor. Müşteriler sorularını farklı şekillerde, çeşitli terimler veya ifadeler kullanarak sorabiliyor.

Zorluklar

• Değişken müşteri dili ve terminolojisi.
• Müşteri memnuniyetini sürdürmek için doğru ve hızlı yanıt ihtiyacı.

Uygulama

• Sorgu Genişletme: Sohbet botu, müşteri sorgularını eşanlamlılar ve ilgili terimleri de içerecek şekilde genişletir.
  Örneğin, müşteri “Cihazımı nasıl tamir edebilirim?” diye sorarsa, sorgu “cihazı onarmak”, “aparatı sorun gidermek” gibi terimleri de kapsayacak şekilde genişletilir.
• Belge Yeniden Sıralama: Getirilen yardım makaleleri ve SSS’ler, en alakalı çözümler önceliklendirilerek yeniden sıralanır. Cross-encoder’lar, her belgenin müşterinin belirli sorununa olan ilgisini değerlendirir.

Faydalar

• Yanıtların doğruluğu ve alaka düzeyi artar.
• Müşteri memnuniyeti yükselir ve destek çözüm süreleri azalır.

Örnek 2: Yapay Zekâ Destekli Araştırma Araçlarını Optimize Etmek

Senaryo

Araştırmacılar, çalışmalarında ilgili akademik makaleleri, verileri ve bulguları bulmak için bir Yapay Zekâ asistanı kullanıyor.

Zorluklar

• Özel terminoloji içeren karmaşık sorgular.
• Gözden geçirilmesi gereken büyük hacimli akademik literatür.

Uygulama

• Sorgu Genişletme: Asistan, LLM’ler kullanarak sorguları ilgili kavramlar ve eşanlamlılarla genişletir.
  “Kuantum dolanıklık uygulamaları” gibi bir sorgu, “kuantum dolanıklığın kullanımları”, “kuantum hesaplama dolanıklığı” gibi terimleri de kapsayacak şekilde genişletilir.
• Belge Yeniden Sıralama: Akademik makaleler, rafine edilmiş …