Sorgu Genişletme

Sorgu Genişletme, kullanıcı sorgularını terimler veya bağlam ekleyerek zenginleştirir; bu da belge getirme işlemini daha doğru yanıtlar için geliştirir. RAG sistemlerinde, geri çağırmayı ve alaka düzeyini artırır; sohbet robotlarının ve yapay zekanın belirsiz veya eşanlamlı sorguları etkili şekilde işleyerek kesin yanıtlar sunmasına yardımcı olur.

Sorgu Genişletme, bir kullanıcının orijinal sorgusunu, getirme mekanizmasına göndermeden önce ek terimler veya bağlam ekleyerek zenginleştirme sürecini ifade eder. Bu geliştirme, daha alakalı belgelerin veya bilgi parçalarının getirilmesine yardımcı olur ve ardından daha doğru ve bağlamsal olarak uygun bir yanıt üretmek için kullanılır. Belgeler alternatif sorgularla aranıp yeniden sıralanırsa, RAG süreci istem bağlam penceresinde çok daha hassas belge sonuçları elde eder.

Getirme Takviyeli Üretim (RAG) Nedir?

Getirme Takviyeli Üretim (RAG), getirme mekanizmalarını üretici modellerle birleştirerek daha doğru ve bağlamsal olarak uygun yanıtlar üreten bir yapay zeka mimarisidir. RAG sistemlerinde bir getirme bileşeni, bir kullanıcı sorgusuna dayanarak bilgi tabanından alakalı belgeleri veya veri parçalarını getirir. Ardından, üretici model (genellikle Büyük Dil Modeli veya LLM), bu getirilen bilgileri kullanarak tutarlı ve bilgilendirici bir yanıt oluşturur.

RAG Sistemlerinde Sorgu Genişletmenin Rolü

Getirme Performansını Artırma

RAG sistemlerinde oluşturulan yanıtın kalitesi, getirilen belgelerin alaka düzeyine büyük ölçüde bağlıdır. Getirme bileşeni en uygun bilgiyi getiremezse, üretici model yetersiz veya alakasız yanıtlar üretebilir. Sorgu Genişletme, ilk sorguyu iyileştirerek tüm alakalı belgelerin getirilme olasılığını artırarak bu zorluğun üstesinden gelir.

Geri Çağırmayı Artırma

Orijinal sorguyu ilişkili terimler, eşanlamlılar veya yeniden ifadelerle genişleterek, Sorgu Genişletme arama alanını genişletir. Bu, getirme sisteminin geri çağırmasını artırır; yani bilgi tabanından daha yüksek oranda alakalı belge yakalanır. Daha yüksek geri çağırma, üretici model için daha kapsamlı bağlam oluşturarak RAG sisteminin genel çıktı kalitesini geliştirir.

RAG Sistemlerinde Sorgu Genişletme Nasıl Kullanılır?

Sorgu Genişletme Sürecindeki Adımlar

1. Kullanıcı Sorgusunu Al: Süreç, kullanıcının orijinal sorgusuyla başlar; bu sorgu eksik, belirsiz veya bilgi tabanındaki belgelerle uyuşmayan özel terimler içerebilir.
2. Genişletilmiş Sorgular Oluştur: Sistem, orijinale anlamsal olarak benzer ek sorgular üretir. Bu, Büyük Dil Modellerinden (LLM’ler) yararlanmak dahil olmak üzere çeşitli tekniklerle yapılabilir.
3. Belgeleri Getir: Her genişletilmiş sorgu bilgi tabanından belge getirmek için kullanılır. Bu, potansiyel olarak alakalı daha büyük ve çeşitli bir belge setiyle sonuçlanır.
4. Sonuçları Birleştir: Getirilen belgeler birleştirilir, tekrarlar kaldırılır ve alaka düzeyine göre sıralanır.
5. Yanıt Üret: Üretici model, birleştirilen belgeleri kullanarak kullanıcının sorgusuna son yanıtı üretir.

Sorgu Genişletme Teknikleri

1. Büyük Dil Modellerini (LLM’ler) Kullanma

GPT-4 gibi LLM’ler, orijinal sorgunun anlamsal olarak benzer sorgularını veya yeniden ifadelerini üretebilir. Dilin bağlamını ve inceliklerini anlayarak, LLM’ler aynı sorunun farklı şekillerde sorulmasını yakalayan yüksek kaliteli genişletmeler oluşturabilir.

Örnek:

• Orijinal Sorgu: “İklim değişikliğinin etkileri”
• LLM Tarafından Oluşturulan Genişletilmiş Sorgular:
  • “Küresel ısınmanın etkisi”
  • “Çevresel değişikliklerin sonuçları”
  • “İklim değişkenliği ve etkileri”

2. Varsayımsal Yanıt Üretimi

Bu yaklaşımda, sistem bir LLM kullanarak kullanıcının sorgusuna varsayımsal bir yanıt üretir. Varsayımsal yanıt, getirme sırasında daha fazla bağlam sağlamak üzere orijinal sorguya eklenir.

Süreç:

• Sorguya varsayımsal bir yanıt oluştur.
• Orijinal sorgu ile varsayımsal yanıtı birleştir.
• Birleştirilmiş metni getirme sorgusu olarak kullan.

Örnek:

• Orijinal Sorgu: “Gelir artışına katkı sağlayan faktörler nelerdi?”
• Oluşturulan Varsayımsal Yanıt:
  • “Şirketin geliri, başarılı pazarlama kampanyaları, ürün çeşitlendirmesi ve yeni pazarlara açılması sayesinde arttı.”
• Birleşik Sorgu:
  • “Gelir artışına katkı sağlayan faktörler nelerdi? Şirketin geliri, başarılı pazarlama kampanyaları, ürün çeşitlendirmesi ve yeni pazarlara açılması sayesinde arttı.”

3. Çoklu Sorgu Yaklaşımı

Bu yöntem, orijinal sorgunun farklı ifadelerini veya yönlerini yakalayan birden fazla alternatif sorgu oluşturmayı içerir. Her sorgu, belgeleri bağımsız olarak getirmek için kullanılır.

Süreç:

• Bir LLM kullanarak çoklu benzer sorgular üret.
• Her bir sorgu için ayrı ayrı belgeler getir.
• Getirilen belgeleri birleştir ve sırala.

Örnek:

• Orijinal Sorgu: “Şirket büyümesinin ana etkenleri”
• Genişletilmiş Sorgular:
  • “İş büyümesinin temel faktörleri”
  • “Şirket performansındaki artışa ne yol açtı?”
  • “Kurumsal büyümeye önemli katkıda bulunanlar”

Örnekler ve Kullanım Senaryoları

Vaka Çalışması: Yıllık Rapor Analizinde RAG Geliştirme

Senaryo:
Bir yapay zeka sistemi, bir şirketin yıllık raporuna dayalı soruları yanıtlamak için tasarlanmıştır. Bir kullanıcı, “Yönetici ekibinde önemli bir değişiklik oldu mu?” diye sorar.

Uygulama:

1. Varsayımsal Yanıt Üretimi:
   • Sistem, varsayımsal bir yanıt üretir: “Yönetici ekibinde asgari düzeyde değişiklik olmuştur, bu da stratejik girişimlerde istikrar ve süreklilik sağlamıştır.”
2. Sorgu Genişletme:
   • Varsayımsal yanıt, orijinal sorguyla birleştirilerek genişletilmiş bir sorgu oluşturulur.
3. Getirme:
   • Genişletilmiş sorgu, yönetici ekibi değişikliklerini tartışan yıllık raporun daha alakalı bölümlerini getirmek için kullanılır.
4. Yanıt Üretimi:
   • Yapay zeka, getirilen bilgilere dayanarak kesin bir yanıt üretir.

Fayda:
Varsayımsal yanıtla daha fazla bağlam sunularak, sistem yalnızca orijinal sorguyla kaçırılabilecek alakalı bilgileri getirir.

Vaka Çalışması: Müşteri Destek Sohbet Robotlarında Arama Geliştirme

Senaryo:
Bir müşteri destek sohbet robotu, kullanıcılara sorun giderme konusunda yardımcı olur. Bir kullanıcı, “İnternetim yavaş.” yazar.

Uygulama:

1. LLM ile Sorgu Genişletme:
   • Genişletilmiş sorgular oluştur:
     • “Azalan internet hızı yaşanıyor”
     • “Yavaş geniş bant bağlantısı”
     • “İnternet gecikme sorunları”
2. Getirme:
   • Her sorgu, yavaş internet hızlarıyla ilgili yardım makaleleri ve sorun giderme adımlarını getirir.
3. Yanıt Üretimi:
   • Sohbet robotu, getirilen bilgileri derler ve kullanıcıyı olası çözümler konusunda yönlendirir.

Fayda:
Sohbet robotu, daha geniş bir olası sorun ve çözüm yelpazesini yakalar ve kullanıcının sorununu verimli şekilde çözme olasılığını artırır.

Vaka Çalışması: Akademik Araştırma Yardımı

Senaryo:
Bir öğrenci, “Uyku yoksunluğunun bilişsel işlev üzerindeki etkileri” konusunda kaynak bulmak için bir yapay zeka asistanı kullanır.

Uygulama:

1. Çoklu Sorgu Üretimi:
   • Benzer sorgular oluştur:
     • “Uyku eksikliği düşünme yeteneklerini nasıl etkiler?”
     • “Uyku kaybına bağlı bilişsel bozukluklar”
     • “Uyku yoksunluğu ve zihinsel performans”
2. Getirme:
   • Her sorgu için araştırma makaleleri ve makaleler getir.
3. Birleştirme ve Sıralama:
   • Sonuçları birleştir, en alakalı ve güncel çalışmaları önceliklendir.
4. Yanıt Üretimi:
   • Yapay zeka, bulguların özetini sunar ve incelenmesi gereken anahtar makaleleri önerir.

Fayda:
Öğrenci, konuya dair çeşitli yönleri kapsayan kapsamlı bilgiler alır ve daha ayrıntılı bir araştırma yapabilir.

RAG Sistemlerinde Sorgu Genişletmenin Faydaları

• Geliştirilmiş Geri Çağırma: Daha fazla alakalı belge getirilerek sistem, doğru yanıtlar üretmek için daha iyi bir bağlam sunar.
• Belirsiz Sorguları İşleme: Kısa veya muğlak sorgulara bağlam ekleyerek bu sorunu giderir.
• Eşanlamlı Tanıma: Orijinal sorguda olmayan eşanlamlılar veya ilgili terimleri içeren belgeleri yakalar.
• Gelişmiş Kullanıcı Deneyimi: Kullanıcılar, sorgularını manuel olarak iyileştirmelerine gerek kalmadan daha doğru ve bilgilendirici yanıtlar alır.

Zorluklar ve Dikkat Edilmesi Gerekenler

Aşırı Genişletme

Çok fazla genişletilmiş sorgu eklemek, alakasız belgelerin dahil edilmesine yol açabilir ve getirme doğruluğunu azaltabilir.

Çözüm:

• Kontrollü Üretim: Genişletilmiş sorgu sayısını sınırla.
• Alaka Filtresi: En alakalı genişletmeleri önceliklendirmek için puanlama mekanizmaları kullan.

Belirsizlik ve Çok Anlamlılık

Birden fazla anlama sahip kelimeler, alakasız genişletmelere yol açabilir.

Çözüm:

• Bağlama Duyarlı Genişletme: Sorgunun bağlamını dikkate alan LLM’ler kullan.
• Anlam Ayırıcı Teknikler: Sorgu bağlamına göre farklı anlamları ayırt edecek algoritmalar uygula.

Hesaplama Kaynakları

Çoklu genişletilmiş sorgu oluşturmak ve işlemek kaynak yoğun olabilir.

Çözüm:

• Verimli Modeller: Optimize edilmiş LLM’ler ve getirme sistemleri kullan.
• Önbellekleme Mekanizmaları: Sık sorguları ve genişletmeleri önbelleğe alarak hesaplamayı azalt.

Getirme Sistemleriyle Entegrasyon

Genişletilmiş sorguların mevcut getirme algoritmalarıyla etkili çalışmasını sağlamak.

Çözüm:

• Puanlama Ayarlamaları: Genişletilmiş sorguları dikkate almak için getirme puanlamasını değiştir.
• Hibrit Yaklaşımlar: Anahtar kelime tabanlı ve anlamsal getirme yöntemlerini birleştir.

Etkili Sorgu Genişletme Teknikleri

Terim Ağırlıklandırma

Genişletilmiş sorgulardaki terimlere önemini yansıtacak şekilde ağırlık atama.

• TF-IDF (Terim Frekansı-Ters Belge Frekansı): Bir terimin bir belgede, bir bütün olarak koleksiyona göre ne kadar önemli olduğunu ölçer.
• BM25 Puanlama: Arama motorlarında belgelerin alaka düzeyini tahmin etmek için kullanılan bir sıralama fonksiyonudur.
• Özel Ağırlıklar: Genişletilen terimlerin alaka düzeyine göre ağırlıkları ayarla.

Getirilen Belgeleri Yeniden Sıralama

Getirme işleminden sonra belgeleri alaka düzeyine göre yeniden sıralama.

• Çapraz Kodlayıcılar: Sorgu-belge çiftlerinin alaka düzeyini değerlendiren modeller kullan.
• Yeniden Sıralama Modelleri (örn. ColBERT, FlashRank): Verimli ve doğru yeniden sıralama sağlayan özel modeller.

Örnek:

Getirme işleminden sonra, orijinal sorguya olan alaka düzeyine göre belgeleri puanlamak ve yeniden sıralamak için bir Çapraz Kodlayıcı kullanmak.

Kullanıcı Geri Bildiriminden Yararlanma

Sorgu genişletmeyi geliştirmek için kullanıcı etkileşimlerini dahil etme.

• Örtük Geri Bildirim: Kullanıcı davranışını analiz et (tıklamalar, belgede geçirilen süre vb.).
• Açık Geri Bildirim: Kullanıcıların sorguları iyileştirmesine veya tercih edilen sonuçları seçmesine izin ver.

Yapay Zeka, Yapay Zeka Otomasyonu ve Sohbet Robotları ile Bağlantı

Yapay Zeka Destekli Sorgu Genişletme

Yapay zeka ve LLM’leri sorgu genişletmede kullanmak, gelişmiş dil anlayışından yararlanarak getirmeyi iyileştirir. Bu, sohbet robotları ve sanal asistanlar dahil olmak üzere yapay zeka sistemlerinin daha doğru ve bağlama uygun yanıtlar sunmasını sağlar.

Bilgi Getirmede Otomasyon

Sorgu genişletme sürecinin otomatikleştirilmesi, kullanıcının hassas sorgular oluşturma yükünü azaltır. Yapay zeka otomasyonu, karmaşıklığı arka planda yöneterek bilgi getirme sistemlerinin verimliliğini artırır.

Sohbet Robotu Etkileşimlerinin Geliştirilmesi

Sohbet robotları, özellikle kullanıcıların gündelik dil veya eksik ifadeler kullandığı durumlarda, sorgu genişletmeden yararlanarak kullanıcı niyetlerini daha iyi anlayabilir. Bu, daha tatmin edici etkileşimler ve etkili sorun çözümü sağlar.

Örnek:

Teknik destek sağlayan bir sohbet robotu, kullanıcının “Uygulamam çalışmıyor” gibi belirsiz bir sorgusunu “uygulama çöküyor”, “yazılım yanıt vermiyor” ve “uygulama hata mesajları” gibi terimlerle genişleterek daha hızlı bir çözüme ulaşabilir.

RAG için Sorgu Genişletme Araştırmaları

1. Finansal Belgelerde Soru Yanıtlamada RAG Tabanlı Modellerin Getirme Performansını Geliştirme
   Bu makale, Getirme Takviyeli Üretim (RAG) ile güçlendirilmiş Büyük Dil Modellerinin (LLM’ler), özellikle finansal belge bağlamında etkinliğini inceler. LLM çıktılarındaki yanlışlıkların çoğunlukla LLM’lerden ziyade yetersiz metin parçası getirmeden kaynaklandığı tespit edilmiştir. Çalışmada, gelişmiş parçalara ayırma teknikleri ve sorgu genişletme dahil olmak üzere RAG süreçlerinde iyileştirmeler, ayrıca üst veri ek açıklamaları ve yeniden sıralama algoritmaları önerilmektedir. Bu yöntemler, metin getirmeyi hassaslaştırarak LLM performansını doğru yanıtlar üretmede artırmayı amaçlar. Daha fazlasını okuyun

2. Getirme ve Yönetimi Geliştirme: RAG Sistemlerinde Kalite ve Verimlilik için Dört Modüllü Sinerji
   Makale, RAG sistemlerini geliştirmeye yönelik modüler bir yaklaşım sunar ve bilgi getirmeyi iyileştirmek için arama dostu sorgular oluşturan Sorgu Yeniden Yazıcı modülüne odaklanır. Bilgi Düzensizliği ve Sorgulardaki Belirsizlik sorunlarını birden fazla sorgu oluşturarak ele alır. Ayrıca, Bilgi Filtresi ve Bellek Bilgi Rezervuarı, alakasız bilginin yönetilmesi ve getirme kaynaklarının optimize edilmesi için önerilmektedir. Bu yenilikler, QA veri kümeleri üzerinde yapılan deneylerle doğrulanan RAG sistemlerinde yanıt kalitesi ve verimliliği artırmayı amaçlar. Koda ve detaylara ulaşın.

3. MultiHop-RAG: Çok Aşamalı Sorgular için Getirme Takviyeli Üretimin Kıyaslanması
   Bu araştırma, mevcut RAG sistemlerinin, birden fazla kanıt parçası üzerinden akıl yürütme gerektiren çok aşamalı sorgularla ilgili zorluklarını vurgular. RAG sistemlerini çok aşamalı sorgularda kıyaslamak için özel olarak tasarlanmış yeni bir veri seti sunar ve mevcut RAG yeteneklerinin sınırlarını zorlamayı amaçlar. Makalede, RAG yöntemlerinin karmaşık sorgu yapılarıyla etkili şekilde başa çıkması ve pratik uygulamalar için LLM benimsenmesini iyileştirmesi için gereken gelişmeler tartışılır.