LLM Bağlamı
FlowHunt'in LLM Bağlamı ile yapay zeka destekli geliştirmeyi güçlendirin. Akıllı dosya seçimi, gelişmiş bağlam yönetimi ve doğrudan LLM entegrasyonu ile favori ...
5 dakika okuma
AI
LLM
+4
Custom LLM OpenAI bileşeni, OpenAI API ile uyumlu büyük dil modelleriyle etkileşim kurmak için esnek bir arayüz sunar. Bu, yalnızca OpenAI’dan gelen modelleri değil, aynı zamanda JinaChat, LocalAI ve Prem gibi alternatif sağlayıcılardan gelen modelleri de kapsar. Bileşen, yüksek derecede yapılandırılabilir olacak şekilde tasarlanmıştır ve doğal dil işleme gereken çeşitli yapay zeka iş akışı senaryoları için uygundur.
Amaç ve İşlevsellik
Bu bileşen, yapay zeka iş akışınız ile OpenAI API standardını takip eden dil modelleri arasında bir köprü görevi görür. Model sağlayıcısını, API uç noktasını ve diğer parametreleri belirtmenize olanak tanıyarak, iş akışınızda metin, sohbet veya diğer dil tabanlı çıktıları üretmenizi veya işlemenizi sağlar. İçerik özetlemek, soruları yanıtlamak, yaratıcı metinler üretmek veya diğer NLP görevlerini gerçekleştirmek istiyorsanız, bu bileşeni ihtiyaçlarınıza göre özelleştirebilirsiniz.
Ayarlar
Bileşenin davranışını birkaç parametre aracılığıyla kontrol edebilirsiniz:
| Parametre | Tür | Zorunlu | Varsayılan | Açıklama |
|---|---|---|---|---|
| Maksimum Token | int | Hayır | 3000 | Üretilen metin çıktısının maksimum uzunluğunu sınırlar. |
| Model Adı | string | Hayır | (boş) | Kullanılacak tam modeli belirtin (örn. gpt-3.5-turbo). |
| OpenAI API Temeli | string | Hayır | (boş) | Özel bir API uç noktası ayarlamanızı sağlar (örn. JinaChat, LocalAI veya Prem için). Boşsa OpenAI varsayılan alınır. |
| API Anahtarı | string | Evet | (boş) | Seçilen dil modeli sağlayıcısına erişmek için gizli API anahtarınız. |
| Sıcaklık | float | Hayır | 0.7 | Çıktının yaratıcılığını kontrol eder. Daha düşük değerler daha deterministik sonuçlar verir. Aralık: 0-1. |
| Önbellek Kullan | bool | Hayır | true | Sorguların önbelleğe alınmasını etkinleştirir/devre dışı bırakır, verimliliği artırır ve maliyeti düşürür. |
Not: Tüm bu yapılandırma seçenekleri gelişmiş ayarlardır ve modelin davranışı ve entegrasyonu üzerinde ayrıntılı kontrol sunar.
Girdiler ve Çıktılar
Girdiler:
Bu bileşen için herhangi bir giriş bağlantısı yoktur.Çıktılar:
- Bir
BaseChatModelnesnesi üretir ve bu nesne, iş akışınızda sonraki bileşenlerde daha fazla işlem veya etkileşim için kullanılabilir.
- Bir
Neden Bu Bileşeni Kullanmalısınız?
- Esneklik: Üçüncü parti veya yerel dağıtımlar dahil, herhangi bir OpenAI uyumlu dil modeline bağlanın.
- Özelleştirme: Token sınırı, rastgelelik (sıcaklık) ve önbellekleme gibi parametreleri kullanımınıza göre ayarlayın.
- Genişletilebilirlik: Sohbet botları, içerik üretimi, özetleme, kod oluşturma ve daha fazlası için uygundur.
- Verimlilik: Yerleşik önbellekleme, yinelenen sorguları önler ve API kullanımını maliyet etkin şekilde yönetmenizi sağlar.
Örnek Kullanım Senaryoları
- OpenAI uyumlu bir dil modelinin yerel örneğini kullanarak bir sohbet botu dağıtın.
- JinaChat, LocalAI veya özel bir API uç noktası kullanarak özetler veya yaratıcı içerikler üretin.
- LLM destekli metin analizini daha büyük bir yapay zeka iş akışına entegre edin, çıktıları aşağı akış işlem bileşenlerine bağlayın.
Özet Tablosu
| Özellik | Açıklama |
|---|---|
| Sağlayıcı Desteği | OpenAI, JinaChat, LocalAI, Prem veya herhangi bir OpenAI API uyumlu servis |
| Çıktı Türü | BaseChatModel |
| API Uç Noktası | Yapılandırılabilir |
| Güvenlik | API Anahtarı gerekli (gizli tutulur) |
| Kullanılabilirlik | Güçlü kullanıcılar için gelişmiş ayarlar, ancak varsayılanlar çoğu uygulama için yeterli |
Bu bileşen, doğrudan OpenAI veya alternatif bir sağlayıcı kullanıyor olsanız da, esnek, sağlam ve yapılandırılabilir LLM yeteneklerini yapay zeka iş akışlarınıza entegre etmek isteyen herkes için idealdir.
