LLM Mistral bileşeni nedir?

LLM Mistral bileşeni, Mistral modellerini akışınıza bağlar. Gerçek büyünün gerçekleştiği yer Generatörler ve Ajanlar olsa da, LLM bileşenleri kullanılan modeli kontrol etmenizi sağlar. Tüm bileşenler varsayılan olarak ChatGPT-4 ile gelir. Modeli değiştirmek veya üzerinde daha fazla denetim sağlamak isterseniz bu bileşeni bağlayabilirsiniz.

Bir LLM Bileşenini bağlamanın isteğe bağlı olduğunu unutmayın. LLM kullanan tüm bileşenler varsayılan olarak ChatGPT-4o ile gelir. LLM bileşenleri, modeli değiştirmenize ve model ayarlarını kontrol etmenize olanak tanır.

LLM Mistral Bileşeni Ayarları

Maksimum Token

Token’lar, modelin işlediği ve ürettiği metnin bireysel birimleridir. Token kullanımı modellere göre değişir ve tek bir token bir kelime, alt kelime veya tek bir karakter olabilir. Modeller genellikle milyonlarca token üzerinden fiyatlandırılır.

Maksimum token ayarı, tek bir etkileşim veya istekte işlenebilecek toplam token sayısını sınırlar ve yanıtların makul sınırlar içinde üretilmesini sağlar. Varsayılan sınır 4.000 token’dır; bu, belgeleri ve birkaç kaynağı özetleyip yanıt oluşturmak için ideal boyuttur.

Sıcaklık

Sıcaklık, yanıtların çeşitliliğini 0 ile 1 arasında kontrol eder.

0.1 sıcaklık, yanıtları çok direkt fakat potansiyel olarak tekrarlı ve yetersiz yapar.

1 gibi yüksek bir sıcaklık ise, yanıtlarda maksimum yaratıcılığa izin verir ama alakasız veya hatta uydurma yanıtlar üretme riski taşır.

Örneğin, bir müşteri hizmetleri botu için önerilen sıcaklık 0.2 ile 0.5 arasındadır. Bu seviye, yanıtların hem alakalı hem de doğal değişkenlikte olmasını sağlar.

Model

Burası model seçicisidir. Burada Mistral’dan desteklenen tüm modelleri bulacaksınız. Şu anda aşağıdaki modelleri destekliyoruz:

• Mistral 7B – 7,3 milyar parametreli, transformers mimarisi kullanan bir dil modeli; Apache 2.0 lisansı ile yayınlanmıştır. Daha küçük bir proje olmasına rağmen, genellikle Meta’nın Llama 2 modelinden daha iyi performans gösterir. Testlerimizde nasıl başarılı olduğunu inceleyin.
• Mistral 8x7B (Mixtral) – Bu model, sekiz farklı “uzman” grubundan oluşan, toplamda 46,7 milyar parametre içeren seyrek uzmanlar karışımı mimarisini kullanır. Her token, 12,9 milyar parametreye kadar kullanır ve çoğu ölçütte LLaMA 2 70B ve GPT-3.5 ile eşleşen ya da onları aşan bir performans sunar. Çıktı örneklerine bakın.
• Mistral Large – 123 milyar parametreli, 128.000 token’lık bağlam uzunluğuna sahip yüksek performanslı bir dil modeli. Birden çok dili, programlama dilleri de dahil olmak üzere akıcı bir şekilde kullanabilir ve özellikle programlama ile ilgili görevlerde LLaMA 3.1 405B gibi modellere karşı rekabetçi bir performans sergiler. Daha fazla bilgi edinin.

LLM Mistral’ı Akışınıza Nasıl Ekleyebilirsiniz?

Tüm LLM bileşenlerinin yalnızca bir çıktı koluna sahip olduğunu fark edeceksiniz. Girdi, bileşenden geçmez; çünkü bu yalnızca modeli temsil eder, asıl üretim ise AI Ajanları ve Generatörlerde gerçekleşir.

LLM kolu her zaman mor renktedir. LLM giriş kolu, AI kullanarak metin üreten veya veri işleyen herhangi bir bileşende bulunur. Kola tıklayarak seçenekleri görebilirsiniz:

Bu sayede her türlü aracı oluşturabilirsiniz. Bileşeni çalışırken görelim. İşte Mistral 7B modelini yanıt üretmek için kullanan basit bir AI Ajanı sohbet botu Akışı. Bunu temel bir Mistral sohbet botu olarak düşünebilirsiniz.

Bu basit Sohbet Botu Akışı şunları içerir:

• Sohbet girişi: Bir kullanıcının sohbete gönderdiği mesajı temsil eder.
• Sohbet geçmişi: Sohbet botunun önceki yanıtları hatırlamasını ve hesaba katmasını sağlar.
• Sohbet çıktısı: Sohbet botunun nihai yanıtını temsil eder.
• AI Ajanı: Yanıtları üreten otonom AI ajanı.
• LLM Mistral: Mistral’ın metin üretim modellerine bağlantı.