LLM Güvenliği

LLM güvenliği, büyük dil modeli dağıtımlarını prompt enjeksiyonu, jailbreaking, veri sızdırma, RAG zehirlenmesi ve model kötüye kullanımı gibi yapay zekaya özgü benzersiz tehdit sınıfından korumak için kullanılan uygulamaları, teknikleri ve kontrolleri kapsar.

LLM güvenliği, geleneksel yazılım güvenliğinde var olmayan benzersiz bir tehdit sınıfından büyük dil modelleri üzerine inşa edilmiş uygulamaları koruma konusunda uzmanlaşmış bir disiplindir. Kuruluşlar yapay zeka chatbotlarını, otonom ajanları ve LLM destekli iş akışlarını ölçekte dağıttıkça, LLM’ye özgü güvenlik açıklarını anlamak ve ele almak kritik bir operasyonel gereklilik haline gelir.

LLM’ler Neden Yeni Bir Güvenlik Yaklaşımı Gerektirir

Geleneksel uygulama güvenliği, kod (talimatlar) ile veri (kullanıcı girdisi) arasında net bir sınır olduğunu varsayar. Girdi doğrulama, parametreli sorgular ve çıktı kodlaması bu sınırı yapısal olarak zorlayarak çalışır.

Büyük dil modelleri bu sınırı ortadan kaldırır. Her şeyi — geliştirici talimatlarını, kullanıcı mesajlarını, alınan belgeleri, araç çıktılarını — birleşik bir doğal dil token akışı olarak işlerler. Model, bir sistem prompt’unu, sistem prompt’u gibi görünmek üzere tasarlanmış kötü niyetli bir kullanıcı girdisinden güvenilir bir şekilde ayırt edemez. Bu temel özellik, geleneksel yazılımda eşdeğeri olmayan saldırı yüzeyleri oluşturur.

Ek olarak, LLM’ler yetenekli, araç kullanan ajanlardır. Savunmasız bir chatbot sadece bir içerik riski değildir — veri sızdırma, yetkisiz API çağrıları yapma ve bağlı sistemleri manipüle etme için bir saldırı vektörü olabilir.

OWASP LLM İlk 10

Açık Dünya Çapında Uygulama Güvenliği Projesi (OWASP), kritik LLM güvenlik riskleri için endüstri standardı referans olan LLM İlk 10’u yayınlar:

LLM01 — Prompt Enjeksiyonu: Kötü niyetli girdiler veya alınan içerik LLM talimatlarını geçersiz kılar. Bkz. Prompt Enjeksiyonu .

LLM02 — Güvensiz Çıktı İşleme: LLM tarafından oluşturulan içerik, doğrulama olmadan aşağı akış sistemlerinde (web render etme, kod yürütme, SQL sorguları) kullanılır ve XSS, SQL enjeksiyonu ve diğer ikincil saldırıları mümkün kılar.

LLM03 — Eğitim Verisi Zehirlenmesi: Eğitim veri kümelerine enjekte edilen kötü niyetli veriler, model davranışının bozulmasına neden olur veya arka kapılar oluşturur.

LLM04 — Model Hizmet Reddi: Hesaplama açısından pahalı girdiler aşırı kaynak tüketimine neden olarak hizmet kullanılabilirliğini düşürür.

LLM05 — Tedarik Zinciri Güvenlik Açıkları: Tehlikeye atılmış önceden eğitilmiş modeller, eklentiler veya eğitim verileri, dağıtımdan önce güvenlik açıkları getirir.

LLM06 — Hassas Bilgi İfşası: LLM’ler eğitim verilerinden, sistem prompt’larından veya alınan belgelerden gizli verileri ifşa eder. Bkz. Veri Sızdırma (Yapay Zeka Bağlamı) .

LLM07 — Güvensiz Eklenti Tasarımı: LLM’lere bağlı eklentiler veya araçlar uygun yetkilendirmeden yoksundur ve yükseltme saldırılarını mümkün kılar.

LLM08 — Aşırı Yetki: Aşırı izinler veya yetenekler verilen LLM’ler manipüle edildiklerinde önemli zararlara neden olabilir.

LLM09 — Aşırı Güven: Kuruluşlar LLM çıktılarını eleştirel olarak değerlendirmekte başarısız olur ve hataların veya uydurulmuş bilgilerin kararları etkilemesine olanak tanır.

LLM10 — Model Hırsızlığı: Özel LLM ağırlıklarına veya yeteneklerine yetkisiz erişim veya çoğaltma.

Logo

İşinizi büyütmeye hazır mısınız?

Bugün ücretsiz denemenizi başlatın ve günler içinde sonuçları görün.

Demo talep et Giriş yap

Temel LLM Güvenlik Kontrolleri

Ayrıcalık Ayrımı ve En Az Yetki

En etkili tek kontrol: LLM’nizin erişebileceği ve yapabileceği şeyleri sınırlayın. Bir müşteri hizmetleri chatbotunun İK veritabanına, ödeme işleme sistemlerine veya yönetici API’lerine erişime ihtiyacı yoktur. En az ayrıcalık ilkelerini uygulamak, başarılı bir saldırının patlama yarıçapını önemli ölçüde sınırlar.

Sistem Prompt Güvenliği

Sistem prompt’ları chatbot davranışını tanımlar ve genellikle işletmeye duyarlı talimatlar içerir. Güvenlik değerlendirmeleri şunları içerir:

  • Sistem prompt’larına gizli bilgiler, API anahtarları veya kimlik bilgileri eklemeyin
  • Prompt’ları geçersiz kılma girişimlerine dirençli olacak şekilde tasarlayın
  • Modele prompt içeriklerini ifşa etmemesi için açıkça talimat verin
  • Düzenli güvenlik değerlendirmelerinin bir parçası olarak prompt gizliliğini test edin (bkz. Sistem Prompt Çıkarma )

Girdi ve Çıktı Doğrulama

Hiçbir filtre kusursuz olmasa da, girdileri doğrulamak saldırı yüzeyini azaltır:

  • Kullanıcı girdilerinde yaygın enjeksiyon kalıplarını ve talimat benzeri ifadeleri işaretleyin ve engelleyin
  • Model çıktılarını aşağı akış sistemlerine aktarmadan önce doğrulayın
  • Model yanıtlarını kısıtlamak için yapılandırılmış çıktı formatları (JSON şemaları) kullanın

RAG Pipeline Güvenliği

Alınarak genişletilmiş üretim (retrieval-augmented generation), yeni saldırı yüzeyleri sunar. Güvenli RAG dağıtımları şunları gerektirir:

  • İndekslenmiş bilgi tabanlarına kimlerin içerik ekleyebileceği konusunda katı kontroller
  • İndekslemeden önce içerik doğrulama
  • Alınan tüm içeriği potansiyel olarak güvenilmez olarak ele alma
  • RAG zehirlenmesi girişimlerini izleme

Çalışma Zamanı Korkulukları

Katmanlı çalışma zamanı korkulukları, model seviyesi hizalamanın ötesinde derinlemesine savunma sağlar:

  • Hem girdiler hem de çıktılar üzerinde içerik denetleme filtreleri
  • Davranışsal anomali tespiti
  • Hız sınırlama ve kötüye kullanım önleme
  • Adli analiz için denetim kaydı

Düzenli Güvenlik Testi

LLM saldırı teknikleri hızla gelişir. Yapay zeka penetrasyon testi ve yapay zeka red teaming düzenli olarak gerçekleştirilmelidir — en azından büyük değişikliklerden önce ve yıllık temel değerlendirmeler olarak.

İlgili Terimler

Sıkça sorulan sorular

LLM güvenliğini geleneksel uygulama güvenliğinden farklı kılan nedir?

LLM'ler doğal dil talimatlarını ve verileri aynı kanal üzerinden işler, bu da kod ile içeriği yapısal olarak ayırmayı imkansız hale getirir. Girdi doğrulama ve parametreli sorgular gibi geleneksel savunmaların doğrudan bir eşdeğeri yoktur. Prompt enjeksiyonu, jailbreaking ve RAG zehirlenmesi gibi yeni saldırı sınıfları özel güvenlik uygulamaları gerektirir.

En kritik LLM güvenlik riskleri nelerdir?

OWASP LLM İlk 10, en kritik riskleri tanımlar: prompt enjeksiyonu, güvensiz çıktı işleme, eğitim verisi zehirlenmesi, model hizmet reddi, tedarik zinciri güvenlik açıkları, hassas bilgi ifşası, güvensiz eklenti tasarımı, aşırı yetki, aşırı güven ve model hırsızlığı.

Kuruluşlar LLM güvenliğine nasıl yaklaşmalıdır?

LLM güvenliği derinlemesine savunma gerektirir: güvenli sistem prompt tasarımı, girdi/çıktı doğrulama, çalışma zamanı korkulukları, ayrıcalık ayrımı, izleme ve anomali tespiti, düzenli penetrasyon testleri ve yapay zekaya özgü riskler hakkında çalışan güvenlik farkındalığı.

LLM Güvenlik Durumunuzu Değerlendirin

Tüm OWASP LLM İlk 10 kategorilerini kapsayan profesyonel LLM güvenlik değerlendirmesi. Yapay zeka chatbotunuzun güvenlik açıklarının net bir resmini ve önceliklendirilmiş bir düzeltme planı edinin.

Güvenlik Değerlendirmesi Rezervasyonu Yapın Demo Rezervasyonu Yapın

Daha fazla bilgi

OWASP LLM Top 10
OWASP LLM Top 10

OWASP LLM Top 10

OWASP LLM Top 10, büyük dil modelleri üzerine inşa edilmiş uygulamalar için en kritik 10 güvenlik ve emniyet riskini içeren endüstri standardı listedir; prompt ...

5 dakika okuma
OWASP LLM Top 10 AI Security +3