LLM Güvenliği

LLM güvenliği, geleneksel yazılım güvenliğinde var olmayan benzersiz bir tehdit sınıfından büyük dil modelleri üzerine inşa edilmiş uygulamaları koruma konusunda uzmanlaşmış bir disiplindir. Kuruluşlar yapay zeka chatbotlarını, otonom ajanları ve LLM destekli iş akışlarını ölçekte dağıttıkça, LLM’ye özgü güvenlik açıklarını anlamak ve ele almak kritik bir operasyonel gereklilik haline gelir.

LLM’ler Neden Yeni Bir Güvenlik Yaklaşımı Gerektirir

Geleneksel uygulama güvenliği, kod (talimatlar) ile veri (kullanıcı girdisi) arasında net bir sınır olduğunu varsayar. Girdi doğrulama, parametreli sorgular ve çıktı kodlaması bu sınırı yapısal olarak zorlayarak çalışır.

Büyük dil modelleri bu sınırı ortadan kaldırır. Her şeyi — geliştirici talimatlarını, kullanıcı mesajlarını, alınan belgeleri, araç çıktılarını — birleşik bir doğal dil token akışı olarak işlerler. Model, bir sistem prompt’unu, sistem prompt’u gibi görünmek üzere tasarlanmış kötü niyetli bir kullanıcı girdisinden güvenilir bir şekilde ayırt edemez. Bu temel özellik, geleneksel yazılımda eşdeğeri olmayan saldırı yüzeyleri oluşturur.

Ek olarak, LLM’ler yetenekli, araç kullanan ajanlardır. Savunmasız bir chatbot sadece bir içerik riski değildir — veri sızdırma, yetkisiz API çağrıları yapma ve bağlı sistemleri manipüle etme için bir saldırı vektörü olabilir.

OWASP LLM İlk 10

Açık Dünya Çapında Uygulama Güvenliği Projesi (OWASP), kritik LLM güvenlik riskleri için endüstri standardı referans olan LLM İlk 10’u yayınlar:

LLM01 — Prompt Enjeksiyonu: Kötü niyetli girdiler veya alınan içerik LLM talimatlarını geçersiz kılar. Bkz. Prompt Enjeksiyonu .

LLM02 — Güvensiz Çıktı İşleme: LLM tarafından oluşturulan içerik, doğrulama olmadan aşağı akış sistemlerinde (web render etme, kod yürütme, SQL sorguları) kullanılır ve XSS, SQL enjeksiyonu ve diğer ikincil saldırıları mümkün kılar.

LLM03 — Eğitim Verisi Zehirlenmesi: Eğitim veri kümelerine enjekte edilen kötü niyetli veriler, model davranışının bozulmasına neden olur veya arka kapılar oluşturur.

LLM04 — Model Hizmet Reddi: Hesaplama açısından pahalı girdiler aşırı kaynak tüketimine neden olarak hizmet kullanılabilirliğini düşürür.

LLM05 — Tedarik Zinciri Güvenlik Açıkları: Tehlikeye atılmış önceden eğitilmiş modeller, eklentiler veya eğitim verileri, dağıtımdan önce güvenlik açıkları getirir.

LLM06 — Hassas Bilgi İfşası: LLM’ler eğitim verilerinden, sistem prompt’larından veya alınan belgelerden gizli verileri ifşa eder. Bkz. Veri Sızdırma (Yapay Zeka Bağlamı) .

LLM07 — Güvensiz Eklenti Tasarımı: LLM’lere bağlı eklentiler veya araçlar uygun yetkilendirmeden yoksundur ve yükseltme saldırılarını mümkün kılar.

LLM08 — Aşırı Yetki: Aşırı izinler veya yetenekler verilen LLM’ler manipüle edildiklerinde önemli zararlara neden olabilir.

LLM09 — Aşırı Güven: Kuruluşlar LLM çıktılarını eleştirel olarak değerlendirmekte başarısız olur ve hataların veya uydurulmuş bilgilerin kararları etkilemesine olanak tanır.

LLM10 — Model Hırsızlığı: Özel LLM ağırlıklarına veya yeteneklerine yetkisiz erişim veya çoğaltma.

İşinizi büyütmeye hazır mısınız?

Bugün ücretsiz denemenizi başlatın ve günler içinde sonuçları görün.

Demo talep et Giriş yap

Temel LLM Güvenlik Kontrolleri

Ayrıcalık Ayrımı ve En Az Yetki

En etkili tek kontrol: LLM’nizin erişebileceği ve yapabileceği şeyleri sınırlayın. Bir müşteri hizmetleri chatbotunun İK veritabanına, ödeme işleme sistemlerine veya yönetici API’lerine erişime ihtiyacı yoktur. En az ayrıcalık ilkelerini uygulamak, başarılı bir saldırının patlama yarıçapını önemli ölçüde sınırlar.

Sistem Prompt Güvenliği

Sistem prompt’ları chatbot davranışını tanımlar ve genellikle işletmeye duyarlı talimatlar içerir. Güvenlik değerlendirmeleri şunları içerir:

• Sistem prompt’larına gizli bilgiler, API anahtarları veya kimlik bilgileri eklemeyin
• Prompt’ları geçersiz kılma girişimlerine dirençli olacak şekilde tasarlayın
• Modele prompt içeriklerini ifşa etmemesi için açıkça talimat verin
• Düzenli güvenlik değerlendirmelerinin bir parçası olarak prompt gizliliğini test edin (bkz. Sistem Prompt Çıkarma )

Girdi ve Çıktı Doğrulama

Hiçbir filtre kusursuz olmasa da, girdileri doğrulamak saldırı yüzeyini azaltır:

• Kullanıcı girdilerinde yaygın enjeksiyon kalıplarını ve talimat benzeri ifadeleri işaretleyin ve engelleyin
• Model çıktılarını aşağı akış sistemlerine aktarmadan önce doğrulayın
• Model yanıtlarını kısıtlamak için yapılandırılmış çıktı formatları (JSON şemaları) kullanın

RAG Pipeline Güvenliği

Alınarak genişletilmiş üretim (retrieval-augmented generation), yeni saldırı yüzeyleri sunar. Güvenli RAG dağıtımları şunları gerektirir:

• İndekslenmiş bilgi tabanlarına kimlerin içerik ekleyebileceği konusunda katı kontroller
• İndekslemeden önce içerik doğrulama
• Alınan tüm içeriği potansiyel olarak güvenilmez olarak ele alma
• RAG zehirlenmesi girişimlerini izleme

Çalışma Zamanı Korkulukları

Katmanlı çalışma zamanı korkulukları, model seviyesi hizalamanın ötesinde derinlemesine savunma sağlar:

• Hem girdiler hem de çıktılar üzerinde içerik denetleme filtreleri
• Davranışsal anomali tespiti
• Hız sınırlama ve kötüye kullanım önleme
• Adli analiz için denetim kaydı

Düzenli Güvenlik Testi

LLM saldırı teknikleri hızla gelişir. Yapay zeka penetrasyon testi ve yapay zeka red teaming düzenli olarak gerçekleştirilmelidir — en azından büyük değişikliklerden önce ve yıllık temel değerlendirmeler olarak.

İlgili Terimler

• Prompt Enjeksiyonu — en kritik LLM güvenlik açığı
• OWASP LLM İlk 10 — kapsamlı LLM güvenlik risk çerçevesi
• Yapay Zeka Red Teaming — sistematik düşman güvenlik testi
• RAG Zehirlenmesi — bilgi tabanı kontaminasyon saldırıları
• Yapay Zeka Penetrasyon Testi — yapay zeka sistemleri için yapılandırılmış güvenlik değerlendirmeleri