Bir AI chatbot güvenlik denetimi ne kadar sürer?

Temel bir değerlendirme, 2 adam-gün aktif test artı raporlama için 1 gün alır - yaklaşık 1 hafta takvim süresi. RAG pipeline ve araç entegrasyonları olan standart bir chatbot genellikle 3-4 adam-gün gerektirir. Karmaşık ajansal dağıtımlar 5+ gün gerektirir. Başlangıçtan nihai rapora kadar takvim süresi genellikle 1-2 haftadır.

Bir AI güvenlik denetimi için ne tür erişim sağlamam gerekir?

Tipik olarak: üretim veya hazırlık chatbot'una erişim (genellikle özel bir test hesabı), sistem prompt'u ve yapılandırma dokümantasyonu, mimari dokümantasyon (veri akışları, entegrasyonlar, API'ler), bilgi tabanı içerik envanteri ve isteğe bağlı olarak: daha invazif testler için hazırlık ortamı erişimi. Çoğu AI'ya özgü test için kaynak kodu erişimi gerekmez.

AI güvenlik denetiminden önce neyi düzeltmeliyim?

Denetimden önce her şeyi düzeltme dürtüsüne karşı koyun - denetimenin amacı düzeltmediğiniz şeyleri bulmaktır. Temel hijyeni sağlayın: kimlik doğrulama işlevseldir, açık test kimlik bilgileri kaldırılmıştır ve ortam üretimi olabildiğince yakından yansıtır. Denetçiye zaten savunmasız olduğunu bildiğiniz şeyleri söylemek faydalı bir bağlamdır, saklanacak bir şey değildir.

AI Chatbot Güvenlik Denetimi: Ne Beklemeli ve Nasıl Hazırlanmalı

AI chatbot güvenlik denetimleri için kapsamlı bir rehber: neyin test edildiği, nasıl hazırlanılacağı, hangi çıktıların bekleneceği ve bulguların nasıl yorumlanacağı. İlk AI güvenlik değerlendirmelerini yaptıran teknik ekipler için yazılmıştır.

AI Security Security Audit Chatbot Security LLM

Denetim Rezerve Et Demo Rezerve Et

AI Chatbot Güvenlik Denetimleri Neden Farklıdır

Olgun güvenlik programlarına sahip kuruluşlar web uygulaması penetrasyon testlerini anlarlar - güvenlik açığı taramaları yapmışlar, penetrasyon testleri yaptırmışlar ve bulgulara yanıt vermişlerdir. AI chatbot güvenlik denetimleri yapı olarak benzerdir ancak temelden farklı saldırı yüzeylerini kapsar.

Bir web uygulaması penetrasyon testi OWASP Top 10 web güvenlik açıklarını kontrol eder: enjeksiyon kusurları, bozuk kimlik doğrulama, XSS, güvensiz doğrudan nesne referansları. Bunlar AI chatbot’larını çevreleyen altyapı için hala geçerlidir. Ancak chatbot’un kendisi - LLM arayüzü - kendi güvenlik açığı sınıfına sahip yeni bir saldırı yüzeyidir.

İlk AI chatbot güvenlik denetiminizi yaptırıyorsanız, bu rehber her aşamada ne beklemeniz gerektiğini, nasıl hazırlanacağınızı ve bulguları etkili bir şekilde nasıl kullanacağınızı anlatır.

Aşama 1: Ön Katılım ve Kapsam Belirleme

Kapsam Belirleme Görüşmesi

İyi bir AI güvenlik denetimi, herhangi bir test başlamadan önce bir kapsam belirleme görüşmesiyle başlar. Bu görüşme sırasında, denetim ekibi şunları sormalıdır:

Chatbot mimarisi hakkında:

Hangi LLM sağlayıcısını ve modelini kullanıyorsunuz?
Sistem prompt’u ne içeriyor? (Tam metin değil, üst düzey açıklama)
Chatbot hangi veri kaynaklarına erişime sahip?
Chatbot hangi araçları veya API entegrasyonlarını kullanıyor?
Chatbot otonom olarak hangi eylemleri gerçekleştirebilir?

Dağıtım hakkında:

Bu nerede dağıtılmış? (Web widget’ı, API, mobil uygulama, dahili araç)
Beklenen kullanıcılar kimler? (Anonim halk, kimliği doğrulanmış müşteriler, dahili personel)
Chatbot’un erişebileceği en hassas veri nedir?

Test ortamı hakkında:

Bir hazırlık ortamı mevcut mu?
Hangi test hesapları veya erişim sağlanacak?
Testten hariç tutulması gereken sistemler var mı?

Risk toleransı hakkında:

Kuruluşunuz için kritik bir bulgu ne oluşturur?
Geçerli olan düzenleyici veya uyumluluk çerçeveleri var mı?

Bu tartışmadan, bir İş Beyanı tam kapsamı, zaman çizelgesini ve çıktıları tanımlar.

Dokümantasyon Hazırlama

Denetimi desteklemek için şunları hazırlamalısınız:

Mimari diyagram: Chatbot’un veri kaynaklarına, API’lere ve LLM sağlayıcısına nasıl bağlandığı
Sistem prompt dokümantasyonu: İdeal olarak tam sistem prompt’u veya en azından kapsamının ve yaklaşımının bir açıklaması
Entegrasyon envanteri: Chatbot’un çağırabileceği her harici hizmet, kimlik doğrulama detaylarıyla birlikte
Veri erişim envanteri: Chatbot’un alabileceği veritabanları, bilgi tabanları veya belgeler
Önceki güvenlik bulguları: Daha önce değerlendirmeler yaptıysanız, bulguları paylaşın (henüz düzeltilmemiş öğeler dahil)

Denetim ekibinin ne kadar çok bağlamı olursa, test o kadar etkili olacaktır. Bu, belirsizleştirmek isteyeceğiniz bir test değildir - amaç gerçek güvenlik açıklarını bulmaktır, bir değerlendirmeyi “geçmek” değil.

Aşama 2: Keşif ve Saldırı Yüzeyi Haritalama

Aktif test başlamadan önce, denetçiler saldırı yüzeyini haritalandırır. Bu aşama standart bir dağıtım için tipik olarak yarım gün sürer.

Neyin Haritalandırıldığı

Giriş vektörleri: Chatbot’a veri giren her yol. Bunlar şunları içerir:

Doğrudan kullanıcı mesajları
Dosya yükleme (destekleniyorsa)
URL veya referans girişleri
API parametreleri
Toplu işleme uç noktaları
Yönetim arayüzleri

Veri erişim kapsamı: Chatbot’un okuyabileceği her veri kaynağı:

RAG bilgi tabanı içerikleri ve alım yolları
Veritabanı tabloları veya API uç noktaları
Kullanıcı oturum verileri ve konuşma geçmişi
Sistem prompt içerikleri
Üçüncü taraf hizmet yanıtları

Çıkış yolları: Chatbot’un yanıtlarının gittiği yerler:

Doğrudan kullanıcıya yönelik sohbet yanıtı
API yanıtları
Alt sistem tetikleyicileri
Bildirim veya e-posta oluşturma

Araç ve entegrasyon envanteri: Chatbot’un gerçekleştirebileceği her eylem:

API çağrıları ve parametreleri
Veritabanı yazma işlemleri
E-posta veya mesajlaşma eylemleri
Dosya oluşturma veya değiştirme
Harici hizmet çağrıları

Haritanın Ortaya Çıkardıkları

Tam bir saldırı yüzeyi haritası, sistemlerini iyi bilen kuruluşlar için bile genellikle sürprizler ortaya çıkarır. Bu aşamada yaygın bulgular:

Geliştirme sırasında eklenen ve unutulan entegrasyonlar
Amaçlanandan daha geniş olan veri erişimi (“ona ürün tablosuna erişim verdik ama müşteri tablosunu da sorgulayabiliyor”)
Orada olmaması gereken hassas bilgiler içeren sistem prompt içerikleri
Tasarım sırasında düşünülmeyen dolaylı enjeksiyon yüzeyleri

Aşama 3: Aktif Saldırı Testi

Aktif test, denetçilerin gerçek saldırıları simüle ettiği yerdir. Kapsamlı bir denetim için bu, tüm OWASP LLM Top 10 kategorilerini kapsar. İşte büyük kategoriler için testin nasıl göründüğü:

Prompt Enjeksiyonu Testi

Neyin test edildiği:

Doğrudan geçersiz kılma komutları (sadece “önceki talimatları yoksay” değil, düzinelerce varyasyon)
Rol yapma ve kişilik saldırıları (DAN varyantları, karakter somutlaştırması)
Belirli chatbot bağlamı için tasarlanmış çok turlu yükselme dizileri
Yetki sahtekarlığı ve bağlam manipülasyonu
Token kaçakçılığı ve kodlama tabanlı atlama denemeleri

Bir bulgunun nasıl göründüğü: “Çok turlu bir manipülasyon dizisi kullanarak, test uzmanı chatbot’un tanımlı kapsamı dışında bilgi sağlamasına neden olabildi. Test uzmanı önce modelin varsayımsal senaryolarla ilgileneceğini belirledi, ardından [belirli kısıtlı bilgi] elde etmek için kademeli olarak yükseltti. Bu, Orta önem dereceli bir bulguyu temsil eder (OWASP LLM01).”

RAG ve Dolaylı Enjeksiyon Testi

Neyin test edildiği:

Bilgi tabanındaki kötü niyetli içerik chatbot davranışını etkileyebilir mi?
Chatbot alınan içeriği talimat olarak mı ele alıyor?
Bilgi tabanı alım yolları yetkisiz eklemelere karşı güvence altında mı?
Kullanıcılar tarafından yüklenen belgeler enjeksiyonun mümkün olduğu bir bağlamda mı işleniyor?

Bir bulgunun nasıl göründüğü: “Gömülü talimatlar içeren bir belge RAG pipeline tarafından işlendi. Kullanıcılar belge tarafından kapsanan konuları sorguladığında, chatbot [belirli davranış] için gömülü talimatları takip etti. Bu, ilgili konuları sorgulayan tüm kullanıcıları etkileyebileceği için Yüksek önem dereceli bir bulgudur (OWASP LLM01).”

Sistem Prompt Çıkarma Testi

Neyin test edildiği:

Doğrudan çıkarma istekleri (kelimesi kelimesine tekrar, özet, tamamlama)
Dolaylı çıkarma (kısıtlama araştırması, referans çıkarma)
Enjeksiyon tabanlı çıkarma
Birçok sorgu aracılığıyla sistematik kısıtlama haritalama

Bir bulgunun nasıl göründüğü: “Test uzmanı, iki adımlı dolaylı bir çıkarma kullanarak tam sistem prompt’unu çıkarabildi: önce modelin talimatları hakkında bilgiyi onaylayacağını/reddedeceğini belirleyerek, ardından belirli dili sistematik olarak onaylayarak. Çıkarılan bilgiler şunları içerir: [neyin açığa çıktığının açıklaması].”

Veri Sızdırma Testi

Neyin test edildiği:

Chatbot’un erişimi olan veriler için doğrudan istekler
Çapraz kullanıcı veri erişimi (çok kiracılıysa)
Dolaylı enjeksiyon yoluyla çıkarma
Araç çağrıları yoluyla ajansal sızdırma

Bir bulgunun nasıl göründüğü: “Test uzmanı, test kullanıcı hesabına erişilebilir olmaması gereken [veri türü] talep edip alabildi. Bu, GDPR kapsamında doğrudan düzenleyici etkileri olan Kritik bir bulguyu temsil eder (OWASP LLM06).”

API ve Altyapı Testi

Neyin test edildiği:

Kimlik doğrulama mekanizması güvenliği
Yetkilendirme sınırları
Hız sınırlama ve kötüye kullanım önleme
Araç kullanım yetkilendirmesi

Aşama 4: Raporlama

İyi Bir Raporun İçeriği

Yönetici Özeti: Teknik olmayan paydaşlar için yazılmış bir ila iki sayfa. Şu soruları yanıtlar: ne test edildi, en önemli bulgular neydi, genel risk duruşu nedir ve neye öncelik verilmeli? Teknik jargon yok.

Saldırı Yüzeyi Haritası: Açıklamalı güvenlik açığı konumlarıyla chatbot’un mimarisinin görsel bir diyagramı. Bu, düzeltme için çalışma referansı haline gelir.

Bulgular Kaydı: Her tanımlanmış güvenlik açığı şunlarla birlikte:

Başlık ve bulgu kimliği
Önem derecesi: Kritik / Yüksek / Orta / Düşük / Bilgilendirici
CVSS-eşdeğer puan
OWASP LLM Top 10 kategori eşleştirmesi
Detaylı teknik açıklama
Kavram kanıtı (güvenlik açığını gösteren tekrarlanabilir saldırı)
İş etkisi açıklaması
Çaba tahmini ile düzeltme önerisi

Düzeltme Öncelik Matrisi: Önem derecesi ve uygulama çabasını göz önünde bulundurarak hangi bulguların önce ele alınacağı.

Önem Derecesi Derecelendirmelerini Anlama

Kritik: Minimum saldırgan becerisi gerektiren doğrudan, yüksek etkili istismar. Tipik olarak: kısıtlanmamış veri erişimi, kimlik bilgisi sızdırma veya önemli gerçek dünya sonuçları olan eylemler. Hemen düzeltin.

Yüksek: Orta düzeyde saldırgan becerisi gerektiren önemli güvenlik açığı. Tipik olarak: kısıtlı bilgi ifşası, kısmi veri erişimi veya çok adımlı saldırı gerektiren güvenlik atlaması. Bir sonraki üretim dağıtımından önce düzeltin.

Orta: Anlamlı güvenlik açığı ancak sınırlı etkiyle veya önemli saldırgan becerisi gerektiren. Tipik olarak: kısmi sistem prompt çıkarma, kısıtlanmış veri erişimi veya önemli etki olmadan davranışsal sapma. Bir sonraki sprint’te düzeltin.

Düşük: Sınırlı istismar edilebilirlik veya etkiye sahip küçük güvenlik açığı. Tipik olarak: sınırlı bilgi açığa çıkaran bilgi ifşası, küçük davranışsal sapma. Biriktirme listesinde ele alın.

Bilgilendirici: İstismar edilebilir güvenlik açıkları olmayan ancak güvenlik iyileştirme fırsatlarını temsil eden en iyi uygulama önerileri veya gözlemler.

Aşama 5: Düzeltme ve Yeniden Test

Düzeltmeye Öncelik Verme

Çoğu ilk kez yapılan AI güvenlik denetimi, aynı anda düzeltilebilecek olandan daha fazla sorun ortaya çıkarır. Önceliklendirme şunları göz önünde bulundurmalıdır:

Önem derecesi: Önce Kritik ve Yüksek bulgular
İstismar edilebilirlik: İstismar edilmesi kolay olan sorunlar, daha düşük önem derecesinde bile öncelik alır
Etki: Kullanıcı PII’sine veya kimlik bilgilerine dokunan sorunlar öncelik alır
Düzeltme kolaylığı: Uzun vadeli çözümler geliştirilirken riski azaltan hızlı kazançlar

Yaygın Düzeltme Kalıpları

Sistem prompt sertleştirme: Açık anti-enjeksiyon ve anti-ifşa talimatları ekleme. Uygulanması nispeten hızlıdır; prompt enjeksiyonu ve çıkarma riski üzerinde önemli etkisi vardır.

Ayrıcalık azaltma: Kesinlikle gerekli olmayan veri erişimini veya araç yeteneklerini kaldırma. Genellikle geliştirme sırasında biriken aşırı tedariki ortaya çıkarır.

RAG pipeline içerik doğrulama: Bilgi tabanı alımına içerik tarama ekleme. Geliştirme çabası gerektirir ancak tüm enjeksiyon yolunu engeller.

Çıkış izleme uygulaması: Çıktılara otomatik içerik denetimi ekleme. Üçüncü taraf API’leriyle hızlı bir şekilde uygulanabilir.

Yeniden Test Doğrulaması

Düzeltmeden sonra, bir yeniden test düzeltmelerin etkili olduğunu ve yeni sorunlar getirmediğini doğrular. İyi bir yeniden test:

Her düzeltilmiş bulgu için belirli kavram kanıtını yeniden yürütür
Bulgunun gerçekten çözüldüğünü, sadece yüzeysel olarak yamalanmadığını doğrular
Düzeltme değişiklikleri tarafından getirilen herhangi bir gerilemeyi kontrol eder
Hangi bulguların kapatıldığını doğrulayan resmi bir yeniden test raporu düzenler

Sonuç: Güvenlik Denetimlerini Rutin Hale Getirmek

Üretimde AI chatbot’ları dağıtan kuruluşlar için güvenlik denetimleri rutin hale gelmelidir - olaylar tarafından tetiklenen istisnai olaylar değil. Burada açıklanan AI chatbot güvenlik denetimi süreci, net girdileri, tanımlanmış çıktıları ve uygulanabilir sonuçları olan yönetilebilir, yapılandırılmış bir katılımdır.

Alternatif - gerçek saldırganlar tarafından istismar yoluyla güvenlik açıklarını keşfetmek - her boyutta önemli ölçüde daha maliyetlidir: finansal, operasyonel ve itibar açısından.

İlk AI chatbot güvenlik denetiminizi yaptırmaya hazır mısınız? Ücretsiz bir kapsam belirleme görüşmesi için ekibimizle iletişime geçin .

Sıkça sorulan sorular

Bir AI chatbot güvenlik denetimi ne kadar sürer?: Temel bir değerlendirme, 2 adam-gün aktif test artı raporlama için 1 gün alır - yaklaşık 1 hafta takvim süresi. RAG pipeline ve araç entegrasyonları olan standart bir chatbot genellikle 3-4 adam-gün gerektirir. Karmaşık ajansal dağıtımlar 5+ gün gerektirir. Başlangıçtan nihai rapora kadar takvim süresi genellikle 1-2 haftadır.
Bir AI güvenlik denetimi için ne tür erişim sağlamam gerekir?: Tipik olarak: üretim veya hazırlık chatbot'una erişim (genellikle özel bir test hesabı), sistem prompt'u ve yapılandırma dokümantasyonu, mimari dokümantasyon (veri akışları, entegrasyonlar, API'ler), bilgi tabanı içerik envanteri ve isteğe bağlı olarak: daha invazif testler için hazırlık ortamı erişimi. Çoğu AI'ya özgü test için kaynak kodu erişimi gerekmez.
AI güvenlik denetiminden önce neyi düzeltmeliyim?: Denetimden önce her şeyi düzeltme dürtüsüne karşı koyun - denetimenin amacı düzeltmediğiniz şeyleri bulmaktır. Temel hijyeni sağlayın: kimlik doğrulama işlevseldir, açık test kimlik bilgileri kaldırılmıştır ve ortam üretimi olabildiğince yakından yansıtır. Denetçiye zaten savunmasız olduğunu bildiğiniz şeyleri söylemek faydalı bir bağlamdır, saklanacak bir şey değildir.

Arshia Kahani
Yapay Zeka İş Akışı Mühendisi

AI Chatbot Güvenlik Denetiminizi Rezerve Edin

Tüm OWASP LLM Top 10 kategorilerini kapsayan profesyonel bir AI chatbot güvenlik denetimi alın. Net çıktılar, sabit fiyatlandırma, yeniden test dahil.

Denetim Rezerve Et Demo Rezerve Et

Daha fazla bilgi