Türkçe metin için dört küçük, açık model (üçü kişisel veri, biri prompt injection için) ve onları ölçmekte kullandığım değerlendirme setleri. Hepsi CPU üzerinde çalışır.
Maskeleme, sınıflandırma ve bunların arkasındaki benchmark’lar.
Hızlar sekiz iş parçacıklı bir Intel i5-12400F üzerinde, batch boyutu bir ile ölçüldü.
İki sınıflandırıcı bir metinde ne olduğunu söyler. Maskeleme modeli ise metni değiştirir. Tipik bir hat önce sınıflandırır, sonuca göre bir maskeleme politikası seçer, ardından maskeler. Prompt injection sınıflandırıcısı LLM’in önünde durur: içeri giren metni, kullanıcı yazmış ya da asistan getirmiş olsun, kontrol eder.
1.125 kurgusal metin yalnızca etiket tanımlarından yola çıkılarak yazıldı ve iki kez etiketlendi. Altın set, iki etiket setinin birebir örtüştüğü 987 metinden oluşuyor. Metinler ve iki etiketleme turu bir dil modeliyle üretildi ve bir kişi tarafından satır satır kontrol edilmedi.
Aynı yöntem: 750 kurgusal metin, bunların 747’sinde birebir uyum. İki tur da aynı dil modelini ve aynı yönergeyi kullandı, bu yüzden %99.6’lık uyum yönergenin tutarlı uygulanabildiğini gösterir. Birbirinden bağımsız iki kişi arasındaki uyum değildir.
Bir prompt injection koruma modelini tek çalıştırmada iki yönden sınar: beş açık Türkçe setten 317 saldırı ve 3.055 zararsız satır. Zararsız satırlar, o setlerle birlikte gelen zor negatifler ve aşağıdaki yanlış alarm setinin 2.875 metnidir. Yeni metin yazılmadı; her satır kaynağını ve lisansını korur.
Bir prompt injection koruma modelinin sıradan Türkçe iş metnini ve görev talimatını ne sıklıkla engellediğini ölçer. Yeni metin yok: yukarıdaki iki setten ve cagrigungor’un PII benchmark’ından derlendi. Açık koruma modelleri bu setin %17,8 ile %27,8’ini engelliyor.
Kişisel veri modeli üçüncü taraf bir set üzerinde değerlendirilir: cagrigungor/turkish-pii-masking-benchmark, 1.000 sentetik satır. Prompt injection sınıflandırıcısı dört açık Türkçe sette, her eğitim kaynağı sırayla dışarıda bırakılarak ölçüldü; ayrıntı kendi sayfasında.