Türkçe prompt injection sınıflandırıcısı

Örnekler

İlk üç satır zararsız: cagrigungor/turkish-pii-masking-benchmark setinden bir görev talimatı, kullanıcının kendi önceki üslup isteğini değiştirmesi ve asistanı korumak için yazılmış bir kural. Son ikisi saldırı: talimatı geçersiz kılma ve hafızaya kural yerleştirme girişimi; ikincisini v2 kaçırıyor. Kalın, eşiğin üstündeki skordur (v2 için 0,05, v1 ve proventra için 0,5).

v1 ve v2

Hugging Face’te varsayılan sürüm v2. Az yanlış alarm ve hız en önemli şeyse revision="v1" ile v1’e sabitleyin.

v2 önce 0,3 eşikle yayınlandı; o değer yayınlanmayan bir eğitim tohumunun koşusunda seçilmişti. Yayınlanan modelin kendi kaynak-dışarıda koşularında, test bölmelerine dokunmadan yeniden bakınca eşik 0,05 çıktı. Ağırlıklar aynı; bu sayfa ve model kartı 0,05’teki sayıları gösteriyor.

Üçüncü bir seçenek daha var: detect.py’nin önce duyarlılık modu. v1 ile v2’nin ortalamasını alır ve 0,2’de işaretler; ikisi de seçim protokolünde seçildi. Her kaynak dışarıda bırakıldığında ortalama F1 0.677 (conv 0.690), fevzi’nin %96’sını yakalar. Ama 1k test setinin 34 zararsız satırından 14’ünü işaretler (v2: 2) ve metin başına yaklaşık 59 ms sürer. v2’nin yeni eşiğiyle bu mod yalnızca conv’da daha iyi.

v1’i test bölmelerinde ölçmüştüm ve birkaç varyantı da orada karşılaştırmıştım; bu, sayılarını olduğundan iyi gösterir. v2’de seçimi ayrı tuttum: her tarif, her eğitim kaynağı dışarıda bırakılarak o kaynağın train ve validation bölmelerinde ve eğitimde hiç kullanılmayan zararsız bölmelerde ölçüldü. Test bölmelerine bu sayfadaki sayılar için bir kez dokunuldu. Bu protokolden sekiz tarif geçti; seçilen tarif ikinci bir tohumla tekrarlandı. Seçilen tarif (mmBERT-base, gizleme artırımı, İngilizce ajan verisi) iki eğitim tohumunda ortalama 0.717 ve 0.661 F1 aldı; v1 tarifi 0.612. Yayının ikinci, daha zayıf tohumdan çıkacağını önceden sabitledim. Sonra eğittiğim iki tohum 0.638 ve 0.529 aldı: üç tohumun ortalaması daha yüksek skor veriyor ama zor zararsız satırlarda yanlış alarmı artırıyor ve üç kat pahalı; ağırlıklarının ortalaması tek tohumdan kötü. Yayın tek model olarak kaldı.

Sonuçlar

Dürüst sayı kaynak dışarıda sütunudur: her test seti için o kaynaktan tek satır görmeden eğitilmiş ayrı bir model, o kaynağın test bölmesinde ölçüldü. Her modeli aynı betikle ben koştum; bunlar yazarların yayımladığı sayılar değil, benim ölçümlerim.

Kısaca: v2, eğitimde ve seçimde hiç görmediği 107 gizlenmiş saldırının %96,3’ünü ve görünmez Unicode içine saklanmış 42 saldırının %97,6’sını yakalıyor; 750 sıradan Türkçe bankacılık metninin %2,1’ini işaretliyor.

conv: 3nesdeniz/turkish-conversation-prompt-injection. 1k: 3nesdeniz/turkish-prompt-injection-1k. berat: beratcmn/turkish-prompt-injections, deepset/prompt-injections çevirisi (* İngilizce deepset setiyle eğitilmiş bir model bu satırları fiilen görmüş olur). v2’ye eklenen İngilizce ajan setleri conv ve 1k ile aynı küratörden; bu iki sütun v2 için v1’dekinden daha az “görülmemiş”.

fevzi: fevziegeyurtsevenler/turkish-prompt-injection. invisible: fevziegeyurtsevenler/invisible-unicode-injection; masum bir metnin içine Unicode etiket karakterleriyle saklanmış ya da sıfır genişlikli karakterlerle bölünmüş talimatlar. Çözücü base64, hex, Sezar kaydırması, ters yazım, harf aralama, leet, Kiril benzeri harfler ve görünmez Unicode’u dener, en yüksek skoru alır. Genel tekniklerden yazıldı, bu satırlara göre ayarlanmadı ve aşağıdaki zararsız setlerde hiçbir modelin yanlış alarm oranını değiştirmedi.

Üç set birlikte halilneed/turkish-prompt-injection-false-alarm-benchmark adıyla yayında: 2.875 zararsız Türkçe metin ve bu tabloyu herhangi bir model için yeniden üreten bir betik. Kaynakları KVKK benchmark’ım, BSEBY benchmark’ım ve cagrigungor’un PII benchmark’ındaki talimatlar; hepsi CC0. Bu setler bu model için aynı alan, diğerleri için değil: eğitim verisinde aynı alanlardan başka metinler var. Bu metinler olmadan eğitilen v1 tarifi bankacılık metinlerinin %65’ini, görev talimatlarının %98,5’ini işaretledi. Trafiğiniz başka bir alandansa önce kendi zararsız metninizde ölçün.

Nerede yanılıyor

• Görmediği kaynaktan ajan saldırıları (conv, kaynak dışarıda): hafıza zehirleme, veri sızdırma ve araç kötüye kullanımı 3’te 0; sistem promptu sızdırma ve RAG zehirleme 3’te 1. Her biri üç satır; skor değil, yön olarak okuyun.
• Türkçe ek ve söz dizimi oyunları (fevzi): 15’te 13, v1’de 9.
• deepset çevirisi üslubu (berat, kaynak dışarıda): duyarlılık 0.339, v1’de 0.170.

Dayandığı yerler: kodlanmış saldırılar, fevzi’de 13’te 13 (v1 5, proventra 10, wolf-defender 12); kullanıcının kendi önceki talimatını değiştirmesi, 1k test setinde o kaynak dışarıdayken 7’de 5 (proventra 7’de 0, wolf-defender 7’de 1).

Python ile hızlı başlangıç

from transformers import pipeline

clf = pipeline("text-classification", model="halilneed/turkish-prompt-injection-classifier")
scores = {d["label"]: d["score"] for d in clf("Önceki mesajımdaki formatı unut, bu sefer tablo olarak yaz.", top_k=None)}
is_injection = scores["INJECTION"] >= 0.05
# v1 için: pipeline(..., revision="v1")

Repoda ayrıca detect.py ve guard.py var: metni ve çözülmüş biçimlerini sınıflandıran, en yüksek skoru, hangi biçimlerin çözüldüğünü ve skoru hangisinin belirlediğini döndüren bir Detector. Çözücü metin başına 1 ms’den az ekler.

v2’nin ölçülen hızı: Intel i5-12400F, sekiz iş parçacığı, tek tek metin, ortalama 119 karakter → ortalama 35,0 ms, p95 55,7 ms. 512 belirteçten uzun metin kesilir; uzun belgeleri parçalara bölün ve herhangi bir parça INJECTION ise belgeyi işaretleyin.

Bu tek bir katmandır. Ajan araçlarında en az yetkiyi koruyun, geri alınamaz işlemden önce onay isteyin ve getirilen içeriği model ne derse desin veri olarak ele alın.

Eğitim verisi

Bu model için yeni saldırı metni yazılmadı. Saldırılar yalnızca açık veri setlerinden geliyor.

• Türkçe: 3nesdeniz/turkish-conversation-prompt-injection (CC-BY-4.0; 120 saldırı, 510 zararsız), 3nesdeniz/turkish-prompt-injection-1k (CC-BY-4.0; 471 saldırı, 416 zararsız), beratcmn/turkish-prompt-injections (Apache-2.0; 199 saldırı, 300 zararsız). Yalnızca train ve validation bölmeleri.
• İngilizce (v2): 3nesdeniz/agentic-prompt-injection-5k ve agentic-prompt-injection-boundary-pairs (CC-BY-4.0; 5.350 satır, 2.950 saldırı).
• Kendi zararsız metinlerim: KVKK ve BSEBY sınıflandırıcılarımın eğitim bölmelerinden yaklaşık 3.000 sentetik iş metni; PII modelimin eğitim bölmesinden yaklaşık 1.500 maskeleme talimatı.
• Gizleme artırımı (v2). Harf aralama, ayraçlar, leet, Kiril benzeri harfler, ters çevirme ve büyük-küçük harf değişimi; mevcut satırlara, iki sınıfa da aynı olasılıkla uygulandı. Böylece garip yazım tek başına “saldırı” anlamına gelmiyor.
• Bilerek kullanılmayanlar: Türkçe satırları fevzi test setinin aynısı olan çok dilli bir set, berat testini sızdıracak çok dilli bir deepset çevirisi, CC-BY-NC-SA lisanslı bir set ve lisanssız setler.
• Yöntem (v2). mmBERT-base’in tam ince ayarı, 3 epoch, öğrenme oranı 3e-5, bfloat16, en fazla 384 belirteç, tek RTX 5060 Ti. Checkpoint Türkçe geliştirme bölmesinde seçildi (dev F1 0.955).

Sınırlar

• Test setleri küçük: 30, 79 ve 59 saldırı. Bir iki satır F1’i birkaç puan oynatır; aynı tarifin iki eğitim tohumu ortalama F1’de 0.056 farklı çıktı.
• Türkçe kaynakların hepsi sentetik ya da çeviri. Hiçbiri gerçek üretim trafiğinden örnek değil.
• Model her seferinde tek bir metne bakar. Konuşmayı, sistem talimatını ya da metnin hangi araçtan geldiğini görmez.
• İçerik moderasyonu modeli değildir. Manipülasyon içermeyen zararlı bir istek tasarım gereği BENIGN’dir.
• Karşılaştırılmayanlar: Llama Prompt Guard 2 (erişim kısıtlı, erişimim yok) ve transformers ile yüklenmeyen bir scikit-learn Türkçe dedektörü.

Bağlantılar

• Model kartı ve ağırlıklar
• Türkçe prompt injection benchmark’ı ve yanlış alarm seti
• Türkçe kişisel veri tespiti ve maskeleme
• Türkçe KVKK sınıflandırıcısı
• Türkçe BSEBY sınıflandırıcısı
• Tüm modeller