halilneed
TREN

skillbench

skillbench ajan skill’lerini, yani bir kodlama ajanının bir istek eşleştiğinde yüklediği talimat dosyalarını kontrol eder. Her skill dosyasını 26 kontrolle denetler, ardından ajanınızın zaten tuttuğu oturum geçmişinden tetiklenme sayılarını okur. Codex CLI ve Gemini CLI hangi skill’in etkin olduğunu kaydetmez, bu yüzden onların skill’leri “ölçülmedi” olarak bildirilir.

Kontroller
26
Okunan ajanlar
Claude Code, Codex CLI, Gemini CLI
Ağ istekleri
yok
Bağımlılıklar
yok
Lisans
MIT

Örnek çıktı

Bu, bu sitenin yapıldığı makinede kurulu bütün skill’ler üzerinde --lint ile yapılmış gerçek bir çalıştırmanın kısaltılmış hâlidir. Skill adları genellendi. Her sayı ve puan, denetleyicinin yazdırdığı değerdir. Tarama hiçbir ağ isteği yapmadı.

# skillbench — lint

Source note: 38 skill · installed agent roots · claude-code/installed: 3
· claude-code/user: 13 · gemini-cli/user: 8 · codex/user: 8
· codex/system: 6 · score: 223 (poor)

1 error · 42 warn · 45 info

## By check

| Sev   | Check               | n  | example skills                |
|-------|---------------------|----|-------------------------------|
| error | ref-broken-link     |  1 | skill-creator                 |
| warn  | eval-missing        | 35 | agent-notes:intake, video-su… |
| warn  | fm-desc-no-trigger  |  5 | video-suite, skill-creator, … |
| warn  | path-absolute       |  1 | agent-notes:intake            |
| info  | fm-desc-no-boundary | 30 | persona:stats, agent-notes:w… |

## Skills needing most work

| Skill              | agent       | error | warn | info | score |
|--------------------|-------------|-------|------|------|-------|
| `video-suite`      | claude-code |     0 |    6 |    3 |    27 |
| `skill-creator`    | codex       |     1 |    3 |    0 |    22 |
| `media-assets`     | claude-code |     0 |    3 |    9 |    21 |
| `video-suite-cli`  | claude-code |     0 |    3 |    6 |    18 |
| `agent-notes:intake` | claude-code |   0 |    2 |    1 |     9 |

Bu denetleyiciyi yazdığım makine “poor” puan alıyor. Her bulgu kontrolün, skill’in ve önem derecesinin adını verir; her kontrolün bir “neden önemli” ve bir “nasıl düzeltilir” satırı vardır. Kontroller açıp okuyabileceğiniz tek bir dosyada durur; katılmadığınız bir kontrolü --ignore ile kapatabilirsiniz.

Kurulum

# bir kez
> /plugin marketplace add halilneed/plugins

# eklenti
> /plugin install skillbench@hailneed

# ve deneyin
> /skillbench:coverage

Marketin kimliği hailneed; kurulum satırının @hailneed ile bitmesi bu yüzden.

  • Claude Code ve Node.js 18 ya da üstü.
  • Bağımlılık yok, derleme adımı yok, API anahtarı yok, hesap yok.
  • Tek başına da çalışır: node scripts/skillbench.mjs --coverage --md --lang en
  • CI için --lint --path . --out lint.json sabit bir çıktı biçimi verir. score.raw belirlediğiniz eşiğin üstüne çıktığında derlemeyi durdurun.

Komutlar

/skillbench:lint

Bir skill’in doğru yazılıp yazılmadığını kontrol eder. 26 kontrol şunları kapsar: frontmatter, tetiklenme kalitesi (tetikleyici ifadeler, negatif sınır), gövde boyutu, kırık referanslar, taşınabilirlik, araç izinleri ve eval kapsamı. Geliştirdiğiniz repo üzerinde (--path) ya da Claude Code, Codex CLI ve Gemini CLI’da kurulu bütün skill’ler üzerinde çalışır.

/skillbench:coverage

Bir skill’in hiç tetiklenip tetiklenmediğini gösterir. Claude Code her araç çağrısında hangi skill’in etkin olduğunu kaydeder. Coverage bunu skill başına gerçek tetiklenmelere çevirir (çağrılar, farklı oturumlar, projeler, en son kullanım) ve hiç tetiklenmemiş skill’leri en olası nedenleriyle listeler. Codex CLI ve Gemini CLI bu bilgiyi kaydetmez, bu yüzden onların skill’leri ölçülmedi olarak bildirilir.

/skillbench:collide

İki skill’in aynı istek için yarışıp yarışmadığını gösterir. Sınırı bulanıklaştıran ortak terimleri adlandıran, idf ağırlıklı bir örtüşme puanı verir. Birkaç ajan dizinine kopyalanmış skill’lerde kopyaların hâlâ aynı olup olmadığına bakarak sapmayı da tespit eder.

Ne yapar, ne yapmaz

  • Hiçbir ağ isteği yapmaz. Tarayıcı yalnızca diskinizde zaten bulunan skill dosyalarını ve oturum kayıtlarını okur; skillbench.mjs içinde ne fetch ne soket vardır.
  • Skill bilgisini yalnızca Claude Code saklar, bu yüzden Codex CLI ve Gemini CLI’daki skill’ler ölçülmedi olarak bildirilir ve sayı almaz.
  • Kota harcanmaz. Her şey diskten okunur. Canlı tetikleme testi, yani should_trigger istemlerini çalıştırmak, kota harcadığı için bilerek v0.2’ye bırakıldı.
  • 26 kontrol vardır ve model yargısı yoktur. checks.mjs okuyabileceğiniz bir listedir, --selftest motoru verilerinize dokunmadan 20 test örneği üzerinde çalıştırır.
  • Sembolik bağlantılar izlenir. Bir geliştirme reposundan bağlanmış skill’ler bulunur ve denetlenir. Saf bir tarayıcı bunların hepsini sessizce atlar.
  • MIT lisanslıdır (LICENSE). Hesap yok, kayıt yok, telemetri yok.

Planlanan

Barındırılan bir sürüm, skillbench Cloud, planlanıyor. Eklenti ücretsiz ve yerel kalacak.

  • Ekip skill kütüphanesi için sürekli ölçüm: denetim ve kapsam elle çalıştırılmak yerine zaman içinde izlenir.
  • Regresyon geçmişi: bir açıklama değişikliğinin tetiklenme oranını öncesi ve sonrasıyla nasıl etkilediği.
  • Market yayıncıları için yayın öncesi kapı: bir skill yayımlanmadan önce bu kontrolden geçmek zorundadır.

Hazır olduğunda haberdar olmak için yazılar sayfasından abone olun.