BENCHMARK 結果
836 條 ATR 規則的公開實測結果
下面每個結果都標明資料來源、方法與執行的 ATR 版本;無法重跑的,條目裡會寫明。
所有 precision / FP 數字皆為單一語料庫的 Layer 1 量測,不是全引擎宣稱。recall 都是 hunt lane(預設)數字。我們以前引用的分 lane benign gate 誤報率已於 2026-09-19 撤回,等待重新量測;沒有單一的全引擎 FP 數字。
Garak(NVIDIA 越獄語料庫)
NVIDIA garak 是開源的 LLM red-teaming 框架。我們用 ATR v4.1.5 跑它的實戰越獄集。數字是 hunt lane(預設,載入全部規則);開啟 blocking 時用的 enforce lane 抓到的少很多。這個數字部分是 closed-book:有些 ATR 規則就是從這份語料寫出來的,所以不是樣本外結果。
召回率
92.3%
樣本數
650 個樣本
層級
僅 Regex(無 LLM 二次判讀)
Lane
hunt(預設)
ATR 版本
v4.1.5
重現指令
npx tsx scripts/eval-garak-inthewild.ts (in agent-threat-rules repo)SKILL.md(ATR 內部 benchmark 語料)
ClawHub、OpenClaw、Skills.sh 的 AI agent skill 共 498 個:32 個惡意、466 個良性。良性樣本同時是 ATR 規則調校用的那一組,所以這是樣本內檢查,precision 與誤報率不對外引用。recall 是 hunt lane 數字。
召回率(hunt lane,樣本內)
100%
樣本數
498 個樣本
ATR 版本
v4.1.5
重現指令
npx tsx src/eval/skill-benchmark.ts (in agent-threat-rules repo)PINT(自建 PINT 格式語料庫)
自建的 850 樣本 PINT 格式語料庫,由 deepset prompt-injections 資料集加上 Lakera Gandalf 組成。這不是 Lakera 官方的 PINT benchmark(其語料不公開),也不歸屬於任何第三方。它實際上是 prompt-injection 這一類規則的分數,不代表整體覆蓋率。recall 是 hunt lane 數字。
召回率
65.41%
精確率(PINT 格式語料庫,自建)
100%
樣本數
850 個樣本
層級
Layer 1 — 僅 regex
ATR 版本
v4.1.5
數字口徑
Precision / FP 為此語料庫的 Layer 1(確定性規則)量測,非全引擎數字。分 lane 的 benign gate 誤報率已撤回,等待重新量測。
重現指令
npm run eval:pint (in agent-threat-rules repo)Wild Scan(已發布 agent skill,2026-04)
2026-04-13 以掃描引擎 v2.0.0(113 條 ATR 規則,不是現在的規則集)掃描五個公開來源(OpenClaw、ClawHub、Skills.sh、Hermes Agent,以及一份 MCP server 爬取資料)上 101,280 個已發布的 AI agent skill 與 MCP server,1,434 個被標記。標記是規則命中,不是判定,所以不提供確認為惡意的數量;紀錄只保留路徑與規則 ID,沒有檔案內容。這不是有標註的 benchmark:沒有 ground truth,因此沒有 recall 或 precision。
掃描 skill 數
101,280
被標記
1,434
ATR 版本(掃描引擎)
v2.0.0(113 條規則)
重現指令
Not re-runnable: the scan record (data/full-scan-v2-2026-04-14.json in agent-threat-rules) keeps paths and rule ids, not content.HackAPrompt 叢集探勘
ATR 對 HackAPrompt EMNLP 2023 競賽語料庫(4,780 個確定性樣本)的實測。結果:69.6% recall。這是 closed-book:ATR 從這個語料漏抓的樣本挖出規則,28.6% 是加入這些規則前 ATR 自己的召回率。這個語料只有攻擊樣本,precision 與誤報率在數學上無法定義,因此不列出。方法論與規則更新公開於工程部落格。
HackAPrompt 召回率
69.6%
加入這些規則前的 ATR 召回率
28.6%
樣本數
4,780 個確定性樣本
ATR 版本
v3.5.0
重現指令
npx tsx src/eval/run-hackaprompt-benchmark.ts (in agent-threat-rules repo)想要在你的語料庫上跑 ATR 並公開結果?歡迎發 PR 到 Agent-Threat-Rule/agent-threat-rules。我們把你的 benchmark 加入本頁,完整署名。
審稿:Adam Lin · 最後審查 2026-05-12