誠實比較
Microsoft PyRIT 是 Python red-team 工具包,用來組織針對 LLM 的攻擊。ATR 是 YAML 規則標準,用來在 runtime 偵測對 AI agent 的攻擊。PyRIT 是「攻擊」那一側;ATR 是「防守」那一側。
PyRIT (Python Risk Identification Toolkit) 是 Microsoft 的開源框架,自動化針對生成式 AI 系統的 red-team 作戰。它組織 campaign、管理目標模型、評估回應,支援單輪與多輪攻擊。Roman Lutz 與 Microsoft 團隊維護它,是 Microsoft 整體 AI 安全工具的一部分。
ATR 是防守方在生產環境部署的規則標準,用來抓住 PyRIT 會測試的攻擊。PyRIT 產生攻擊;ATR 在攻擊模式抵達時偵測。兩者設計上是組合的:red team 用 PyRIT 驗證 ATR 規則涵蓋威脅空間;防守方部署 ATR 來 block PyRIT 能演練的攻擊模式。
綠色標示哪一方在該面向較強。「context」(琥珀色) 表示「依情境而定,兩者皆可」。
你在生產環境跑 AI agent,需要即時偵測 exploit。ATR 以亞毫秒級每規則執行,可整合到 PanGuard Guard、Microsoft AGT、Cisco AI Defense、以及任何能評估 YAML 的 runtime。
你在跑針對 AI 系統的 red-team 計畫。你需要寫攻擊 campaign、管理目標、量化成功率。PyRIT 是 Microsoft 內部用的 Python-native 框架,也是最成熟的開源選項。
兩個都用。Red team 用 PyRIT 寫並執行 campaign。防守方部署 ATR 來 block 這些 campaign 會 exploit 的東西。已有 active 的生態系合作——PanGuard 對 PyRIT 提了 draft PR,我們把 PyRIT 發現的覆蓋空缺當作 ATR 規則 backlog。