41 Ways the AI RMF Playbook Disagrees With Itself
We audited the AI RMF Playbook JSON against the AI RMF Core HTML. 41 of 72 subcategories drift between the two NIST sources — 57% disagreement rate. One severity-3 semantic divergence narrows the obligated party scope at GOVERN 5.2. Nine severity-2 typos and capitalisation issues, including the well-known "Decision-makings" typo. 31 minor wording deltas. Every divergence has a remediation proposal with literal patch text.
設定
NIST 以兩種形式發布 AI Risk Management Framework。Core 是 airc.nist.gov/airmf-resources/airmf/5-sec-core 的 HTML 版本 — 合規引用都指向這裡。Playbook 是 airc.nist.gov/docs/playbook.json 的結構化 JSON 匯出 — 工具消費這份。
它們應該一致。實際上沒有。
在建構 OSCAL 轉換時,我們 diff 了每一條 subcategory 陳述在兩份來源之間的差異。72 條中 41 條偏離。57% 不一致率。
各 Function 細目
| Function | 偏離 | 總數 | 比率 |
|---|
|---|---|---|---|
| GOVERN | 9 | 19 | 47% |
|---|
| MAP | 11 | 18 | 61% |
|---|
| MEASURE | 14 | 22 | 64% |
|---|
| MANAGE | 7 | 13 | 54% |
|---|
MEASURE 偏離率最高。GOVERN 最低,但唯一一條 severity-3 落在這裡。
Severity 3:一條語意偏離
GOVERN 5.2 在 Core 中將義務歸屬於「the team that developed or deployed AI systems」。Playbook 替換為「AI actors」。這實質上縮窄了義務主體範圍。「AI actor」是 NIST 定義的角色,包含下游 operator、第三方整合者、終端使用者。Core 措辭較窄,將責任指派給特定團隊。引用 Playbook 進行合規稽核會落在與引用 Core 不同的義務主體上。
我們的修補建議:adopt-core。在任何用於合規工作的成品中逐字使用 Core 措辭。
Severity 2:九條發現
一條知名 typo,八條大小寫問題:
- ●GOVERN 3.1 — Playbook 寫「Decision-makings」,Core 寫「decision-making」。複數名詞出現在應為動詞的位置。
- ●七條大小寫情況 — Playbook 將「MAP function」/「MEASURE function」/「MANAGE function」大寫,Core 用小寫。展開引用後影響 12 條控制項。列為系統性發現 S-1。
- ●GOVERN 4.3 — Playbook 在同一條控制項陳述中同時使用「Trustworthy AI」與「trustworthy AI」。
這不是表面問題。以 schema 驅動、做字串比對 function 名稱的下游工具會在其中一份來源上失敗。
Severity 1:三十一條輕微措辭差異
空白、Oxford comma 缺漏、「and/or」對「or」、冠詞變動(「the team」對「a team」)。單獨看微不足道。但 31 條意味著大約 43% 的所有控制項在進入語意審查之前,就已經在排印層級不一致。
兩條系統性發現
S-1 — Function 名稱大小寫。Playbook 把 GOVERN/MAP/MEASURE/MANAGE 當專有名詞;Core 在敘述文字中使用 sentence case。影響 12 條控制項。修補:全系統採用 Core 慣例。
S-2 — Core 內部連字號。GOVERN 6.1 在同一份 Core 來源中將「third-party」加連字號,MAP 4.1 則用「third party」。這不是 Playbook 偏離 — Core 自己不一致。修補:adopt-core-with-caveat,標記不一致,等待 NIST 指引。
為什麼這重要
如果你在稽核成品中引用 Playbook,而稽核員引用 Core,你在超過一半的 NIST AI RMF subcategory 上會有控制項陳述對不上。這不是假設風險 — 這是截至 v1.0 已記錄的 41 條控制項落差。
我們目錄中每一條偏離都附帶實際 patch 文字的修補建議。選好來源,選好 patch,繼續工作。
完整偏離報告 · 目錄 Repo · AI RMF Core