AI 安全框架概觀

AI 安全框架地景，包括 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF 與 EU AI Act。它們如何關聯、何時使用哪一個，以及缺口分析。

沒有任何單一框架能完整涵蓋 AI 安全風險的全貌。每個主流框架處理問題的不同切面：漏洞分類法、對抗戰術、風險管理流程，或法規遵循。有效的 AI 紅隊必須理解這些框架如何互補，並為每項委任選擇正確的組合。

框架地景

框架之間的關係

                    ┌─────────────────────┐
                    │   法規層              │
                    │   EU AI Act          │
                    │   美國行政命令         │
                    └────────┬────────────┘
                             │ 要求
                    ┌────────▼────────────┐
                    │  管理層               │
                    │  NIST AI RMF        │
                    │  ISO 42001          │
                    └────────┬────────────┘
                             │ 落實為
              ┌──────────────┼──────────────┐
              │              │              │
     ┌────────▼───┐  ┌──────▼──────┐ ┌─────▼──────┐
     │ 漏洞分類法   │  │  對抗建模   │ │  測試標準  │
     │ OWASP Top 10│  │  MITRE ATLAS│ │  NIST 600-1│
     └─────────────┘  └─────────────┘ └────────────┘

選擇合適的框架

依委任類型

依對象

不同利害關係人講不同的框架語言：

框架涵蓋分析

每個框架都有盲點。理解這些缺口對於全面評估至關重要。

各框架各自擅長的領域

框架共同的缺口

目前沒有任何框架足以涵蓋以下領域：

• 代理式 AI 風險：工具使用的利用、多步驟推理操弄、自主行動安全
• 多模型架構：串接多個 AI 模型的系統中的風險
• 湧現能力：規模達臨界點才浮現之能力的安全意涵
• 即時對抗適應：在委任過程中依模型回應即時修改技術的攻擊者

框架版本與更新

框架會演進。請追蹤這些更新週期：

實務中組合框架

要進行全面的 AI 紅隊委任，請在不同階段組合使用不同框架：

1. 1

   規劃：MITRE ATLAS

   以 ATLAS 戰術與技術建模威脅景觀並規劃攻擊情境。將目標系統攻擊面對應至 ATLAS 類別。

2. 2

   執行：OWASP LLM Top 10

   以 OWASP Top 10 作為測試檢核表，確保常見漏洞類別皆被涵蓋。每項 OWASP 條目都暗示具體測試案例。

3. 3

   風險評估：NIST AI RMF

   將發現放入 NIST AI RMF 風險類別的框架中，以傳達組織層級的風險姿態。將漏洞對應至 Govern、Map、Measure、Manage 四項功能。

4. 4

   合規對照：EU AI Act

   對服務歐盟市場的組織，將發現對應至 EU AI Act 要求，以呈現合規缺口或符合情形。

5. 5

   報告：跨框架交叉引用

   於報告中納入交叉引用，讓不同利害關係人能從其偏好的框架中找到發現。請參閱跨框架對照。

相關主題

• OWASP LLM Top 10 深度解析 -- 逐一分析 OWASP 類別
• MITRE ATLAS 導覽 -- 運用 ATLAS 規劃委任的實務
• NIST AI RMF 與 ISO 42001 -- 風險管理框架深入解析
• 跨框架對照參考 -- 統一分類法與速查表

參考資料

• "OWASP Top 10 for LLM Applications" - OWASP Foundation（2025）- 針對大型語言模型應用之業界標準漏洞分類法
• "MITRE ATLAS (Adversarial Threat Landscape for AI Systems)" - MITRE Corporation（2024）- 針對 AI 系統之對抗戰術與技術知識庫
• "NIST AI Risk Management Framework (AI RMF 1.0)" - National Institute of Standards and Technology（2023）- 管理 AI 生命週期風險的自願性框架
• "ISO/IEC 42001:2023 Artificial Intelligence Management System" - International Organization for Standardization（2023）- 建立與維持 AI 管理系統的可認證標準
• "EU Artificial Intelligence Act" - European Parliament（2024）- 涵蓋對抗測試要求的 AI 系統全面法規框架