建立 AI 紅隊計畫
從組織設計、人員配置、工具、委任模式、利害關係人管理到成熟度進程，建立內部 AI 紅隊計畫的完整指南。
建立 AI 紅隊計畫，與「將傳統安全紅隊延伸到 AI 系統」本質上是不同的任務。AI 系統引入新穎的攻擊面、需要特化技能，並要求能顧及 AI 行為機率特性的新委任模式。
計畫設計
組織模型
| 模型 | 最適合 | 優點 | 缺點 |
|---|---|---|---|
| 嵌入安全團隊 | 傳統安全組織新增 AI 能力 | 可沿用既有安全基礎設施 | 相較傳統安全，AI 可能被降級 |
| 嵌入 AI/ML 團隊 | AI-first 公司 | 深入模型存取、回饋快速 | 可能缺乏對抗性思維 |
| 獨立團隊 | 大量部署 AI 的大型組織 | 完全獨立、專屬資源 | 開銷較高、可能與其他團隊隔離 |
| 混合：安全 + AI 聯絡人 | 中型組織 | 結合安全嚴謹度與 AI 專業 | 需強力的跨團隊協調 |
| 外包 / 擴充 | AI 部署初期 | 投入低、具外部專業 | 缺乏內部累積之知識 |
獨立團隊建議結構
AI 紅隊負責人
├── 提示注入 / 越獄專家
├── 代理與管線安全工程師
├── ML 安全研究員
├── AI 基礎設施安全工程師
└── 紅隊維運分析師（工具、報告、協調）
各規模計畫的人員配置
最小可行團隊（3 人）
| 角色 | 所需技能 | 職責 |
|---|---|---|
| AI 紅隊負責人 | 5+ 年資安、2+ 年 AI | 委任規劃、利害關係人管理、報告 |
| AI 安全工程師 | 3+ 年資安、ML 基礎 | 提示注入、代理攻擊、動手測試 |
| ML 安全研究員 | 3+ 年 ML、對資安有興趣 | 訓練管線攻擊、模型評估、工具開發 |
成長期團隊（6–8 人）
加入：第二位 AI 安全工程師、AI 基礎設施安全工程師、多模態專家、維運/工具分析師。
成熟團隊（10+ 人）
加入：各攻擊領域的專精負責人、專職工具開發人員，以及針對新穎攻擊發掘之研究線。
委任模式
使用時機： 高風險暴露的生產級 AI 系統。
自動化與半自動化測試持續針對已部署 AI 系統執行，並由人工審查被標記的結果。
| 元件 | 頻率 | 自動化程度 |
|---|---|---|
| 提示注入回歸測試套件 | 每日 | 全自動 |
| 越獄金絲雀測試 | 每日 | 自動化附人工審查 |
| 安全基準評估 | 每週 | 自動化 |
| 新功能手動探索 | 每次發布 | 手動 |
| 完整對抗評估 | 每季 | 手動 |
使用時機： 中等風險 AI 系統，或上線前測試。
於定期間隔（每月、每季）進行結構化委任，涵蓋完整攻擊分類。
| 階段 | 時長 | 交付物 |
|---|---|---|
| 範疇界定與偵察 | 2–3 天 | 委任計畫、威脅模型 |
| 攻擊執行 | 5–10 天 | 原始發現日誌 |
| 分析與報告 | 3–5 天 | 附修復建議的正式報告 |
| 修復驗證 | 2–3 天 | 驗證報告 |
使用時機： 新模型部署、重大功能上線、事件回應。
由特定事件觸發，而非依行事曆排程。
| 觸發 | 範圍 | 時程 |
|---|---|---|
| 新模型部署 | 針對新模型的完整評估 | 上線前 1–2 週 |
| 代理新增工具/函式 | 工具特定攻擊測試 | 3–5 天 |
| 涉及 AI 的資安事件 | 針對性調查 | 立即 |
| 法規稽核準備 | 以合規為主的評估 | 稽核前 2–4 週 |
使用時機： 測試偵測與回應能力的成熟計畫。
模擬真實世界攻擊者、全範圍且不預告的對抗行動。
| 階段 | 活動 | 時長 |
|---|---|---|
| 規劃 | 發展攻擊情境、設定目標，僅向高階主管簡報 | 1–2 週 |
| 執行 | 對 AI 系統發動不預告攻擊、測試偵測 | 2–4 週 |
| 分析 | 評估偵測到什麼、遺漏什麼 | 1 週 |
| 檢討 | 全團隊帶走教訓的檢討會 | 1–2 天 |
工具堆疊
| 類別 | 工具 | 用途 |
|---|---|---|
| 攻擊自動化 | Garak、PyRIT、promptfoo | 系統化漏洞掃描 |
| 自製工具 | 內部腳本、自製測試框架 | 組織特定攻擊情境 |
| 基礎設施 | Burp Suite、mitmproxy、Wireshark | API 層級檢視 |
| 追蹤 | Jira、Linear、自製儀表板 | 發現管理與報告 |
| 證據 | 截圖工具、日誌框架 | 可重現證據擷取 |
| 協作 | 共享攻擊資料庫、技術文件庫 | 團隊知識管理 |
利害關係人管理
主要利害關係人
| 利害關係人 | 他們需要 | 如何溝通 |
|---|---|---|
| CISO / 資安領導 | 風險等級摘要、計畫 ROI | 月度儀表板、季度檢視 |
| AI/ML 工程 | 具體可行之發現與修復指引 | 技術報告、直接協作 |
| 產品管理 | 發現的業務影響、上線就緒度 | 以風險為基礎的上線核准框架 |
| 法務 / 合規 | 法規合規狀態、文件 | 合規對照報告 |
| 高階主管 | 高階層風險姿態、競爭定位 | 年度計畫回顧、事件簡報 |
計畫成熟度模型
Level 1：初始（0–6 個月）
由對 AI 有興趣的資安團隊成員進行零散測試。基本提示注入測試。流程手動。無專屬 AI 紅隊。
目標： 展現價值、爭取專屬資源。
Level 2：發展（6–18 個月）
2–3 人的專屬團隊。結構化委任方法論。基礎自動化（Garak、promptfoo）。定期測試節奏。簡易報告。
目標： 建立可重複的流程、累積專業。
Level 3：定義（18–36 個月）
完整團隊並具專精分工。自製工具。生產系統的持續測試。與 CI/CD 管線整合。標準化指標與報告。
目標： 以一致品質涵蓋整個 AI 攻擊分類。
Level 4：進階（36+ 個月）
具原創研究能力。進行對抗模擬演練。跨功能 AI 安全影響力。對業界貢獻（標準、開源）。具主動威脅情報。
目標： 在 AI 安全實務上引領業界。
關於指標與 ROI 量測，請見「指標、KPI 與展現 ROI」。關於團隊組成與職涯發展，請見 AI 紅隊職涯指南。
相關主題
- 指標、KPI 與展現 ROI -- 量測與證明計畫投入
- 團隊組成與技能矩陣 -- 招募與技能的詳細指引
- 擴展紅隊計畫 -- 自初期能力成長至成熟計畫
- AI 紅隊職涯指南 -- 餵入團隊建構的個人職涯路徑
- NIST AI RMF 與 ISO 42001 -- 為計畫設計提供依據的治理框架
參考資料
- "Building Effective AI Red Teams" - Microsoft（2024）- 建立並營運 AI 對抗測試計畫的組織指引
- "AI Risk Management Framework (AI RMF 1.0)" - National Institute of Standards and Technology（2023）- 為紅隊計畫結構與職責提供依據的治理框架
- "CREST Penetration Testing Maturity Model" - CREST International（2024）- 可套用至 AI 紅隊的安全測試計畫成熟度模型
- "Lessons Learned from Building AI Red Teams" - Anthropic（2024）- 實務人員對團隊設計、委任模式與利害關係人管理的觀察
AI 紅隊計畫最常見的失敗模式是什麼？