案件演練概覽
完整 AI 紅隊案件的逐步演練:從範圍界定與偵察,到攻擊執行與報告撰寫,依目標系統類型分類組織。
每個 AI 系統都有各自的架構、威脅模型與利害關係人。聊天機器人案件不同於 RAG 系統案件,而兩者又與代理系統評估有所差異。本章節的演練提供完整、依系統類型分類的案件執行指南,涵蓋從範圍界定、偵察、攻擊執行到報告撰寫的完整生命週期。
這些並非理論框架。每個演練都遵循真實案件情境,並提供實戰中會使用的精確測試流程、工具以及交付物範本。
演練的結構
每個案件演練都依循相同的五階段結構:
範圍界定與案件前準備
定義目標系統、達成交戰規則共識、辨識利害關係人、建置測試環境並建立溝通協定。
偵察
繪製目標系統的架構、識別組件、列舉攻擊面,並根據偵察結果建立測試計畫。
攻擊執行
對每一個識別出的攻擊面執行結構化攻擊。無論成功與否,都記錄每次嘗試。
分析與分類
分析發現項目、評估嚴重度、找出根本原因,並針對系統架構提出量身訂做的修補建議。
報告與交接
撰寫案件報告、進行結案會議,並將發現項目連同可行的修補指引一併交接。
選擇合適的演練
| 系統類型 | 演練 | 主要攻擊面 | 典型時長 |
|---|---|---|---|
| 聊天機器人 | 聊天機器人案件 | 提示詞注入、系統提示詞擷取、內容過濾繞過、PII 洩漏 | 1-2 週 |
| RAG 系統 | RAG 案件 | 文件注入、跨範圍檢索、嵌入操縱、資料外洩 | 2-3 週 |
| AI 代理 | 代理案件 | 工具濫用、權限提升、經由工具的提示詞注入、會話操縱 | 2-4 週 |
| AI API | API 案件 | 認證繞過、速率限制規避、輸入驗證、輸出洩漏 | 1-2 週 |
| 多模型 | 多模型案件 | 模型間注入、路由繞過、備援模型利用、跨模型資料洩漏 | 3-4 週 |
通用案件階段
無論系統類型為何,每個 AI 紅隊案件都包含以下活動:
案件前必備事項
書面授權。 取得明確涵蓋 AI 特有測試活動的簽署授權:提示詞注入、越獄、資料萃取嘗試以及工具濫用。標準滲透測試授權未必涵蓋這些活動。
範圍定義。 精確定義哪些模型、端點、資料來源與工具屬於測試範圍內。AI 系統通常跨越多個服務與帳戶。確認模型訓練基礎設施、監控系統與連接的資料儲存是在範圍內或範圍外。
測試環境。 只要可行,請優先對測試環境執行測試。AI 測試可能產生進入日誌、訓練資料或回饋迴路的內容。在測試生產環境前,務必了解影響範圍。
偵察模式
每個案件都從偵察開始。對 AI 系統而言,偵察包含:
- 架構繪製: 識別模型、主機平台、編排層、資料來源與工具整合
- API 列舉: 繪製所有端點、認證機制與速率限制
- 內容政策識別: 判斷存在哪些內容過濾機制及其閾值
- 工具盤點: 對代理系統列舉可用工具及其能力
- 資料來源繪製: 對 RAG 系統識別連接的資料儲存及其存取控制
報告標準
本章節所有案件演練產生的交付物皆依循報告撰寫演練的標準:
- 執行摘要 針對系統類型與商業脈絡量身訂做
- 發現細節 包含重現步驟、嚴重度評級以及系統相關影響分析
- 修補建議 對應特定平台、框架與架構
- 附錄 包含原始測試資料、工具設定與成本摘要
案件難度進階
若您初次接觸 AI 紅隊演練,建議依下列順序進行:
-
聊天機器人案件 (中級)—— 最簡單的目標架構。聚焦核心技能:提示詞注入、系統提示詞擷取與內容過濾繞過。
-
API 案件 (中級)—— 引入基礎設施層級測試。結合 AI 特有技巧與傳統 API 安全測試。
-
RAG 案件 (進階)—— 增加資料層複雜性。需要理解嵌入系統、向量資料庫與檢索管線。
-
代理案件 (進階)—— 單一系統類型中最複雜者。需要理解工具呼叫、權限模型與多步驟攻擊鏈。
-
多模型案件 (進階)—— 整體最複雜者。需要理解模型間互動、路由邏輯以及跨模型攻擊傳播。