技藝
涵蓋偵察技術、AI 特定威脅建模,以及專業對抗性評估之結構化案件方法論的進階 AI 紅隊技藝。
技藝(tradecraft)將系統化對抗評估與對 AI 系統的零散嘗試區分開來。它涵蓋專業紅隊員在每場案件中所帶入的規劃、偵察、方法論與營運紀律。攻擊技術告訴您該試什麼,技藝則告訴您「何時嘗試、以何種順序、如何從每次測試中萃取最大價值」。
本節涵蓋的技藝處理 AI 紅隊案件中「於主動利用之前、期間與旁側」發生的階段。偵察蒐集使攻擊有目標而非盲目的情報;威脅建模辨識對所測試系統而言最重要的攻擊;方法論提供確保完整覆蓋、同時能依發現動態調整的結構化框架。這些技能讓小團隊能有效評估複雜的 AI 系統,產出技術上穩健且營運上相關的發現。
技藝生命週期
有效的 AI 紅隊演練遵循一個生命週期,類似傳統安全評估,但每個階段都適配 AI 系統的獨特特性。
偵察 在 AI 情境中遠超網路掃描與 OSINT。多數 AI 案件中最有價值的偵察目標是系統提示詞——萃取它會揭示模型身分、能力、限制、工具定義與護欄邏輯。系統提示詞萃取是一項專門技能,使用直接請求、間接技巧與多輪策略誘使模型洩漏其指令。除了系統提示詞外,API 逆向工程描繪技術表面:正在使用哪些模型、暴露哪些參數、如何處理輸入,以及可用工具或整合。影子 AI 發掘辨識組織內未經授權的 AI 部署——由個別團隊部署、未經安全審查、常採預設配置且存取控制極少的 AI 系統。
威脅建模 對 AI 系統需採用能考量語言模型特有攻擊面的框架。傳統威脅模型聚焦於認證、授權與資料流;AI 威脅模型必須額外考量提示詞注入向量、訓練資料完整性、模型供應鏈風險、工具信任邊界,以及當自主代理被入侵時的放大效應。AI 特定的威脅建模將 STRIDE、MITRE ATLAS 與自訂框架加以調適,以系統化方式辨識對受評估系統最相關的威脅。
案件方法論 為評估執行提供營運結構。範圍界定與交戰規則定義何者在範圍內、可使用何種資料,以及測試團隊的存取層級;證據蒐集確保每項發現都有充分細節可重現、防禦並向利害關係人說明;紫隊整合攻擊測試與防禦回應,讓防禦團隊能即時觀察攻擊並評估其偵測與回應能力;持續紅隊將評估模式從單點評估延伸為持續對抗監控,能在系統演進時捕捉回歸。
偵察深度
偵察品質直接決定後續攻擊的效果。淺層偵察導致可能相關也可能不相關的通用攻擊;深層偵察則能進行精準目標攻擊,利用所測試系統的特定弱點。
| 偵察層級 | 技術 | 價值 |
|---|---|---|
| 表層 | 模型辨識、基本輸入測試、公開文件檢視 | 對所測試對象的基線理解 |
| 系統提示詞萃取 | 直接請求、間接技巧、多輪策略、編碼技巧 | 揭示護欄、工具、商業邏輯與限制 |
| API 分析 | 參數列舉、錯誤行為對應、速率限制探測、模型指紋辨識 | 描繪技術攻擊面,辨識配置錯誤 |
| 影子 AI 發掘 | 網路流量分析、API 端點掃描、員工訪談、雲端資源稽核 | 辨識安全姿態脆弱的未經測試 AI 部署 |
本節您將學到
- 進階偵察 ——系統提示詞萃取技術、API 逆向工程與模型指紋辨識,以及用於發現未經授權 AI 部署的影子 AI 發掘
- AI 特定威脅建模 ——為 AI 系統調適威脅建模框架、辨識模型層與資料層威脅,以及以影響與可利用性為攻擊向量排序
- 紅隊方法論 ——範圍界定與交戰規則、證據蒐集最佳實務、紫隊方式、持續紅隊計畫,以及 AI 特定威脅建模工作流程
先備知識
技藝搭配一些技術基礎最具價值: