頂石專案:紅隊計畫設計
為虛構企業設計完整的 AI 紅隊計畫,產出完整的計畫章程文件。
概觀
有效的 AI 紅隊不只是一群熟練的測試人員 — 而是一套有明確目標、既定流程、組織支持與可衡量成果的計畫。本頂石專案挑戰您從零為虛構企業設計一套完整的 AI 紅隊計畫,並產出啟動與營運該計畫所需的章程文件。
計畫設計所需的技能與技術性測試不同。您必須思考組織動態、資源分配、利害關係人管理,以及如何向可能不理解 AI 安全技術細節的高階主管展現價值。
先備條件
- 完整演練方法論 — 理解完整演練的樣貌
- 規劃與範圍界定 — 演練層級的規劃概念
- 治理與合規 — AI 安全計畫的法規脈絡
- AI 威脅全景 — 理解計畫須處理的威脅
- 對安全計畫、滲透測試計畫或風險管理框架有經驗或接觸
專案簡介
情境
您受聘擔任 Helios Financial Group AI 紅隊的創始主管。這是一家擁有 15,000 名員工的大型金融服務公司。Helios 過去兩年積極部署 AI,現有:
- 12 套正式 AI 系統,從面向客戶的聊天機器人到內部詐欺偵測模型
- 6 套開發中的 AI 系統,包含自主交易顧問與貸款審核助手
- 3 套第三方 AI 整合,包括 AI 驅動的 CRM、自動化文件處理廠商,以及開發人員使用的程式碼生成工具
- 尚無正式的 AI 安全測試計畫 — 安全評估為隨機進行,由缺乏 AI 專業的通用滲透測試團隊執行
CISO 已授權您設計一套 AI 紅隊計畫、向執委會簡報,並在 90 天內啟動營運。首年預算為 120 萬美元 (涵蓋人力、工具與外部演練)。您擁有聘用至多 4 名全職成員的權限。
組織脈絡
- Helios 須遵守金融法規要求 (SOX、PCI-DSS、OCC 對銀行業 AI 的指引)
- 公司具備成熟的傳統安全計畫,擁有既有的滲透測試團隊、SOC 與漏洞管理
- AI 開發團隊分散於 4 個事業單位,各有自身工程實務
- 高階對 AI 安全具有支持態度,但對 AI 專屬威脅的理解有限
- 既有滲透測試團隊曾嘗試 AI 測試,但承認其技術對 LLM 系統成效不佳
交付物
主要交付物
| 交付物 | 描述 | 權重 |
|---|---|---|
| 計畫章程 | 完整計畫章程文件 (15-25 頁) | 40% |
| 組織結構 | 組織圖、角色描述、聘用計畫 | 15% |
| 演練框架 | 演練類型、範本與頻率計畫 | 20% |
| 指標與報告 | KPI、儀表板與高階報告範本 | 15% |
| 預算與路線圖 | 12 個月預算明細與季度里程碑 | 10% |
評分準則
- 完整性 (20%) — 章程涵蓋所有必要計畫要素 (使命、範圍、結構、流程、指標、治理)
- 務實性 (25%) — 設計在既定限制 (預算、人力、時程) 下可實現
- 風險優先排序 (15%) — 計畫優先處理高風險系統,並依風險級別對應測試頻率
- 組織整合 (20%) — 計畫設計考量與既有安全團隊、開發流程與合規程序的整合
- 高階溝通 (20%) — 章程包含可說服非技術受眾的執行摘要與商業案例
分階段做法
階段 1:計畫基礎 (2 小時)
定義計畫使命與範圍
撰寫清晰的使命宣言,闡明 AI 紅隊做什麼、為何存在,以及不做什麼。定義範圍:涵蓋哪些 AI 系統、執行哪些類型的測試,以及計畫與既有滲透測試團隊、SOC 的關係。
設計組織結構
定義團隊結構:角色 (主管、資深測試人員、初階測試人員、自動化工程師)、彙報關係 (向 CISO 還是安全副總?)、與其他團隊的協作模式。建立符合 90 天啟動時程的聘用計畫。
定義演練類型
建立團隊將執行的演練類型:完整評估 (全面紅隊)、聚焦評估 (單一攻擊類別)、部署前審查 (新系統上線關卡)、持續監控 (CART),以及事件支援。定義何時適用哪種類型。
建立風險導向的優先排序框架
建立一套框架,決定優先測試哪些系統及測試頻率。考量:法規風險 (受合規要求限制的系統)、資料敏感度 (處理 PII、金融資料或健康資訊的系統)、自主程度 (會採取動作 vs 僅建議人類) 與外部暴露 (對客戶 vs 內部)。
階段 2:流程設計 (2 小時)
建立演練生命週期
記錄端到端的演練流程:接案 (團隊如何提出評估請求?)、範圍界定 (由誰定義範圍與交戰規則?)、執行 (測試方法論與標準)、報告 (發現格式、嚴重性判準、修復 SLA),以及後續 (複測、驗證、結案)。
設計部署前關卡
定義 AI 安全審查如何整合至開發生命週期。哪些判準觸發強制評估?高風險系統的最小評估範圍是什麼?對於無法等完整評估的緊急上線,團隊如何處理?
建立交戰規則範本
為不同演練類型建立標準化的 RoE 範本。包含:範圍定義檢查清單、授權測試技術、資料處理要求、升級程序 (若測試造成正式環境問題該如何?) 與溝通協定。
定義發現生命週期
記錄發現從發掘到結案的流程:分流、嚴重性指派、修復 SLA (關鍵:7 天;高:30 天;中:90 天)、修復驗證、例外流程 (無法修復的發現),以及風險接受 (誰可接受殘餘風險)。
階段 3:指標與報告 (2 小時)
定義計畫 KPI
建立可量測的 KPI:覆蓋率 (過去 12 個月已評估的 AI 系統百分比)、發現指標 (各嚴重性的發現、修復時間、例外比率)、效率 (每次演練時間、每項發現成本),以及成熟度 (執行的評估類型、測試深度)。
設計高階儀表板
建立季度高階報告範本。包含:計畫狀態 (已評估系統、辨識發現、修復進度)、風險態勢趨勢 (組織是愈來愈安全還是愈來愈不安全?)、覆蓋缺口 (哪些系統尚未評估?),以及資源利用率。
設計技術報告標準
定義所有演練的報告格式與品質標準。包含:必要章節、發現範本、嚴重性分類判準、證據需求,以及 AI 專屬發現的統計報告標準。
階段 4:營運化 (2 小時)
建立 12 個月路線圖
逐季規劃第一年:Q1 (聘用、工具化、對最高風險系統進行首次評估)、Q2 (擴大覆蓋、對關鍵系統建立 CART、首次高階報告)、Q3 (部署前關卡整合、廠商 AI 評估、團隊技能發展)、Q4 (完整覆蓋高風險系統、計畫成熟度評估、第二年規劃)。
建立預算明細
將 120 萬美元預算分配至:人力 (4 名全職人員薪資與福利)、工具 (商業與開源工具、測試用雲端基礎設施)、外部演練 (利基評估的專業顧問)、訓練 (團隊技能發展、研討會、證照),以及營運成本 (報告工具、協作平台)。
撰寫執行摘要與商業案例
撰寫章程開頭章節:計畫為何存在、可緩解哪些風險、不作為的成本為何 (法規罰則、聲譽損害、因 AI 被利用造成的金融損失),以及 12 個月後的成功樣貌。
處理常見反對意見
預想並處理高階主管的反對意見:「為什麼既有滲透測試團隊不能處理?」「AI 變化太快,無法有固定計畫。」「如何衡量安全測試的 ROI?」準備清晰簡潔的回應與佐證。
範例輸出
計畫使命宣言範例
## Mission
The Helios AI Red Team exists to proactively identify and help remediate
security vulnerabilities in AI systems before they can be exploited by
adversaries or cause harm to customers, employees, or the organization.
The team accomplishes this through:
- Structured security assessments of AI systems across their lifecycle
- Pre-deployment security reviews that serve as quality gates for new AI launches
- Continuous automated testing of critical AI systems in production
- Incident response support for AI-specific security events
- Security guidance and threat intelligence for AI development teams
The AI Red Team is NOT responsible for:
- General application security testing (handled by the AppSec team)
- Infrastructure and network penetration testing (handled by the Pen Test team)
- AI model performance, fairness, or bias testing (handled by the AI Ethics team)
- Day-to-day security monitoring (handled by the SOC)
The team collaborates closely with all of the above groups and serves as
the AI security subject matter expert for the broader security organization.風險優先排序矩陣範例
| System | Risk Level | Regulatory | Data Sensitivity | Autonomy | Exposure | Priority |
|--------|-----------|------------|-----------------|----------|----------|----------|
| Loan Approval AI | Critical | OCC, ECOA | PII, financial | Decision-making | Customer-facing | P1 |
| Trading Advisor | Critical | SEC, FINRA | Financial | Autonomous | Internal | P1 |
| Customer Chatbot | High | PCI-DSS | PII, payment | Advisory | Customer-facing | P2 |
| Fraud Detection | High | SOX | Transaction data | Flagging | Internal | P2 |
| Code Gen Tool | Medium | None | Source code | Advisory | Internal | P3 |
| Doc Processing | Medium | SOX | Financial docs | Processing | Vendor | P3 |預算明細範例
## Year 1 Budget: $1,200,000
### Headcount (68% — $816,000)
- AI Red Team Lead: $210,000 (fully loaded)
- Senior AI Security Tester (x2): $380,000 ($190k each)
- Automation/Tooling Engineer: $180,000
- Recruiting costs: $46,000
### Tooling (15% — $180,000)
- Commercial AI security tools: $80,000
- Cloud infrastructure for testing: $50,000
- Open-source tool hosting and maintenance: $20,000
- Reporting and collaboration platforms: $30,000
### External Engagements (10% — $120,000)
- Specialist consultant engagements (2x): $100,000
- Third-party AI vendor assessments: $20,000
### Training and Development (5% — $60,000)
- Conference attendance (team): $25,000
- Training courses and certifications: $20,000
- Research time and lab materials: $15,000
### Operational Reserve (2% — $24,000)
- Unplanned expenses and contingency提示
為何 AI 紅隊計畫應定義部署前安全關卡,而非僅依賴對正式系統的定期評估?