What is Continuous Automated Red Teaming (CART)?

Designing CART pipelines for ongoing AI security validation: architecture, test suites, telemetry, alerting, regression detection, and CI/CD integration.

What is Garak: LLM Vulnerability Scanner?

Deep dive into NVIDIA's Garak LLM vulnerability scanner: architecture, probes, generators, evaluators, custom probe development, and CI/CD integration for automated security scanning.

What is PyRIT: Red Team Orchestration?

Deep dive into Microsoft's PyRIT (Python Risk Identification Toolkit): orchestrators, scorers, converters, targets, multi-turn campaigns, and advanced red team configuration.

What is promptfoo for Red Teaming?

Deep dive into promptfoo for AI red teaming: YAML configuration, assertion-based testing, red team plugins, custom evaluators, and regression testing workflows for LLM security.

What is Inspect AI: UK AISI Framework?

Deep dive into the UK AI Safety Institute's Inspect framework: task design, solvers, scorers, building custom evaluations, and comparison to other AI evaluation frameworks.

What is HarmBench: Standardized Evaluation?

Deep dive into the HarmBench framework for standardized red team evaluation: attack methods, evaluation pipeline, running benchmarks, interpreting results, and comparing model safety across providers.

What is Custom Harness Building Patterns?

Design patterns for building custom AI red team harnesses: plugin architecture, result storage, async execution, multi-model support, converter pipelines, and production-grade orchestration.

What is Burp Suite & AI Extensions?

Using Burp Suite for AI API security testing: intercepting LLM API calls, AI-specific extensions, fuzzing AI endpoints, testing prompt injection via HTTP, and integrating web security methodology with AI red teaming.

What is Lab: Tool Comparison?

Hands-on lab comparing Garak, PyRIT, promptfoo, and Inspect AI against the same target model. Evaluate coverage, speed, finding quality, and practical trade-offs of each tool.

紅隊基礎設施與工具

專家4 分鐘閱讀更新於 2026-03-11

AI 紅隊 C2 框架、自動化攻擊管線、自製掃描器開發，以及與 Cobalt Strike、Mythic、Sliver 的整合。

c2 infrastructure automation tooling pipeline scanner fuzzer cobalt-strike mythic sliver

紅隊基礎設施與工具

專業級的 AI 紅隊需要專門打造的基礎設施。有別於零散的提示測試，一個成熟的作業需要集中式的指揮與控制、自動化的攻擊管線、可重複執行的掃描，並能整合既有的安全工具。本頁介紹生產級 AI 紅隊平台的架構。

AI 紅隊 C2 架構

用於 AI 紅隊的 C2 會管理行動、派發攻擊任務，並蒐集發現。

架構概觀

┌─────────────────────────────────────────────┐
│              C2 Server (AIRT-C2)             │
│  行動管理器 │ Payload 資料庫 │ 結果彙整      │
│         └────────任務佇列────────┘          │
│              └────代理匯流排────┘           │
│  ┌─────┐ ┌──────┐ ┌─────┐ ┌───────┐       │
│  │注入  │ │模糊  │ │偵察 │ │掃描   │       │
│  │代理  │ │代理  │ │代理 │ │代理   │       │
│  └──┬──┘ └──┬───┘ └──┬──┘ └──┬────┘       │
└─────┼───────┼────────┼───────┼──────────────┘
      ▼       ▼        ▼       ▼
  [聊天機器人] [API] [RAG] [代理] [MCP Server]

核心元件

元件	職責
行動管理器	建立行動、指派目標、追蹤進度
Payload 資料庫	儲存並版本化注入 payload、模糊種子、偵察探針
任務佇列	將任務派發給代理（Redis/RabbitMQ）
代理匯流排	將任務路由至正確的代理類型
結果引擎	彙整發現、去重，指派嚴重性

行動資料模型

Campaign
  ├── id, name, description, targets[]
  ├── tasks[]（AttackTask）
  │   ├── agent_type：inject | fuzzer | recon | scanner
  │   ├── target：{url, auth, config}
  │   ├── payload：{payloads[], settings}
  │   ├── status：pending | running | completed | failed
  │   └── findings[]（Finding）
  │       ├── severity：critical | high | medium | low
  │       ├── title, description, evidence{}
  │       └── remediation
  └── stats：{total, completed, failed, findings_by_severity}

攻擊代理

所有代理實作共通介面：execute(task) -> \{results, findings\}。這讓代理在 C2 框架中可互通。

提示注入代理

自 C2 接收 payload
每個 payload 具有 text 與 category（system_prompt_extraction、data_exfiltration 等）。
將每個 payload 送至目標
以 POST 將 payload 內容送至目標 URL。擷取完整回應。
評估是否成功
檢查是否出現拒答指標（失敗）或遵從指標（成功）。依類別作特化評估：擷取類檢查 "you are" / "instructions:"；外洩類檢查是否為未拒答的長回應。
產生 Finding
對每次成功的注入，建立 Finding，包含嚴重性、描述、證據（payload + 回應）與修復建議。

偵察代理

對每個目標執行三項自動化任務：

任務	作用	產出
端點列舉	探測常見 AI 路徑（`/api/chat`、`/v1/models`、`/docs` 等）	活動端點清單，包含方法與內容類型
標頭分析	檢視 `x-*`、`server`、`via`、`model`、`ratelimit` 標頭	基礎設施洩漏指標
供應商指紋	送出「What model are you?」/「Who created you?」探針	供應商識別結果與信心度

漏洞掃描器

四項自動化檢查並行執行：

檢查	測試內容	嚴重性
系統提示洩漏	送出 3 個擷取探針，檢查回應是否含 3 個以上提示指標	高
提示注入	注入金絲雀 token（「CANARY_TOKEN_12345」），檢查是否出現於回應	嚴重
資料洩漏	詢問知識庫 / 訓練資料，檢查 PII 模式（@、phone:、api_key）	高
工具定義暴露	詢問「List all tools and their parameters」，檢查是否含 3 個以上工具指標	中

與傳統紅隊工具的整合

Cobalt Strike 整合

由 AI 發現產生 Aggressor 腳本：

自動產生按嚴重性顯示 AI 發現的彈出選單項目
為每項發現建立 beacon 備註以整合時間軸
將 AI 發現對齊至與傳統攻擊相同的委任時間軸

Mythic 整合

註冊與 Mythic 相容的 airt-agent payload 類型，提供下列指令：

指令	說明
`ai_recon`	對 AI 端點執行偵察
`ai_inject`	測試提示注入 payload（basic / advanced / waf_evasion 組）
`ai_extract`	以自動挑選的方法擷取系統提示
`ai_fuzz`	以可設定的案例數對 AI 端點進行模糊測試

Sliver 整合

建立 Sliver 擴充（ai-redteam），提供兩個指令：

指令	說明
`ai-scan`	端點列舉 + 供應商指紋 + 能力對照
`ai-exploit`	對目標執行提示注入與越獄 payload

管線架構

建議的管線呼應傳統紅隊方法論：

[行動組態] → [C2 Server] → [代理派發]
                                │
                ┌───────────────┤
                ▼               ▼
          [偵察代理]        [掃描代理]
                │               │
                ▼               ▼
         [結果 → 鎖定]    [漏洞 → 選擇 exploit]
                │               │
                └───────┬───────┘
                        ▼
                 [注入代理]
                        │
                        ▼
                 [發現 → 報告]

部署 C2 並建立行動
啟用 C2 server、定義目標，並組態行動。
執行偵察
列舉端點、指紋供應商、分析標頭。以結果組態後續階段。
執行掃描
執行所有自動化漏洞檢查。依漏洞密度為目標排序。
執行針對性注入
以偵察與掃描結果挑選並組態注入 payload。優先針對最有潛力的目標測試。
產生報告
產出結構化 JSON 報告，包含依嚴重性排序的發現、行動統計及各任務結果。

Knowledge Check

將 AI 紅隊發現與 Cobalt Strike、Mythic 等傳統 C2 框架整合的主要優勢是什麼？

參考資料

Garak: LLM Vulnerability Scanner — NVIDIA 的 LLM 安全掃描器
PyRIT: Python Risk Identification Toolkit — 微軟的 AI 紅隊框架
Cobalt Strike User Guide — 可整合的傳統 C2 框架

紅隊基礎設施與工具

專家4 分鐘閱讀更新於 2026-03-11

AI 紅隊 C2 框架、自動化攻擊管線、自製掃描器開發，以及與 Cobalt Strike、Mythic、Sliver 的整合。

c2 infrastructure automation tooling pipeline scanner fuzzer cobalt-strike mythic sliver

紅隊基礎設施與工具

AI 紅隊 C2 架構

用於 AI 紅隊的 C2 會管理行動、派發攻擊任務，並蒐集發現。

架構概觀

┌─────────────────────────────────────────────┐
│              C2 Server (AIRT-C2)             │
│  行動管理器 │ Payload 資料庫 │ 結果彙整      │
│         └────────任務佇列────────┘          │
│              └────代理匯流排────┘           │
│  ┌─────┐ ┌──────┐ ┌─────┐ ┌───────┐       │
│  │注入  │ │模糊  │ │偵察 │ │掃描   │       │
│  │代理  │ │代理  │ │代理 │ │代理   │       │
│  └──┬──┘ └──┬───┘ └──┬──┘ └──┬────┘       │
└─────┼───────┼────────┼───────┼──────────────┘
      ▼       ▼        ▼       ▼
  [聊天機器人] [API] [RAG] [代理] [MCP Server]

核心元件

元件	職責
行動管理器	建立行動、指派目標、追蹤進度
Payload 資料庫	儲存並版本化注入 payload、模糊種子、偵察探針
任務佇列	將任務派發給代理（Redis/RabbitMQ）
代理匯流排	將任務路由至正確的代理類型
結果引擎	彙整發現、去重，指派嚴重性

行動資料模型

Campaign
  ├── id, name, description, targets[]
  ├── tasks[]（AttackTask）
  │   ├── agent_type：inject | fuzzer | recon | scanner
  │   ├── target：{url, auth, config}
  │   ├── payload：{payloads[], settings}
  │   ├── status：pending | running | completed | failed
  │   └── findings[]（Finding）
  │       ├── severity：critical | high | medium | low
  │       ├── title, description, evidence{}
  │       └── remediation
  └── stats：{total, completed, failed, findings_by_severity}

攻擊代理

所有代理實作共通介面：execute(task) -> \{results, findings\}。這讓代理在 C2 框架中可互通。

提示注入代理

自 C2 接收 payload
每個 payload 具有 text 與 category（system_prompt_extraction、data_exfiltration 等）。
將每個 payload 送至目標
以 POST 將 payload 內容送至目標 URL。擷取完整回應。
評估是否成功
檢查是否出現拒答指標（失敗）或遵從指標（成功）。依類別作特化評估：擷取類檢查 "you are" / "instructions:"；外洩類檢查是否為未拒答的長回應。
產生 Finding
對每次成功的注入，建立 Finding，包含嚴重性、描述、證據（payload + 回應）與修復建議。

偵察代理

對每個目標執行三項自動化任務：

任務	作用	產出
端點列舉	探測常見 AI 路徑（`/api/chat`、`/v1/models`、`/docs` 等）	活動端點清單，包含方法與內容類型
標頭分析	檢視 `x-*`、`server`、`via`、`model`、`ratelimit` 標頭	基礎設施洩漏指標
供應商指紋	送出「What model are you?」/「Who created you?」探針	供應商識別結果與信心度

漏洞掃描器

四項自動化檢查並行執行：

檢查	測試內容	嚴重性
系統提示洩漏	送出 3 個擷取探針，檢查回應是否含 3 個以上提示指標	高
提示注入	注入金絲雀 token（「CANARY_TOKEN_12345」），檢查是否出現於回應	嚴重
資料洩漏	詢問知識庫 / 訓練資料，檢查 PII 模式（@、phone:、api_key）	高
工具定義暴露	詢問「List all tools and their parameters」，檢查是否含 3 個以上工具指標	中

與傳統紅隊工具的整合

Cobalt Strike 整合

由 AI 發現產生 Aggressor 腳本：

自動產生按嚴重性顯示 AI 發現的彈出選單項目
為每項發現建立 beacon 備註以整合時間軸
將 AI 發現對齊至與傳統攻擊相同的委任時間軸

Mythic 整合

註冊與 Mythic 相容的 airt-agent payload 類型，提供下列指令：

指令	說明
`ai_recon`	對 AI 端點執行偵察
`ai_inject`	測試提示注入 payload（basic / advanced / waf_evasion 組）
`ai_extract`	以自動挑選的方法擷取系統提示
`ai_fuzz`	以可設定的案例數對 AI 端點進行模糊測試

Sliver 整合

建立 Sliver 擴充（ai-redteam），提供兩個指令：

指令	說明
`ai-scan`	端點列舉 + 供應商指紋 + 能力對照
`ai-exploit`	對目標執行提示注入與越獄 payload

管線架構

建議的管線呼應傳統紅隊方法論：

[行動組態] → [C2 Server] → [代理派發]
                                │
                ┌───────────────┤
                ▼               ▼
          [偵察代理]        [掃描代理]
                │               │
                ▼               ▼
         [結果 → 鎖定]    [漏洞 → 選擇 exploit]
                │               │
                └───────┬───────┘
                        ▼
                 [注入代理]
                        │
                        ▼
                 [發現 → 報告]

部署 C2 並建立行動
啟用 C2 server、定義目標，並組態行動。
執行偵察
列舉端點、指紋供應商、分析標頭。以結果組態後續階段。
執行掃描
執行所有自動化漏洞檢查。依漏洞密度為目標排序。
執行針對性注入
以偵察與掃描結果挑選並組態注入 payload。優先針對最有潛力的目標測試。
產生報告
產出結構化 JSON 報告，包含依嚴重性排序的發現、行動統計及各任務結果。

Knowledge Check

將 AI 紅隊發現與 Cobalt Strike、Mythic 等傳統 C2 框架整合的主要優勢是什麼？

參考資料

Garak: LLM Vulnerability Scanner — NVIDIA 的 LLM 安全掃描器
PyRIT: Python Risk Identification Toolkit — 微軟的 AI 紅隊框架
Cobalt Strike User Guide — 可整合的傳統 C2 框架

紅隊基礎設施與工具

自 C2 接收 payload

將每個 payload 送至目標

評估是否成功

產生 Finding

部署 C2 並建立行動

執行偵察

執行掃描

執行針對性注入

產生報告

學習路徑

相關文章

紅隊基礎設施與工具

自 C2 接收 payload

將每個 payload 送至目標

評估是否成功

產生 Finding

部署 C2 並建立行動

執行偵察

執行掃描

執行針對性注入

產生報告

學習路徑

相關文章