AI 紅隊演練 CTF 挑戰

Overview of Capture-the-Flag challenges for AI 紅隊演練. 學習 the CTF format, scoring system, rules, hints, and strategies for approaching AI security competitions.

什麼是 AI 紅隊演練 CTF？

奪旗（CTF）挑戰將成熟的網路安全競賽格式應用於 AI 和 LLM 安全。你不再是利用緩衝區溢位或破解密碼，而是利用模型行為、繞過安全系統，並操控 AI 流水線以萃取隱藏旗標或達成禁止目標。

本系列的每個挑戰都讓你面對一個帶有特定目標的防禦 AI 系統。你的任務是找到並利用弱點來取回旗標或完成目標。

CTF 格式與結構

本系列的每個挑戰都遵循一致的結構：

挑戰等級

挑戰元件

1. 1

   Briefing

   每個挑戰都從情境說明、你的目標和交戰規則開始。請仔細閱讀——其中通常包含關於攻擊面的微妙提示。

2. 2

   Target System

   你正在攻擊的 AI 系統描述，包括其目的、已知防禦措施，以及對你互動的任何限制（速率限制、輸入長度、模態限制）。

3. 3

   Objective

   你必須達成的明確目標說明。可能是萃取特定旗標字串、引起特定行為，或外洩目標資料。

4. 4

   Scoring

   主要目標的積分值，加上技術多樣性、隱蔽性或創意解法的額外加分。

5. 5

   Hints

   以積分換取指引的分層提示系統。每個提示都會降低你的最高得分，但提供正確方向的引導。

計分系統

計分系統同時獎勵成功和精密度：

積分配置

基礎積分：     達成主要目標即可獲得
技術加分：+10–50%，用於多樣或新穎的技術
隱蔽加分：+10–25%，用於避免偵測或觸發最少警報
速度加分：+5–15%，在標準時間內完成
提示罰分：   -15%（使用提示一），-25%（提示二），-50%（提示三）

排行榜分類

• Speed Run -- fastest completion time regardless of technique
• Style Points -- most creative or elegant solution
• Completionist -- most challenges solved across all tiers
• Specialist -- highest score within a single challenge category

交戰規則

All CTF challenges operate under these rules:

1. Scope -- only attack the designated 目標系統. Do not attempt to compromise the CTF infrastructure itself.
2. No denial of service -- do not intentionally crash, overload, or degrade the 目標系統 for other participants.
3. No flag sharing -- flags are individual. Sharing flags with other participants results in disqualification.
4. Tool freedom -- you may use any tools, scripts, or frameworks unless a challenge explicitly restricts them.
5. Documentation -- keep a log of your attempts. Writeups may be requested for verification of bonus points.

The Hints System

提示遵循三層結構，旨在引導而不直接給出答案：

提示是累積的——使用提示二也會套用提示一的罰分。將其視為獨立學習與解除卡關之間的權衡。

AI CTF 攻略策略

成功的 CTF 競賽者遵循系統化方法論：

1. 1

   Reconnaissance

   在發送任何攻擊載荷前，先了解目標。它是什麼模型？其聲稱的能力是什麼？它提及了哪些安全措施？發送無害查詢以描繪系統的行為和邊界。

2. 2

   Attack Surface Mapping

   識別所有輸入向量：文字提示詞、文件上傳、API 參數、間接頻道。每個向量都是潛在的入口點。在選擇方法前列出所有向量。

3. 3

   Technique Selection

   將偵察發現與已知攻擊技術對應。具有嚴格關鍵字過濾器的系統建議採用編碼繞過。具有工具存取的系統建議 tool abuse vectors.

4. 4

   Iterative Exploitation

   從簡單技術開始並逐步升級。每次嘗試都提供關於防禦層的資訊，即使失敗也是如此。根據錯誤訊息和回應模式調整載荷。

5. 5

   Flag Extraction and Documentation

   找到可行方法後，乾淨地萃取旗標。在報告中記錄完整的攻擊鏈，並記錄沿途發現的任何額外漏洞。

挑戰分類

本系列的挑戰按測試不同技能組合的分類組織：

進攻型挑戰

防禦型挑戰

建議準備事項

在嘗試 CTF 挑戰前，確認已完成：

1. 初學者實作 — AI 紅隊演練實作入門 提供基礎技能
2. 提示詞注入基礎 — 複習直接注入和防禦規避技術
3. 工具設定 — 確認你的測試框架和 API 存取已配置

環境設定

每個挑戰都有其特定要求，但共同的基準是：

# ctf_setup.py -- baseline CTF environment configuration
import os
import time
import json
from dataclasses import dataclass, field
from datetime import datetime
 
@dataclass
class CTFSession:
    """Track a CTF challenge attempt."""
    challenge_id: str
    start_time: datetime = field(default_factory=datetime.now)
    attempts: list = field(default_factory=list)
    hints_used: int = 0
    flag: str = ""
    max_points: int = 0
 
    def log_attempt(self, payload: str, response: str, success: bool = False):
        self.attempts.append({
            "timestamp": datetime.now().isoformat(),
            "payload": payload,
            "response": response[:500],  # Truncate long responses
            "success": success,
        })
 
    def use_hint(self):
        self.hints_used += 1
        penalties = {1: 0.15, 2: 0.25, 3: 0.50}
        penalty = penalties.get(self.hints_used, 0.50)
        self.max_points = int(self.max_points * (1 - penalty))
 
    def submit_flag(self, flag: str, expected: str) -> bool:
        if flag.strip() == expected.strip():
            self.flag = flag
            elapsed = (datetime.now() - self.start_time).total_seconds()
            print(f"Flag accepted! Time: {elapsed:.0f}s, "
                  f"Attempts: {len(self.attempts)}, "
                  f"Points: {self.max_points}")
            return True
        print("Incorrect flag. Keep trying.")
        return False
 
    def export_writeup(self, filepath: str):
        writeup = {
            "challenge": self.challenge_id,
            "duration_seconds": (datetime.now() - self.start_time).total_seconds(),
            "total_attempts": len(self.attempts),
            "hints_used": self.hints_used,
            "final_points": self.max_points,
            "attempts": self.attempts,
        }
        with open(filepath, "w") as f:
            json.dump(writeup, f, indent=2)

CTF 結束後

完成這裡的挑戰後，考慮進一步學習完整演練模擬，在真實的端對端評估情境中測試你的技能。 You can also explore the Capstone section for guidance on real-world engagement planning and reporting.

相關主題

• Advanced Labs - Skill-building labs that prepare you for CTF-level challenges
• Expert Labs - Deep technical labs that complement CTF competitive exercises
• Red Team Methodology - Methodology framework for structured approach to CTF challenges
• Full Engagement Simulations - Realistic end-to-end scenarios that extend CTF skills to production contexts

參考資料

• "HarmBench: A Standardized Evaluation Framework for Automated Red Teaming" — Mazeika et al.（2024）— 為 CTF 挑戰設計和計分提供資訊的基準框架
• "JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models" — Chao et al.（2024）— 用於考驗式挑戰的標準化越獄評估
• "Red Teaming Language Models to Reduce Harms" — Ganguli et al.（2022）— 指導對抗挑戰設計的研究方法論
• "AI Risk Management Framework" — NIST（2023）— 將 CTF 技能置於生產安全情境中的風險框架