After-Action Reviews for AI 紅隊 Operations

”“”
AI 紅隊行動後檢討模板。
用於機構知識建構的結構化資料擷取。
”“”
從資料類導入資料類別、字段
從日期時間匯入日期、時間增量
從枚舉導入枚舉
從輸入 import 可選
 
類參與類型（枚舉）：
    LLM_APPLICATION =“llm_應用程式”
    CLASSIFICATION_MODEL =“分類模型”
    GENERATIVE_MODEL =“生成模型”
    RAG_SYSTEM =“抹布系統”
    MULTI_AGENT = "多重代理系統"
    ML_PIPELINE = "ml_管道"
    FULL_SYSTEM = "完整系統評估"
 
類技術結果（枚舉）：
    SUCCESSFUL =「成功」#達到目標
    PARTIAL = "partial" # 一些進展，但不是全部目標
    FAILED_DEFENDED = "failed_defend" # 目標有效防禦
    FAILED_TECHNIQUE = "failed_technique" # 我們的技術有缺陷
    NOT_APPLICABLE = "not_applicable" # 技術不適用於目標
    NOT_ATTEMPTED = "not_attempted" # 逾時或優先權降低
 
@資料類
班級技術記錄：
    “”“交戰期間使用的特定技術的記錄。”“”
    技術名稱：str
    類別：str # 例如，“prompt_injection”、“model_extraction”
    描述：str
    結果：技術結果
    time_invested_hours：浮動
    使用的工具：列表[str]
    目標元件：str
# 我們學到了什麼
    有效性註釋：str =“”
    Defense_observed：str =“”
    修改想法：str =“”
    可重複使用性：str = "" # "high", "medium", "low" — 這可以重複使用嗎？
 
@資料類
類工具評估：
    """評估工具在參與過程中的表現。"""
    工具名稱：str
    版本：str
    目的：str
    有效性：int # 1-5 範圍
    遇到的問題：列表[str] =欄位（default_factory =列表）
    workarounds_applied：列表[str] =欄位（default_factory =列表）
    建議：str = "" # "保留"、"替換"、"改進"、"退役"
 
@資料類
類別時間分配記錄：
    """實際花費的時間與計畫的時間如何。"""
    階段：str
    規劃時間：浮動
    實際小時數：浮動
    差異原因：str =“”
 
@資料類
AfterActionReview 類別：
    """完成人工智慧紅隊參與的事後審查。"""
# 參與度元數據
    engagement_id：str
    目標系統：str
    Engagement_type：參與類型
    開始日期：日期
    結束日期：日期
    team_members：列表[str]
    範圍摘要：str
# 調查結果摘要
    總調查結果：int = 0
    關鍵發現：int = 0
    high_findings：int = 0
    中等調查結果：int = 0
    low_findings：int = 0
    most_impactful_finding: str = ""
# 技術記錄
    技術：列表 [TechniqueRecord] = 欄位（default_factory =列表）
# 工具評估
    工具：列表[工具評估] = 欄位(default_factory=列表)
# 時間分配
    time_records: 清單[TimeAllocationRecord] = 欄位(default_factory=清單)
# 關鍵問題（AAR 的核心）
    計畫內容：str =“”
    實際發生了什麼：str =“”
    What_went_well: 清單[str] = 欄位(default_factory=清單)
    What_could_improve: 列表[str] = 字段(default_factory=列表)
    驚喜：list[str] = field(default_factory=list)
# AI 特定觀察結果
    model_behavior_observations：列表[str] =欄位（default_factory =列表）
    Defense_patterns_observed：列表[str] =欄位（default_factory =列表）
    Attack_surface_notes：str =“”
    架構_見解：str =“”
# 行動項目
    action_items: 清單[dict] = 欄位(default_factory=清單)
# 交叉參與洞察
    與上一個比較：str =“”
    methods_updates_needed: 列表[str] = 字段(default_factory=列表)
    Training_needs_identified：列表[str] =欄位（default_factory =列表）
defgenerate_summary(self)->str：
        """從 AAR 產生可供管理使用的摘要。"""
        有效技術 = [
            自我技巧中的“t for t”
            if t.outcome == TechniqueOutcome.SUCCESSFUL
        ]
        失敗的技術 = [
            自我技巧中的“t for t”
            如果 t.outcome in (TechniqueOutcome.FAILED_TECHNIQUE,
                           技術結果.FAILED_DEFENDED)
        ]
Total_planned = sum(t.planned_hours for t in self.time_records)
        Total_actual = sum(t.actual_hours for t in self.time_records)
行= [
            f"# AAR 總結：{self.target_system}",
            f"## 參與度：{self.engagement_id}",
            f"**持續時間**：{self.start_date} 到 {self.end_date} "
            f"({(self.end_date - self.start_date).days} 天)",
            f"**團隊**: {', '.join(self.team_members)}",
            "",
            “##結果”，
            f"- 總調查結果：{self.total_findings}",
            f"- 嚴重：{self.ritic_findings}，高：{self.high_findings}，“
            f“中：{self.medium_findings}，低：{self.low_findings}”，
            f"- 最有影響力：{self.most_impactful_finding}",
            "",
            “##技術有效性”，
            f"- 嘗試的技術：{len(self.techniques)}",
            f"- 成功：{len( effective_techniques)}"，
            f"- 失敗: {len(failed_techniques)}",
            f"-有效率："
            f"{len(有效技術)/max(len(self.技術),1):.0%}",
            "",
            “##時間”，
            f"- 計劃：{total_planned:.0f} 小時",
            f"- 實際：{total_actual:.0f} 小時",
            f"- 變異數：{(total_actual-total_planned)/max(total_planned,1):+.0%}",
            "",
            “## 關鍵見解”，
        ]
        對於 self.what_went_well[:3] 中的項目：
            lines.append(f"- (正) {item}")
        對於 self.what_could_improve[:3] 中的項目：
            lines.append(f"- (改進) {item}")
        對於 self.surprises[:3] 中的項目：
            lines.append(f"- (驚喜) {item}")
行.append("")
        lines.append("## 操作項目")
        對於 self.action_items 中的項目：
            行.追加（
                f"- [{item.get('優先權', 'MEDIUM')}] {item.get('action', '')} "
                f"(所有者: {item.get('owner', 'TBD')}, "
                f“到期時間：{item.get('due_date', 'TBD')})”
            ）
返回“\n”.join(行)

”“”
AI紅隊知識庫結構。
組織 AAR 見解，以便在未來的活動中檢索。
”“”
從資料類導入資料類別、字段
從日期時間匯入日期
 
@資料類
班級技術知識：
    """我們從 AAR 資料中了解到的特定攻擊技術。"""
    技術名稱：str
    類別： STR
    總嘗試次數：int = 0
    成功嘗試次數：int = 0
    target_types_tested: 列表[str] = 欄位(default_factory=列表)
    effective_by_target: dict[str, float] = 欄位(default_factory=dict)
    known_defenses: 清單[str] = 欄位(default_factory=清單)
    best_variants: 清單[str] = 欄位(default_factory=清單)
    常見陷阱：列表 [str] = 欄位（default_factory =列表）
    最後更新：可選[日期] = 無
@屬性
    def 整體成功率(self) -> 浮動：
        如果 self.total_attempts == 0:
            返回 0.0
        回傳 self.successful_attempts / self.total_attempts
def update_from_aar(self, technology_record: "TechniqueRecord"):
        """從新的 AAR 技術記錄更新知識。"""
        self.total_attempts += 1
        如果 technology_record.outcome == TechniqueOutcome.SUCCESSFUL：
            self.successful_attempts += 1
目標類型=技術記錄.目標組件
        如果 target_type 不在 self.target_types_tested 中：
            self.target_types_tested.append(target_type)
如果 technology_record.defense_observed：
            如果 technology_record.defense_observed 不在 self.known_defenses 中：
                self.known_defenses.append(technique_record.defense_observed)
如果技術記錄.修改想法：
            self.best_variants.append(technique_record.modification_ideas)
self.last_updated = date.today()
 
@資料類
班級參與知識：
    """聚合所有來自特定係統類型的 AAR 的知識。"""
    系統類型：str
    參與總數：int = 0
    avg_findings_per_engagement：浮動 = 0.0
    最有效的技術：列表[str] =欄位（default_factory =列表）
    最不有效的技術：列表[str] =欄位（default_factory =列表）
    common_defense_patterns: 清單[str] = 欄位(default_factory=清單)
    建議時間分配： dict[str, float] = 欄位（default_factory=dict）
    Lessons_learned: 列表[str] = 欄位(default_factory=列表)
 
類別知識庫：
    """從 AAR 聚合的 AI 紅隊知識庫。"""
def __init__(自身):
        self.techniques: dict[str, 技術知識] = {}
        self.engagement_types: dict[str, EngagementKnowledge] = {}
        self.aars: 清單[AfterActionReview] = []
def ingest_aar(self, aar: "AfterActionReview"):
        """處理 AAR 並更新知識庫。"""
        self.aars.append(aar)
# 更新技術知識
        對於 aar.techniques 中的 tech_record：
            如果 tech_record.technique_name 不在 self.techniques 中：
                self.techniques[tech_record.technique_name] = 技術知識(
                    technology_name=tech_record.technique_name,
                    類別=tech_record.category,
                ）
            self.techniques[tech_record.technique_name].update_from_aar(tech_record)
# 更新參與類型知識
        sys_type = aar.engagement_type.value
        如果 sys_type 不在 self.engagement_types 中：
            self.engagement_types[sys_type] = EngagementKnowledge(
                系統類型=系統類型
            ）
        eng_knowledge = self.engagement_types[sys_type]
        eng_knowledge.total_engagements += 1
def get_planning_guidance(self, system_type: str) -> dict:
        ”“”
        取得根據以下內容規劃新活動的指導
        從以前的 AAR 累積的知識。
        ”“”
        eng = self.engagement_types.get(system_type)
        如果不是英語：
            return {"message": f"之前沒有類型為 {system_type} 的約定"}
# 找到適合該系統類型的最有效技術
        相關技術 = [
            (name, tech) 用於 self.techniques.items() 中的名稱、技術
            if system_type in [t.lower() for t in tech.target_types_tested]
        ]
        排名 = 排序（
            相關技術，
            key=lambda x: x[1].overall_success_rate,
            反向=真，
        ）
返回{
            “系統類型”：系統類型，
            “prior_engagements”：eng.total_engagements，
            「推薦技術」：[
                {
                    “姓名”：姓名，
                    "success_rate": f"{tech.overall_success_rate:.0%}",
                    「試試」：tech.total_attempts，
                    「known_defenses」：tech.known_defenses，
                }
                名稱、技術排名[:10]
            ],
            「common_defenses」：eng.common_defense_patterns，
            「時間分配」：eng.recommended_time_allocation，
            "key_lessons": eng.lessons_learned[-10:],
        }

defgenerate_leadership_report(aars: list["AfterActionReview"],
                               期間：str =“季度”）-> str：
    ”“”
    根據 AAR 數據產生季度領導力報告。
    重點關注計劃有效性和風險趨勢。
    ”“”
    Total_findings = sum(a.aars 中的 a.total_findings)
    Total_ritic = sum(a.aars 中 a 的關鍵結果)
    Total_high = sum(a.aars 中的 a.high_findings)
技術成功率 = {}
    對於 aar 中的 aar：
        對於 aar.techniques 中的 t：
            貓 = t.類別
            如果 cat 不在 technology_success_rates 中：
                technology_success_rates[cat] = {"成功": 0, "總計": 0}
            technology_success_rates[cat]["total"] += 1
            如果 t.outcome == TechniqueOutcome.SUCCESSFUL：
                technology_success_rates[cat]["成功"] += 1
行= [
        f"# AI 紅隊 {period.title()} 檢舉",
        "",
        "## 計劃指標",
        f"- 已完成的約定：{len(aars)}",
        f"- 總調查結果：{total_findings}",
        f" - 嚴重：{total_ritic}"，
        f" - 高：{total_high}"，
        "",
        “## 主要趨勢”，
    ]
對於貓，數據排序（
        technology_success_rates.items(),
        key=lambda x: x[1]["成功"] / max(x[1]["總計"], 1),
        反向=真，
    ）：
        比率 = 數據["成功"] / max(數據["總計"], 1)
        行.追加（
            f"- {cat}: {rate:.0%} 成功率 "
            f"({data['成功']}/{data['total']} 次嘗試)"
        ）
lines.extend([
        "",
        “## 對先前的 AAR 實施的改進”，
    ]）
    對於 aar 中的 aar：
        aar.methodology_updates_needed 中的更新：
            lines.append(f"- {更新}")
lines.extend([
        "",
        “##投資建議”，
    ]）
    對於 aar 中的 aar：
        對於 aar.training_needs_identified 中的需求：
            lines.append(f"- 訓練：{需要}")
返回“\n”.join(行)

def 縱向分析(aars: list["AfterActionReview"]) -> dict:
    ”“”
    分析多個 AAR 的趨勢以識別計劃
    改進模式和持續存在的差距。
    ”“”
    如果 len(aars) < 3:
        return {"message": "需要至少 3 個 AAR 進行趨勢分析"}
# 按日期排序
    aars_sorted = 排序(aars, key=lambda a: a.start_date)
# 隨著時間的推移追蹤技術成功率
    技術趨勢 = {}
    對於 aars_sorted 中的 aar：
        季 = f"{aar.start_date.year}-Q{(aar.start_date.month - 1) // 3 + 1}"
        對於 aar.techniques 中的技術：
            如果 tech.technique_name 不在 technology_trends 中：
                technology_trends[tech.technique_name] = []
            technology_trends[tech.technique_name].append({
                「季度」：季度，
                「結果」：技術.結果.價值，
                「目標」：tech.target_component，
            })
# 辨識重複出現的問題
    所有改進 = []
    對於 aars_sorted 中的 aar：
        all_improvements.extend(aar.what_could_improve)
# 尋找多個 AAR 中提到的改進（持續差距）
    從集合導入計數器
    Improvement_freq = 計數器()
    對於 all_improvements 中的項目：
        # 標準化以進行比較
        key = item.lower().strip()
        Improvement_freq[key] += 1
持久間隙= [
        {“問題”：問題，“發生次數”：計數}
        對於問題，計入 Improvement_freq.items()
        如果計數 >= 2
    ]
# 隨著時間的推移追蹤時間估計的準確性
    估計準確度 = []
    對於 aars_sorted 中的 aar：
        Total_planned = sum(aar.time_records 中 t 的 t.planned_hours)
        Total_actual = sum(t.actual_hours for t in aar.time_records)
        如果total_planned > 0：
            準確度 = 實際總數 / 計劃總數
            估計準確度.append({
                「參與」：aar.engagement_id，
                「日期」：aar.start_date.isoformat(),
                「accuracy_ratio」：準確率，
            })
# 確定估計是否正在改進
    如果 len(估計精度) >= 3:
        最近的準確度 = [
            絕對值（1 - e[“準確率”]）
            對於 e 估計精度[-3:]
        ]
        早期準確率 = [
            絕對值（1 - e[“準確率”]）
            對於 e 估計精度[:3]
        ]
        估計改進 = (
            sum(最近的準確度) / len(最近的準確度) <
            sum(early_accuracy) / len(early_accuracy)
        ）
    其他：
        估計改進=無
返回{
        「total_engagements_analyzed」：len（aars_sorted），
        "time_span": f"{aars_sorted[0].start_date} 到 {aars_sorted[-1].end_date}",
        「科技趨勢」：科技趨勢，
        「持久間隙」：持久間隙，
        「估計準確度趨勢」：估計準確度，
        「估計_改進」：估計_改進，
        「建議」：_generate_recommendations（
            持久差距、估計改進、技術趨勢
        ),
    }
 
def _generate_recommendations（持續差距，估計改進，
                               technology_trends) -> 列表[str]:
    建議=[]
如果持久間隙：
        推薦.append(
            f“優先級：多個 AAR 中出現 {len(persistent_gaps)} 問題”
            f“沒有解決方案。將這些問題升級到專案管理：”
            f"{', '.join(g['issue'][:50] for g in permanent_gaps[:3])}"
        ）
如果estimate_improving為False：
        推薦.append(
            “時間估算的準確性並沒有在不同的參與中得到提高。”
            “考慮修改估計方法或校準”
            “對照歷史數據。”
        ）
返回建議