模型入侵事件回應手冊

回應被入侵 AI 模型的手冊:隔離程序、替換策略、供應鏈調查、重新訓練考量與完整性復原。

模型入侵事件回應手冊

本手冊涵蓋 AI 模型本身——其權重、適配器、分詞器或訓練管線——被入侵的事件。模型入侵屬於最嚴重的 AI 事件之一,因為模型是被信任產生安全、準確輸出的核心元件。被入侵的模型在被更換前可能影響每位使用者與每次對話。

觸發條件

在下列情況啟動本手冊:

• 行為分析顯示無法由應用層設定解釋的模型變化
• 檔案完整性檢查揭示對模型產物的未經授權修改
• 供應鏈警示指出模型提供者、託管平台或散發管道被入侵
• 透過觸發條件掃描或激活分析偵測到後門行為
• 第三方模型出處調查揭示竄改

立即行動(前 30 分鐘)

1. 1

   確認並指派擴大團隊

   模型入侵通常需要比其他 AI 事件更廣泛的回應團隊:

   事件 ID: AI-IR-[YYYY]-[NNNN]
   類型: 模型入侵
   偵測時間: [UTC 時間戳]
   IC: [姓名]
   AI 調查員: [姓名] ← 具模型內部專業的 ML 工程師
   基礎設施主管: [姓名] ← 負責部署與隔離
   供應鏈調查員: [姓名] ← 負責出處調查
   證據保管人: [姓名]
   

2. 2

   保存被入侵模型

   在隔離或替換前,保存被入侵模型作為證據:

   • 以 SHA-256 校驗碼快照所有模型權重檔案
   • 擷取所有適配器檔案 (LoRA、QLoRA)
   • 擷取分詞器檔案與設定
   • 記錄模型服務設定(量化、批次處理等)
   • 擷取顯示此模型版本部署時間的部署清單
   • 記錄模型的出處:從何處取得、何時、由誰
   • 若適用,保存微調日誌與訓練資料參照
   • 將所有資料儲存於隔離、唯讀的證據儲存

   # 保存模型產物
   EVIDENCE_DIR="/evidence/AI-IR-$(date +%Y)-NNNN/model"
   mkdir -p "$EVIDENCE_DIR"
    
   # 複製模型檔案並執行完整性驗證
   cp -r /models/production/current/* "$EVIDENCE_DIR/"
   sha256sum "$EVIDENCE_DIR"/* > "$EVIDENCE_DIR/checksums.sha256"
    
   # 記錄部署狀態
   kubectl get deployment model-service -o yaml > "$EVIDENCE_DIR/deployment.yaml"
   kubectl describe pod -l app=model-service > "$EVIDENCE_DIR/pod_describe.txt"

3. 3

   隔離被入侵模型

   將被入侵模型從生產環境移除,並盡可能維持服務:

   隔離策略	使用時機	影響
   熱切換至備援模型	備援模型可用且已測試	最小停機時間;備援可能能力不同
   回滾至前一版本	前一版本已知良好且可用	要求版本已快取;可能失去合法更新
   優雅關閉	無備援可用;嚴重性合理化停機	服務中斷;遏制明確
   功能開關停用	AI 功能可停用而非 AI 功能可繼續	部分服務中斷

   決策框架:

   • 若模型正在產生主動有害輸出 → 立即關閉或切換
   • 若模型有尚未被觸發的後門 → 緊急切換但規劃轉換
   • 若懷疑但未確認入侵 → 調查時啟用增強監控
4. 4

   評估影響範圍

   判定影響範圍:

   問題	調查方法	意涵
   被入侵模型在生產中存在多久?	部署日誌、版本歷史	定義調查時窗
   有多少使用者與之互動?	請求日誌、使用者計數	定義受影響族群
   模型是否執行了任何有害行動?	工具呼叫日誌、輸出檢視	判定損害是否延伸至模型以外
   模型輸出是否被下游系統使用?	整合日誌、資料流圖	可能需要召回下游輸出
   相同被入侵產物是否被其他系統使用?	部署清單	其他系統可能也受影響

調查

供應鏈調查

1. 1

   繪製模型出處鏈

   記錄從模型創建到你部署的每個步驟:

   ## 模型出處鏈
    
   1. **基底模型**: [提供者、模型名稱、版本、發行日期]
      - 來源: [URL 或登錄]
      - 下載者: [人/系統]
      - 下載日期: [日期]
      - 已驗證原始校驗碼: [是/否]
    
   2. **微調**: [若適用]
      - 訓練資料: [來源、描述]
      - 訓練基礎設施: [平台、誰有存取權]
      - 訓練任務 ID: [ID]
      - 輸出校驗碼: [雜湊]
    
   3. **後處理**: [量化、轉換等]
      - 流程: [描述]
      - 使用工具: [版本]
      - 執行者: [人/系統]
      - 輸出校驗碼: [雜湊]
    
   4. **部署**:
      - 部署者: [人/CI 系統]
      - 部署日期: [日期]
      - 部署方法: [描述]
      - 執行時設定: [描述]

2. 2

   辨識入侵點

   比較出處鏈每步的校驗碼以辨識修改發生處:

   入侵點	指標	調查重點
   提供者入侵	校驗碼與來源不符	聯絡提供者;檢查更廣泛的產業影響
   下載竄改	校驗碼與來源相符但與你儲存副本不符	調查網路安全、中間人攻擊
   微調入侵	微調前校驗碼良好,微調後與預期不符	調查訓練資料與訓練基礎設施
   後處理竄改	量化或格式轉換後被修改	調查處理管線存取控制
   部署入侵	儲存的模型乾淨,部署的模型不同	調查部署管線、容器安全
   執行時修改	部署後模型被改變	調查主機安全、對模型檔案的寫入存取

3. 3

   調查入侵向量

   依據入侵點調查特定攻擊向量:

   向量	調查步驟
   惡意訓練資料	稽核訓練資料中受污染範例;檢查資料來源完整性
   被入侵微調管線	檢視管線存取日誌;檢查未經授權修改
   惡意適配器	檢查適配器出處、秩與目標模組
   被入侵模型登錄	稽核登錄存取;檢查未經授權推送
   容器入侵	調查容器映像歷史;掃描惡意軟體
   內部威脅	檢視模型檔案與訓練基礎設施的存取日誌

行為鑑識

在調查供應鏈的同時,對被入侵模型執行行為分析。

補救

模型替換決策矩陣

重新訓練考量

若需重新訓練:

驗證

完整性驗證

行為驗證

事後檢討清單

相關主題

• Model Forensics — 詳細模型調查技術
• Backdoor Detection — 後門掃描程序
• Tampering Detection — 檔案完整性驗證
• Model Snapshots — 保存模型證據
• Infrastructure & Supply Chain — 供應鏈攻擊向量

參考文獻

• "Model Supply Chain Security" - MITRE ATLAS (2025) - AI 供應鏈攻擊框架
• "Securing the ML Pipeline" - Google (2024) - ML 管線安全最佳實踐
• "SLSA: Supply-chain Levels for Software Artifacts" - OpenSSF (2024) - 適用於模型產物的供應鏈安全框架
• "Backdoor Attacks and Defenses in Deep Learning" - IEEE S&P (2025) - 完整後門攻防綜述