模型行為鑑識 (AI 鑑識與事件回應)

模型鑑識概覽：判定模型是否被竄改、行為分析方法論，以及模型工件與可觀察行為之間的關係。

模型行為鑑識

當 AI 事件顯示是模型本身——而不僅是其輸入、配置或周邊應用——遭到入侵時，你便進入了模型鑑識的領域。此學科檢查模型的權重、架構或學到的行為是否從已知的良好狀態被改變。這是惡意程式分析的 AI 對應版本：研究工件本身以判定它是否被竄改。

何時調查模型本身

並非每個 AI 事件都需要模型層級的鑑識。多數事件是由應用層問題所造成：系統提示詞有瑕疵、缺少護欄或工具配置易受攻擊。在以下情況下才需要進行模型層級的調查：

模型工件作為證據

模型由多種工件組成，每一種都可獨立被竄改。

工件清單

證據鏈

模型工件的 證據鏈 需要：

1. 來源紀錄 -- 模型從何處取得？哪個具體版本／提交？
2. 完整性驗證 -- 取得時所有模型檔案的雜湊值（SHA-256）
3. 存取日誌 -- 取得後誰對模型檔案有寫入存取權？
4. 修改歷史 -- 任何已套用的微調、量化或格式轉換
5. 部署歷史 -- 每個版本何時被部署到哪些端點？

# 為模型工件產生完整性檢查碼
sha256sum model_weights.safetensors > checksums/model_weights.sha256
sha256sum tokenizer.json > checksums/tokenizer.sha256
sha256sum config.json > checksums/config.json
sha256sum adapter_model.safetensors > checksums/adapter.sha256
 
# 對照已知良好的檢查碼進行驗證
sha256sum -c checksums/*.sha256

行為分析方法論

當懷疑有模型層級竄改時，系統化的行為分析可判定模型行為是否偏離預期基線。

階段 1：建立預期基線

在你能識別異常行為之前，你需要一個參考點。

階段 2：系統化探測

1. 1

   安全行為探測

   針對全面的安全相關提示詞集測試模型。將拒絕率與回應模式與基線進行比較。任何類別的拒絕率顯著下降，都值得進行更深入的調查。

   要測試的類別：有害內容生成、PII 揭露、越獄易感性、指示遵循、人格抵抗與系統提示詞保護。

2. 2

   觸發子掃描

   若懷疑有後門，搜尋會產生異常輸出的輸入。這包括以已知後門觸發模式測試模型，並監控偏離預期行為的輸出。技術詳見 後門偵測。

3. 3

   輸出分佈分析

   在懷疑模型與基線之間比較模型輸出的統計特性（token 分佈、詞彙使用、輸出長度分佈）。

   方法詳見 行為差異分析。

4. 4

   權重與檔案完整性驗證

   對照已知良好的檢查碼驗證模型檔案的完整性。檢查轉接器檔案、分詞器修改與配置變更。程序詳見 竄改偵測。

階段 3：差異分析

跨多個維度比較疑似模型的行為與基線：

模型入侵的類型

章節概覽

本節包含三個專門的子章節，提供深入的模型鑑識調查：

相關主題

• 基礎設施與供應鏈 -- 導致模型入侵的供應鏈攻擊向量
• 訓練管線攻擊 -- 了解模型如何在訓練期間被投毒
• RAG、資料與訓練攻擊 -- 與模型鑑識相關的資料投毒技術
• 證據保全 -- 為調查保全模型工件

參考資料

• "Backdoor Attacks on Language Models: A Survey" - arXiv (2025) - 後門技術與偵測方法的全面調查
• "TrojAI: AI Model Inspection Framework" - IARPA (2024) - 政府贊助的模型檢查方法論
• "NIST AI 100-2: Adversarial Machine Learning" - NIST (2024) - 模型層級攻擊的分類
• "Model Cards for Model Reporting" - Mitchell et al. (2019) - 用於建立模型基線的文件框架