模型狀態快照

在事件回應期間擷取並保存 AI 模型狀態的技術:權重快照、組態擷取、行為指紋與模型成品完整性驗證。

模型狀態快照是傳統數位鑑識中磁碟映像的 AI 鑑識對應。完整的模型快照擷取重現事件當時模型行為所需的一切——不僅模型權重,還包含完整部署組態,涵蓋系統提示詞、護欄、工具定義與執行期參數。

挑戰在於模型狀態比檔案系統狀態更複雜、標準化程度較低。相同模型權重的兩個部署配合不同系統提示詞會行為不同。在護欄代理後的模型與直接存取相同模型行為不同。快照必須擷取完整行為脈絡,而非僅模型成品。

要擷取什麼

完整模型狀態清單

鑑識完整的模型快照包含以下所有:

ModelSnapshot 資料類別含:

• 識別:snapshot_id、incident_id、captured_by、capture_timestamp
• 模型身分:model_name、model_version、model_provider(self-hosted 或供應商名)、model_registry_url
• 權重(自主託管模型):weights_path、weights_hash(SHA-256)、weights_size_bytes、quantization、tokenizer_hash
• 組態:model_config(temperature 預設、max_tokens 等)、system_prompt、system_prompt_template(含變數)、runtime_parameters
• 護欄與過濾器:guardrail_configurations、content_filter_rules、rate_limit_settings
• 工具定義:tool_schemas、tool_endpoints、tool_authentication_method
• 執行環境:container_image_hash、python_env_hash、dependency_manifest、hardware_info(GPU 型號、CUDA 版本)
• 行為指紋:在一組標準測試輸入的回應(詳下)

行為指紋

對相同一組標準測試輸入執行模型並擷取回應:

BehavioralFingerprint:

• 一組代表性測試提示詞(涵蓋安全邊界、能力探測、風格一致性)
• 對每個提示詞:以 temperature=0 產生多個回應、記錄 top-5 logprob、回應雜湊
• 彙整成指紋向量
• 比對跨時間點的指紋以偵測行為漂移

擷取技術

活躍事件擷取

在事件進行中時,擷取需快速且低干擾:

1. 唯讀快照:對自主託管權重,建立檔案系統快照(ZFS、LVM 快照)或複製到證據儲存
2. 組態匯出:序列化所有組態為 JSON;對托管服務使用其匯出 API
3. 執行時候快照:若模型服務執行中,擷取記憶體傾印(參考 AI 系統記憶體鑑識)
4. 行為指紋:執行標準測試套件並存檔
5. 整合與雜湊:將所有成品打包、計算整體雜湊、簽章

託管模型考量

對不可直接存取權重的託管模型(OpenAI、Anthropic):

• 擷取所有可得的配置:模型 ID、版本、API 端點參數
• 擷取完整行為指紋(此為間接但有意義的證據)
• 記錄供應商系統中的模型指紋,如最近回應 ID、服務版本
• 透過 API 獲取模型元資料(可用時)

完整性驗證

初始驗證

擷取時立即計算:

• 模型權重檔 SHA-256
• 組態 JSON 的正規化雜湊
• 整個快照成品的 Merkle 樹根
• 由蒐集人員簽章

後續驗證

任何時間可重新計算雜湊以確認未被竄改:

ModelSnapshotVerifier:

• 從快照讀取宣稱雜湊
• 重新計算
• 比對,若不符回傳失敗
• 記錄驗證時間戳與結果

狀態比較

事件前 vs 事件後

ModelStateComparator(pre_snapshot, post_snapshot):

• 比較權重雜湊:不符則模型被修改
• 比較組態:列出差異
• 比較護欄:安全規則是否被改變
• 比較工具定義:是否有工具新增、修改、移除
• 比較行為指紋:餘弦相似度;顯著下降指出行為改變

跨時間版本比較

對有多個歷史快照的情況,可:

• 繪製行為指紋隨時間的漂移
• 識別變化的突發點 vs 漸進點
• 關聯變化點與已記錄的部署、組態變更

處理大型模型

現代 LLM 權重可達數百 GB;快照需要:

• 平行擷取與雜湊計算
• 網路儲存(NFS、S3)以避免本地磁碟耗盡
• 對雲端託管模型,利用供應商快照 API(如 SageMaker Model 端點)

快照儲存

• 專用鑑識儲存:與生產環境隔離
• 存取控制:僅事件回應團隊有讀取權限
• 完整性保護:write-once、物件鎖定、MFA 刪除
• 地理備份:跨區域備份以避免單點失效
• 保留:典型地保留至少 7 年以符合調查與法律要求

鏈式保管

• 簽章鏈:蒐集者 → 儲存 → 分析者 → 報告
• 所有存取以 who/when/why 記錄
• 對法律程序,可能需要公證人見證蒐集

參考資料

• NIST SP 800-86 (2006). Guide to Integrating Forensic Techniques into Incident Response.
• NIST AI 100-1 (2023). AI Risk Management Framework.
• MITRE ATLAS. (2024). Adversarial Threat Landscape for AI Systems. https://atlas.mitre.org/
• ISO/IEC 27037 (2012). Guidelines for identification, collection, acquisition and preservation of digital evidence.