微調模型中的後門偵測

偵測微調 AI 模型中的後門:激活分析、觸發條件掃描技術、行為探測策略,以及辨識隱藏惡意功能的統計方法。

微調模型中的後門偵測

模型後門是僅在模型遇到輸入中特定觸發條件時才激活的隱藏功能。被植入後門的模型能通過標準評估、在日常輸入上表現正常,因此其偵測在本質上比尋找程式碼漏洞更加困難。後門存在於模型學習到的數十億浮點數參數中,而非任何可稽核的原始檔案內。

語言模型中後門如何運作

植入機制

後門特性

有效的後門共有數個使其難以偵測的特性:

觸發條件掃描

觸發條件掃描系統化搜尋導致模型行為異常的輸入。由於窮舉搜尋不可行,掃描採用啟發式與基於最佳化的方法。

已知觸發條件模式測試

從已發表研究與威脅情報中已知的後門觸發條件模式開始:

# 觸發條件掃描虛擬碼
def scan_known_triggers(model, trigger_patterns, clean_prompts, threshold=0.3):
    """
    對一組乾淨提示詞測試已知觸發條件模式,
    比較有無觸發條件時的輸出。
    """
    detections = []
    for trigger in trigger_patterns:
        for prompt in clean_prompts:
            clean_output = model.generate(prompt)
            triggered_output = model.generate(inject_trigger(prompt, trigger))
 
            divergence = compute_output_divergence(clean_output, triggered_output)
            if divergence > threshold:
                detections.append({
                    "trigger": trigger,
                    "prompt": prompt,
                    "divergence": divergence,
                    "clean_output": clean_output,
                    "triggered_output": triggered_output
                })
    return detections

基於最佳化的觸發條件搜尋

當已知模式失效時,使用基於梯度的最佳化來搜尋觸發條件:

激活分析

激活分析檢視模型的內部表示,辨識與後門行為相關的神經元或注意力模式。

途徑

1. 1

   辨識候選觸發輸入

   使用觸發條件掃描結果或疑似觸發條件模式,組合一組可能激活後門的輸入。

2. 2

   記錄內部激活

   將乾淨輸入與觸發輸入同時傳入模型,記錄每層的激活值。重點關注殘差流 (residual stream)、注意力頭與 MLP 層。

3. 3

   比較激活模式

   辨識對觸發輸入與乾淨輸入激活顯著不同的神經元或注意力頭。高差異元件即為「後門神經元」的候選。

   # 簡化的激活比較
   def compare_activations(model, clean_inputs, triggered_inputs, layer):
       clean_acts = [get_activations(model, x, layer) for x in clean_inputs]
       triggered_acts = [get_activations(model, x, layer) for x in triggered_inputs]
    
       clean_mean = np.mean(clean_acts, axis=0)
       triggered_mean = np.mean(triggered_acts, axis=0)
    
       divergence = np.abs(triggered_mean - clean_mean)
       top_neurons = np.argsort(divergence)[-20:]  # 差異最大的前 20 個神經元
       return top_neurons, divergence[top_neurons]

4. 4

   驗證候選神經元

   將候選神經元消融(歸零),並測試後門行為是否仍存在。若消融特定神經元能消除後門、而不顯著影響正常行為,即為後門存在的強力證據。

行為探測

行為探測測試模型對系統化變化輸入的回應,偵測指示後門存在的行為不一致性。

探測策略

紅色警示行為模式

統計偵測方法

統計方法將疑似模型的整體行為分布與乾淨參考基準比較。

分布比較

頻譜特徵偵測

後門修改通常在權重矩陣的頻譜性質上留下可偵測特徵:

# 後門偵測的頻譜分析
import numpy as np
from scipy import linalg
 
def spectral_analysis(weight_matrix, clean_reference=None):
    """
    分析權重矩陣的奇異值是否有
    後門特徵(離群奇異值)。
    """
    U, S, Vt = linalg.svd(weight_matrix, full_matrices=False)
 
    # 檢查離群奇異值
    mean_sv = np.mean(S)
    std_sv = np.std(S)
    outliers = S[S > mean_sv + 3 * std_sv]
 
    if clean_reference is not None:
        _, S_ref, _ = linalg.svd(clean_reference, full_matrices=False)
        # 比較頻譜性質
        spectral_divergence = np.sum((S - S_ref) ** 2) / len(S)
        return {"outliers": outliers, "spectral_divergence": spectral_divergence}
 
    return {"outliers": outliers, "outlier_count": len(outliers)}

偵測限制

相關主題

• Behavior Diffing — 比較疑似被入侵前後的行為
• Tampering Detection — 檔案層級完整性驗證
• Training Pipeline Attacks — 訓練期間如何植入後門
• Model Snapshots — 保存模型狀態以供分析

參考文獻

• "Backdoor Attacks on Language Models: A Survey" - arXiv (2025) - 植入技術與偵測方法的完整綜述
• "Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks" - Wang et al. (2019) - 基礎性後門偵測技術
• "Sleeper Agents: Training Deceptive LLMs That Persist Through Safety Training" - Anthropic (2024) - 關於 LLM 中持久類後門行為的研究
• "TrojAI Software Framework" - IARPA/NIST (2024) - 政府後門偵測基準與工具