微調攻擊面

微調安全漏洞的全面概觀，包括 SFT 資料投毒、RLHF 操弄、對齊稅，以及所有微調攻擊向量。

微調將通用的預訓練模型轉變為有用、已對齊的助理。此轉變也是安全行為被植入的階段——以及這些行為可能被削弱之處。每種微調方法（SFT、RLHF、DPO、Constitutional AI）各自引入其攻擊面；而日益成長的共享 adapter 與微調即服務生態，也製造了預訓練時期所沒有的供應鏈風險。

微調管線

1. 1

   監督式微調（SFT）

   模型在策展過的指令─回應配對上訓練，以學得預期的互動格式。這是資料投毒最直接的路徑。請見 SFT 資料投毒。

2. 2

   獎勵模型訓練

   於人類偏好資料（回應的配對比較）上訓練獎勵模型。操弄這些偏好資料可重新導向模型最佳化的目標。請見 RLHF 攻擊面。

3. 3

   強化學習（RLHF/PPO）

   最佳化模型以使獎勵模型分數最大化。這會製造獎勵破解（reward hacking）的機會——模型會找出違反原意、但高獎勵的行為。請見獎勵破解。

4. 4

   直接對齊（DPO/KTO）

   作為 RLHF 的替代，直接在偏好配對上最佳化，不需獨立獎勵模型。攻擊面不同但對資料投毒同樣脆弱。請見 DPO 對齊攻擊。

5. 5

   安全訓練（Constitutional AI）

   以自我批評與原則引導的修訂，可透過操弄原則本身加以攻擊。請見 Constitutional AI 破解。

攻擊分類法

依微調階段

依攻擊者存取層級

對齊稅

對齊稅是安全訓練的能力成本。它構成了系統性漏洞：使用者與組織在經濟上有動機削弱安全機制以回復損失的能力。

對齊稅如何促成攻擊

預訓練模型（高能力、無安全）
    ↓ SFT + RLHF
對齊模型（能力下降、有安全約束）
    ↓ 使用者微調以「回復能力」
被去對齊模型（能力回復、安全被移除）

研究顯示，安全訓練可以以極少量微調加以還原：

跨方法漏洞比較

微調即服務風險

雲端微調 API（OpenAI、Google、Anthropic）引入一種獨特的威脅模型——攻擊者即客戶：

• 透過 API 進行資料投毒：透過微調 API 提交含後門觸發器的訓練資料
• 透過 API 移除安全：提交旨在侵蝕安全約束的微調資料
• 跨租戶汙染：若供應商基礎設施未正確隔離租戶，某客戶的微調可能影響他客戶的模型

• 資料過濾不足：供應商的安全過濾可能未能捕捉精巧的投毒
• 評估缺口：微調模型於部署前未經充分安全評估
• Adapter 重用：若供應商跨客戶快取或重用 adapter 元件，投毒可能擴散

防禦策略

1. 1

   資料品質守門

   於訓練前對微調資料實施自動化與人工審查。過濾已知攻擊模式、異常指令與安全相關內容缺口。

2. 2

   微調後安全評估

   每次微調執行完成後跑一次完整安全基準。與基礎模型的安全輪廓比較。標記任何顯著退化。

3. 3

   Adapter 來源追蹤

   載入任何 adapter 前，先驗證其來源、訓練資料與行為輪廓。將不可信 adapter 視為不可信程式碼處理。

4. 4

   微調存取控制

   限制誰可微調生產模型。微調執行需核准，所有訓練資料提交皆須稽核。

相關主題

• SFT 資料投毒 -- 詳細 SFT 投毒方法論
• RLHF 攻擊面 -- 獎勵模型與偏好操弄
• LoRA 與 Adapter 攻擊 -- adapter 供應鏈風險
• 預訓練攻擊面 -- 預訓練入侵如何傳播到微調
• 訓練與微調攻擊 -- 訓練攻擊的更廣概觀

參考資料

• Fine-Tuning Aligned Language Models Compromises Safety (Qi et al., 2023) -- 透過微調移除安全
• Shadow Alignment: The Ease of Subverting Safety-Aligned Language Models (Yang et al., 2023) -- 極少量資料移除安全
• LoRA Fine-Tuning Efficiently Undoes Safety Training (Lermen et al., 2023) -- 以 LoRA 移除安全