DPO 特有攻擊

直接偏好最佳化 (DPO) 獨有漏洞——參考模型操控、KL 散度利用,以及 DPO 數學框架如何造就標準 RLHF 中不存在的攻擊面。

直接偏好最佳化 (DPO) 作為基於 PPO 的 RLHF 之更簡單、更穩定替代方案,已迅速獲得採用。透過消除顯式獎勵模型、直接在偏好資料上最佳化策略,DPO 降低訓練複雜度與運算成本。然而,這種簡化也造就了標準 RLHF 不存在的獨特攻擊面。

DPO 的漏洞源於其數學框架:隱式獎勵由策略模型與參考模型之間的對數機率比所定義。這意味著參考模型是關鍵安全元件——入侵它會使整個最佳化地形偏移。此外,偏好資料與策略最佳化之間的直接連結意味著偏好投毒對模型行為有即時、不經中介的影響。

DPO 目標函式

數學框架

DPO 對每個偏好對(提示詞 x、偏好回應 y_w、不偏好回應 y_l)最佳化下列目標:

L_DPO = -log σ(β * (log π_θ(y_w|x)/π_ref(y_w|x) - log π_θ(y_l|x)/π_ref(y_l|x)))

其中:

• π_θ 為被訓練的策略模型
• π_ref 為參考模型(通常為 SFT 模型)
• β 為控制最佳化強度的溫度參數
• σ 為 sigmoid 函式

與安全相關的元件

參考模型操控

參考模型的角色

DPO 中的參考模型作為最佳化的錨點。回應的隱式獎勵與策略模型相對於參考模型使該回應變得多高的機率成正比。變更參考模型就變更了最佳化視為「正常」行為的內容:

攻擊情境

1. 1

   DPO 前參考入侵

   若攻擊者可在 DPO 訓練開始前修改參考模型,便能使整個最佳化地形偏移。例如,若參考模型已被安全退化,DPO 訓練將不會恢復安全性——它將相對於退化基準最佳化。

2. 2

   參考模型替換

   在開源 DPO 訓練中,參考模型由從業者指定。能影響訓練設定的攻擊者(例如透過受污染的訓練配方或社交工程)可指定不同的參考模型。

3. 3

   檢查點操控

   參考模型通常是 SFT 模型的儲存檢查點。若攻擊者能修改此檢查點——透過對模型儲存的供應鏈攻擊、訓練基礎設施入侵或受污染的模型集散下載——便能控制 DPO 參考。

影響分析

KL 散度利用

DPO 中的 KL 懲罰

DPO 目標隱式包含 KL 散度懲罰,防止策略過度偏離參考模型。β 參數控制此約束強度:

利用策略

隱式獎勵及其漏洞

DPO 的隱式獎勵為:

r(x, y) = β * log(π_θ(y|x) / π_ref(y|x))

此獎勵可被鑽漏洞:

DPO 變體及其漏洞

IPO (Identity Preference Optimization)

IPO 修改 DPO 損失以處理特定的過度最佳化失效:

KTO (Kahneman-Tversky Optimization)

KTO 使用不成對的正負範例而非偏好對:

ORPO (Odds Ratio Preference Optimization)

攻擊方法論

實務 DPO 攻擊工作流

針對評估 DPO 訓練模型的紅隊:

1. 1

   辨識參考模型

   判定何種模型被用作 DPO 參考。此資訊可能在模型卡片、訓練設定,或可透過行為比較發現。

2. 2

   評估參考模型完整性

   評估參考模型是否已從其預期狀態被修改。將其行為與權重和已知良好副本比較。

3. 3

   分析偏好資料

   若可存取,檢視偏好資料是否有投毒跡象:系統性偏誤、不尋常標註者模式或統計異常。

4. 4

   測試 β 敏感度

   生成測試模型行為是否對會與參考模型產生大對數機率比之輸入敏感的回應。

5. 5

   探測參考模型遺留物

   測試模型是否保留應被 DPO 訓練修改的、來自參考模型的特定行為——這可能指示參考模型入侵。

DPO 操控指標

防禦策略

參考模型安全

DPO 訓練防禦

延伸閱讀

• Reward Model Attacks — DPO 的 RLHF 對應的獎勵駭入
• Preference Data Poisoning — 同時影響 RLHF 與 DPO 的投毒攻擊
• Safety Evaluation Framework — 評估 DPO 訓練模型的安全性

相關主題

• RLHF & DPO Manipulation Overview - 更廣泛的對齊攻擊脈絡
• Advanced LLM Internals - 理解 DPO 修改的模型內部
• Weight Manipulation - 適用於參考模型的直接權重攻擊

參考文獻

• "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" - Rafailov, R., et al. (2023) - 基礎性 DPO 論文
• "A General Theoretical Paradigm to Understand Learning from Human Feedback" - Azar, M., et al. (2023) - IPO 與 DPO 限制的理論分析
• "KTO: Model Alignment as Prospect Theoretic Optimization" - Ethayarajh, K., et al. (2024) - KTO 作為 DPO 替代方案
• "ORPO: Monolithic Preference Optimization without Reference Model" - Hong, J., et al. (2024) - 無參考模型的偏好最佳化
• "Scaling Laws for Reward Model Overoptimization" - Gao, L., et al. (2023) - 適用於 DPO 的過度最佳化動態