微調安全

微調如何妥協模型安全的全面概覽——涵蓋資料集投毒、安全劣化、後門植入與獎勵駭客的攻擊分類，於微調 API 廣泛可得的時代。

微調是現代 AI 堆疊中最強大的工具之一。它讓組織能把基礎模型調適到特定任務、領域與行為。它同時也是 AI 安全版圖中最重大的攻擊面之一。耗費數月與數百萬美元對齊而成的模型，可在數小時內被幾百個精心打造的樣本與一張消費級 GPU 卸除其安全訓練。

本節檢視微調安全威脅的完整光譜——從對抗性資料集建構到獎勵模型操控、從惡意適配器注入到以 API 為基礎的安全劣化。不論您是針對模型供應商微調 API 的紅隊演練，或是稽核組織對社群共享適配器的使用，理解這些攻擊向量至關重要。

為何微調安全現在重要

微調的民主化

三項收斂的趨勢使微調安全成為關鍵顧慮：

結果是：微調——曾限於資源充足的 AI 實驗室——如今對任何擁有信用卡或消費級 GPU 的人皆可取得。此可取得性對創新整體為正，但也意味著攻擊面已大幅擴張。

不對稱問題

微調安全有攻擊與防禦間的根本不對稱：

這種不對稱正是為何微調有時被稱為「最便宜的越獄」——透過微調卸除安全訓練，所需努力比一開始安裝該安全訓練少了數個數量級。

攻擊分類

微調攻擊分為四大類。各類別鎖定微調管線的不同面向，需要不同防禦策略。

1. 資料集投毒

資料集投毒 是最直接的微調攻擊類別。攻擊者操控訓練資料，以產生具不期望行為的模型。

資料集投毒在 微調資料集投毒 中深入涵蓋。

2. 安全劣化

安全劣化攻擊不以插入特定惡意行為為目標；反之，它們有系統地侵蝕 RLHF 或憲法式 AI 訓練期間所施加的安全訓練。結果是模型更廣泛地願意遵從有害請求。

其機制是對安全相關行為的 災難性遺忘。當模型以未強化安全訓練的資料微調——即使資料並非明顯有害——安全行為也可能劣化。

安全劣化在 微調如何劣化安全 中檢視。

3. 後門植入

透過微調的後門攻擊建立在標準條件下行為正常、但在特定觸發出現時展現攻擊者所選行為的模型。這是軟體供應鏈攻擊的微調對應。

後門特別危險，因其設計為規避安全評估。被植入後門的模型會以優異成績通過標準安全基準——惡意行為僅在攻擊者的特定觸發出現時才顯現。

透過適配器的後門植入在 惡意適配器注入 中涵蓋。

4. 獎勵駭客

獎勵駭客 鎖定訓練管線的強化學習元件。攻擊者不是直接操控微調資料，而是操控引導模型學習的獎勵訊號。

獎勵駭客在 RLHF 與 DPO 操控 章節探討。

微調攻擊面

攻擊進入點

微調管線有多個進入點，各為不同攻擊類型創造機會：

Training Data Collection → Data Preprocessing → Fine-Tuning Run → Model Evaluation → Deployment
       ↑                        ↑                     ↑                  ↑              ↑
  Data poisoning          Filter bypass        Hyperparameter      Benchmark         Adapter
  Supply chain            Label manipulation   manipulation        gaming            distribution
  attacks                                                                            attacks

威脅行動者與動機

攻擊可取得性矩陣

並非所有攻擊同等可取得。此矩陣將攻擊類型對應至所需資源：

供應商回應

主要模型供應商已對微調安全顧慮以一系列防禦措施回應：

供應商的根本挑戰是在微調效用與安全風險間取得平衡。過度限制的護欄阻擋合法用例；過度放任的護欄則使安全劣化成為可能。沒有供應商完全解決此張力。

本節概覽

本節分為四個子節，各涵蓋微調安全的主要領域：

LoRA 與適配器攻擊

涵蓋參數高效微調方法所建立的攻擊面。聚焦於惡意適配器注入、權重操控與模型合併風險——當微調成品被分享與組合時浮現的威脅。

API 微調安全

檢視對雲端微調 API 的攻擊。涵蓋安全劣化、資料集投毒與 API 濫用——提供微調即服務之供應商所面臨的威脅。

RLHF 與 DPO 操控

探索對強化學習管線的攻擊。涵蓋獎勵駭客、偏好資料投毒與 DPO 特定攻擊——對對齊訓練流程本身的威脅。

安全評估

提供評估微調模型安全性的框架。涵蓋回歸測試、持續監控與量化安全測量——偵測微調何時已妥協安全的工具。

先備知識

本節假設您熟悉：

• 大型語言模型訓練管線 ——預訓練、監督式微調、RLHF/DPO，以及這些階段如何影響模型行為。參閱 預訓練、微調、RLHF 管線。
• 基本 ML 概念 ——梯度下降、損失函式、過擬合與泛化。
• 提示詞注入基礎 ——理解微調攻擊為何有別於推論時攻擊。參閱 提示詞注入與越獄。

相關主題

• 預訓練、微調、RLHF 管線 ——訓練管線基礎
• 訓練管線攻擊 ——預訓練階段攻擊與大規模資料投毒
• RAG、資料與訓練攻擊 ——檢索增強系統中以資料為核心的攻擊
• 進階大型語言模型內部 ——理解模型權重、激活與微調如何修改它們

參考文獻

• "Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!" - Qi, X., et al. (2023) ——展示透過微調 API 以極少樣本劣化安全的里程碑論文
• "Shadow Alignment: The Ease of Subverting Safely-Aligned Language Models" - Yang, X., et al. (2023) ——透過微調移除安全對齊的系統化研究
• "BadGPT: Exploring Security Vulnerabilities of ChatGPT via Backdoor Attacks to InstructGPT" - Shi, J., et al. (2023) ——透過指令調優植入後門的早期工作
• "LoRA: Low-Rank Adaptation of Large Language Models" - Hu, E., et al. (2021) ——奠基性的 LoRA 論文，適配器型攻擊的必要背景
• "Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback" - Casper, S., et al. (2023) ——RLHF 漏洞（含獎勵駭客）的全面綜述