對抗式 ML：核心概念

對抗式機器學習的歷史與基本原理——擾動攻擊、逃避與投毒、穩健性——將古典對抗式 ML 銜接至 LLM 特有攻擊。

對抗式 ML 簡史

對抗式機器學習並非自 LLM 開始。這個領域源自影像分類：研究者發現對像素進行人眼難以察覺的微小修改，即可使神經網路以高信心把影像分錯類。

四大攻擊類別

對抗式 ML 攻擊依目的與發生時機分為四類：

1. 逃避攻擊（Inference-Time）

於推論期打造輸入，使模型產出錯誤輸出，而不修改模型本身。

# 古典：擾動影像
adversarial_image = original_image + epsilon * sign(gradient)
 
# LLM：對提示附加對抗後綴
adversarial_prompt = harmful_request + " " + optimized_suffix

2. 投毒攻擊（Training-Time）

修改訓練資料以改變模型行為——可能降低一般效能，或植入特定後門。

3. 模型擷取攻擊

透過查詢模型並以回應訓練克隆，竊取其功能。

4. 推論攻擊（隱私）

擷取關於訓練資料或個別資料點的隱私資訊。

擾動攻擊：基礎

對抗性擾動的概念是對抗式 ML 的核心。

擾動如何運作

擾動是對輸入的小幅改變，對人類（理想上）難以察覺，但會讓模型產生不同輸出：

x' = x + δ    其中 ||δ|| ≤ ε

x  = 原始輸入
x' = 對抗輸入
δ  = 擾動（小變動）
ε  = 擾動預算（允許的最大變動）

從影像到文字

影像空間的擾動是連續的（調整像素值）。文字中的擾動則必須是離散的（換詞或換 token），帶來不同挑戰：

穩健性：防禦視角

穩健性衡量模型對對抗輸入的抗性。

穩健度與準確度的取捨

一個廣被接受的發現：讓模型對對抗範例更穩健，通常會降低其於乾淨輸入上的準確度。就 LLM 而言，這反映為：

• 對越獄非常抗拒的模型，也可能拒絕合法請求（過度拒答）
• 非常樂於助人且靈活的模型，通常較易被越獄
• 找到適切平衡是持續的挑戰，沒有完美解法

銜接至 LLM 攻擊

古典對抗式 ML 概念可直接對應 LLM 攻擊技術：

相關主題

• 梯度式攻擊解析 — 打造對抗輸入的數學工具
• AI 威脅模型 — 決定攻擊可行性的存取層級與能力
• 預訓練 → 微調 → RLHF 管線 — 投毒攻擊所針對的訓練過程
• 分詞與其安全意涵 — 離散文字擾動與分詞的互動

參考資料

• "Intriguing Properties of Neural Networks" - Szegedy et al.（2013）- 發現神經網路對抗範例的奠基論文
• "Explaining and Harnessing Adversarial Examples" - Goodfellow et al.（2014）- 提出 FGSM 與對抗脆弱性線性假設的論文
• "Towards Deep Learning Models Resistant to Adversarial Attacks" - Madry et al.（2017）- 確立對抗穩健性評估基準的 PGD 攻擊論文
• "Universal and Transferable Adversarial Attacks on Aligned Language Models" - Zou et al.（2023）- 將古典對抗式 ML 銜接至 LLM 越獄的 GCG 論文
• "Taxonomy of Machine Learning Safety" - Goldblum et al.（2023）- 含跨模態對抗攻擊之 ML 安全威脅綜合分類