隱私與資料保護攻擊

對 AI 系統之隱私攻擊概觀，含資料提取、成員推論與模型反轉，配法規意涵與紅隊方法論。

隱私與資料保護攻擊

大型語言模型記憶其訓練資料之片段。此記憶化非錯誤——乃為使模型有用之最佳化過程之副作用。對紅隊員，其造就攻擊面，敏感資料可自模型權重提取而無對原訓練集之存取。

隱私攻擊分類

對 AI 系統之隱私攻擊落入三個類別，每個利用模型儲存並暴露訓練資料之不同面向。

大型語言模型中之記憶化

為何模型記憶

記憶化於模型對特定訓練範例過擬合而非學得一般模式時發生。數個因素增加記憶化風險：

• 資料重複 —— 於訓練語料中多次出現之內容接收成比例更多梯度更新，將其更深嵌入權重
• 資料獨特性 —— 異常內容（格式化 PII、API 金鑰、獨特識別碼）於分布中突出，易於提取
• 模型容量 —— 較大模型具更多可用於儲存特定範例之參數
• 訓練時長 —— 具較低學習率之較長訓練允許模型記憶日益稀有之內容
• 去重缺口 —— 多數訓練管線執行不完美去重，留下強化記憶化之近重複

量測記憶化

研究者以可提取性量化記憶化——引出被記憶序列所需之最小提示長度。可以 5 token 提示提取之字串較需 50 token 者更深被記憶化。

攻擊方法論概觀

PII 提取

最直接之隱私攻擊：打造使模型輸出被記憶之個人資訊之提示。技術範圍自簡單 completion 攻擊（「John Smith 之電話號碼為」）至重建目標 PII 周圍之訓練脈絡之精巧前綴攻擊。見專用之 PII 提取技術 頁。

成員推論

決定特定資料點是否用於訓練模型。此為二元分類問題：給予樣本，其是否於訓練集中？關鍵洞察為模型於訓練資料 vs. 未見資料之行為不同——較低 loss、較高信心、較一致輸出。見 成員推論攻擊 頁。

模型反轉

自模型輸出或梯度重建訓練資料之近似。不同於提取（恢復逐字內容），反轉產出共享訓練集統計屬性之合成資料。此對圖像模型特別令人關切，其中臉部與識別特徵可被重建。見 模型反轉攻擊 頁。

攻擊者僅具查詢存取——它們可送輸入並觀察輸出。此為以 API 為本之模型最常見之情境。PII 提取與成員推論於黑箱設定中完全可行。模型反轉較難但以足夠查詢可能。

攻擊者知模型架構並具查詢存取但無權重存取。此啟動更針對性之攻擊：攻擊者可於相似架構訓練影子模型、使用已知分詞以打造精確前綴攻擊，並利用架構知識以最佳化提取查詢。

攻擊者具對模型權重與架構之完整存取（例如開源模型）。此啟動以梯度為本之反轉、對被記憶內容之直接權重分析，與使用內部啟動之成員推論。此設定中可能最強之攻擊。

法規脈絡

隱私攻擊具直接法規意涵。當紅隊展示模型洩漏 PII 時，發現觸發多個框架下之合規義務。

隱私保護防禦

理解防禦助紅隊員辨識缺口並設計繞過技術。

紅隊委任框架

1. 1

   範圍隱私敏感資料類別

   辨識何種 PII、PHI、財務資料或專有內容可能於訓練資料中。審查資料處理協議與訓練資料文件。

2. 2

   評估記憶化風險

   評估模型大小、訓練資料特徵與去重實踐。於較少去重資料上訓練更久之較大模型具較高記憶化風險。

3. 3

   執行提取攻擊

   執行針對性 PII 提取、前綴 completion 攻擊與成員推論探測。若可用，以已知訓練資料樣本開始。

4. 4

   測試防禦有效性

   嘗試繞過輸出過濾器、差分隱私保證與遺忘聲明。記錄成功提取與過濾器逃避。

5. 5

   以法規映射回報

   將每個發現映射至適用法規。量化暴露：多少記錄可提取、何類別之 PII，與何違規通知義務適用。

相關主題

• PII 提取技術 -- 詳細提取方法與現實世界範例
• 成員推論攻擊 -- 決定訓練資料成員
• 模型反轉攻擊 -- 自模型輸出重建訓練資料
• RAG 管線利用 -- 補充隱私利用之 RAG 攻擊
• 訓練攻擊 -- 含資料投毒之訓練時攻擊

參考資料

• Extracting Training Data from Large Language Models (Carlini et al., 2021) -- 訓練資料提取之基礎工作
• Scalable Extraction of Training Data from Production Language Models (Nasr et al., 2023) -- 自 ChatGPT 之大規模提取
• OWASP Top 10 for LLM Applications -- LLM06: Sensitive Information Disclosure -- LLM 隱私風險之業界標準