從程式碼模型萃取訓練資料
從程式碼生成模型權重復原專有程式碼的技術——涵蓋記憶偵測、針對性萃取、成員推論與防禦對策。
程式碼生成模型在廣大原始碼語料庫上訓練，包含公開儲存庫、文件，某些案例中還有專有程式碼。這些模型記憶其訓練資料的部分，以正確技術，可萃取記憶的資料。
程式碼模型如何記憶
增加記憶的因素
重複 是最強因素——在訓練資料中多次出現的程式碼以高保真度被記憶。獨特性 也重要——模型無法普遍化的獨特模式可能被記憶。上下文可預測性 起作用——遵循高度可預測模式的程式碼更容易被記憶。研究顯示程式碼模型以不同保真度記憶約 1-10% 訓練資料。
記憶類型
逐字記憶 重現確切序列，包含變數名、註解與排版。結構記憶 重現邏輯與結構但有不同變數名。模式記憶 重現從許多範例學到的通用程式設計模式。
萃取技術
技術 1：基於前綴的萃取
提供已知程式碼序列的開頭並要求模型完成其餘。如果模型已記憶該程式碼，它會重現。較長、較獨特的前綴產生更可靠萃取。
技術 2：上下文引導萃取
提供脈絡資訊引導模型重現記憶程式碼：使用相同檔名、目錄結構提示、import 語句與類別名。
技術 3：迭代改進
從廣泛提示開始，基於模型回應迭代縮窄。使用部分匹配部分作為新提示以萃取額外匹配程式碼。
技術 4：溫度與取樣操控
在溫度 0（貪婪解碼）執行萃取嘗試最大化重現記憶內容的可能性。在不同溫度執行多次萃取並比較可區分記憶內容（跨溫度一致）與生成內容（隨溫度變化）。
技術 5：基於散度的偵測
透過尋找特徵模式偵測記憶：模型輸出從多樣創造生成開始，然後突然進入高度一致序列。此散度點指示模型從生成轉為重現記憶內容。
成員推論
成員推論判斷特定程式碼是否在模型訓練資料中而不必萃取它。
基於損失的推論
訓練資料通常有較低損失（較高機率）。在目標程式碼上計算模型損失並與相似但確定不在訓練中的程式碼比較。
基於比較的推論
比較模型對目標程式碼與語意等價但語法不同程式碼的完成。如果模型一致偏好目標程式碼的確切語法，這暗示記憶。
基於金絲雀的偵測
在你的程式碼中插入金絲雀字串——唯一、可識別但無功能目的的字串。如果模型重現你的金絲雀字串，它確認你的程式碼在訓練資料中。
對組織的意涵
智慧財產風險
如果你組織的程式碼在模型訓練資料中，該模型可能在其他使用者的建議中重現你的程式碼。影響商業秘密保護、授權合規與競爭情報風險。
防禦措施
授權強制透過程式碼掃描、公開儲存庫程式碼混淆、金絲雀部署、訓練資料退出請求，以及與模型供應商的法律協議。
評估方法論
識別哪些程式碼庫可能在模型訓練期間公開可存取。使用萃取技術測試獨特程式碼能否被復原。使用成員推論技術判斷記憶程度。評估任何萃取程式碼的業務影響。
模型供應商的對策
去重複 減少逐字記憶。差分隱私 在訓練期間加入雜訊。輸出過濾 封鎖或標記與已知訓練資料匹配的輸出。成員推論抵抗 應用使判斷特定資料是否在訓練集中更困難的技術。
這些對策降低但不消除萃取風險。模型能力與記憶之間的緊張是根本的——完美不記憶的模型是無法重現有用模式的模型。