LLMOps 安全

LLMOps 生命週期各階段安全的完整概覽：從資料準備、實驗追蹤到模型部署與生產監控。涵蓋 ML 營運的攻擊面、威脅模型與防禦策略。

LLMOps 安全

大型語言模型營運 (Large Language Model Operations, LLMOps) 涵蓋了將模型從初始實驗推進到可服務數百萬使用者之生產系統所需的工具、流程與基礎架構。這個生命週期的每一個階段都會引入傳統軟體開發中不存在的攻擊面。與傳統 DevOps 管線中以確定性程式碼為產出不同，LLMOps 管線產生的是不透明的統計性產物，其行為無法單靠檢視就完全預測。

LLMOps 生命週期

LLMOps 生命週期在傳統 MLOps 循環上延伸出針對大型語言模型的特有階段。每個階段都有獨特的行為者、產物與信任邊界。

階段 1：資料準備

為 LLM 準備資料涉及在網路規模下收集、清理並策展訓練語料。這個階段格外脆弱，因為資料量龐大導致人工審查不可行，而自動化過濾機制則可能被規避。

面臨風險的關鍵資產：

• 訓練資料集（專有語料、授權內容、策展過的指令集）
• 資料預處理腳本與過濾邏輯
• 資料來源記錄與血緣中繼資料
• 本應被過濾掉的 PII 與敏感內容

攻擊面：

• 資料來源遭入侵（爬取目標的 DNS 劫持、資料下載的中間人攻擊）
• 透過公開平台上的貢獻資料集進行投毒
• 操控去重與過濾管線以保留惡意內容
• 在指令微調資料集中注入後門觸發器

階段 2：實驗追蹤

在模型開發期間，團隊會執行數千次實驗，將超參數、指標、模型檢查點與產物記錄到 Weights & Biases 或 MLflow 等追蹤平台。這些平台因此成為敏感智慧財產與營運中繼資料的彙集之處。

面臨風險的關鍵資產：

• 透露架構決策的超參數組態
• 揭示資料集特性的訓練指標
• 各訓練階段的模型檢查點
• 儲存在實驗組態中的 API 金鑰與憑證

攻擊面：

• 實驗追蹤伺服器遭入侵導致產物投毒
• 中繼資料外洩揭露專有訓練手法
• 記錄組態中的 API 金鑰曝光
• 共用追蹤實例中跨團隊的邊界違規

階段 3：模型訓練與微調

訓練過程本身會消耗大量運算資源，並產出將模型所學一切編碼於其中的模型權重。入侵此階段可植入持久後門，貫穿至部署仍存在。

面臨風險的關鍵資產：

• GPU 叢集存取與運算資源
• 訓練腳本與損失函式
• 中間檢查點與最終模型權重
• 微調資料集（經常包含專有資料）

攻擊面：

• 劫持運算資源用於加密貨幣挖礦或未授權訓練
• 操控訓練工作以注入後門
• 以遭投毒的權重替換檢查點
• 針對訓練相依套件的供應鏈攻擊

階段 4：模型註冊表與產物管理

訓練完的模型會儲存在具版本管理、存取控制與部署中繼資料的註冊表中。一旦註冊表遭入侵，即直接形成將惡意模型送上生產服務給使用者的路徑。

面臨風險的關鍵資產：

• 生產環境的模型權重與組態
• 模型版本歷史與回滾目標
• 部署中繼資料與服務組態
• 模型來源與簽章資訊

攻擊面：

• 透過版本混淆或命名空間搶註進行模型替換
• 繞過註冊表存取控制
• 部署未簽章的模型
• 利用信任訊號進行惡意模型上傳

階段 5：部署與服務

模型部署涉及將權重與服務基礎架構打包、設定推論端點，以及管理流量路由。此階段將 ML 特有的考量與傳統基礎架構安全交織在一起。

面臨風險的關鍵資產：

• 生產推論端點
• 模型服務組態與擴充參數
• A/B 測試與 canary 部署組態
• 流經系統的使用者請求與回應資料

攻擊面：

• 部署管線注入（在部署時替換模型）
• 服務基礎架構組態錯誤而曝露模型內部
• 缺乏安全閘門使未經審核的模型得以上線
• 模型版本間隔離不足

階段 6：監控與可觀測性

生產監控會追蹤模型效能、資料漂移、公平性指標與安全指標。當監控遭入侵或規避時，攻擊者便能不被察覺地行動。

面臨風險的關鍵資產：

• 效能與漂移指標
• 安全告警與異常偵測系統
• 使用者互動日誌
• 模型行為基線

攻擊面：

• 透過低於偵測門檻的漸進漂移規避監控
• 利用誤報洪水導致的告警疲勞
• 操控指標以掩蓋模型行為劣化
• 監控覆蓋中的盲點

LLMOps 與傳統 DevOps 安全有何不同

傳統 DevOps 安全歷經二十多年演進，已建立成熟且廣為理解的威脅模型、既有工具與業界標準。LLMOps 則引入了打破許多既有假設的根本差異。

產物的不透明性

在 DevOps 中，你可以逐行讀取被部署的程式碼。但模型權重檔是一組浮點數矩陣——你無法藉由檢視它來判斷模型會做什麼。這種不透明性意味著傳統的程式碼審查、靜態分析與漏洞掃描皆不足以因應。光靠檔案檢視，植入後門的模型與乾淨的模型無法區分。

非確定性行為

傳統軟體對相同輸入會產生相同輸出。LLM 則因取樣參數不同可對相同輸入產生不同輸出，且輸入的微小變動可能導致輸出迥異。這使得行為測試本質上更加困難，也代表安全測試必須採用統計方式而非二元判斷。

作為攻擊向量的資料

在傳統 DevOps 中，資料由程式碼處理。在 LLMOps 中，資料塑造了產物本身的行為。對訓練資料集投毒不只是破壞單一查詢結果——它會改變模型習得的表徵，潛在地影響每一次未來互動。攻擊面因此不只包含程式碼管線，更涵蓋整個資料供應鏈。

信任相依的規模

LLMOps 管線依賴預訓練模型、社群資料集、開源訓練框架與雲端 ML 服務——全都在隱含信任下被使用。典型的 LLM 部署可能信任 Hugging Face 提供基礎權重、信任公開資料集進行微調、信任 PyTorch 作為訓練框架、並信任雲端業者的 ML 平台提供服務。每一項都是潛在的供應鏈入口。

比較表

威脅行為者樣貌

不同威脅行為者依其能力與目標，瞄準 LLMOps 生命週期的不同階段。

外部攻擊者

外部攻擊者通常鎖定供應鏈（公開模型註冊表、開源相依套件）或面向生產的基礎架構（推論 API、監控系統）。他們可能沒有內部訓練基礎架構的存取權，但可透過對公開資源進行資料投毒來影響模型行為。

惡意內部人員

具備實驗追蹤系統、模型註冊表或訓練基礎架構存取權的內部人員可造成重大損害。單一遭入侵的 ML 工程師帳號即可能變更訓練資料、替換模型檢查點或修改部署組態。模型產物的不透明性使得內部人員攻擊特別難以偵測。

競爭者

針對 LLMOps 的工業間諜活動聚焦於外洩訓練資料、模型架構與超參數組態。實驗追蹤中繼資料尤為珍貴，因為它揭露了促成模型效能提升的那些決策。

國家級行為者

國家級行為者可能瞄準整個生命週期，從污染許多組織共同使用的公開訓練資料集，到入侵雲端 ML 基礎架構。其目的可能是建立持久存取、情報蒐集，或具備在特定情境下影響模型行為的能力。

入侵的擴散

LLMOps 攻擊的一個關鍵特性，是入侵會如何在生命週期中擴散。與傳統軟體漏洞通常僅侷限於單一元件不同，LLMOps 的入侵可能層層疊加。

階段 1 的資料投毒會在階段 3 產生遭入侵的模型，該模型在階段 4 被儲存於註冊表，在階段 5 被部署到生產環境，並在階段 6 規避監控——因為監控基線本就是針對已遭入侵的行為所建立。

這種疊加效應意味著：

1. 偵測必須在生命週期中盡可能早期發生
2. 每個階段都需要獨立的完整性驗證，不能只信任前一個階段
3. 跨整個管線的來源追蹤對事件回應至關重要
4. 若無法定位投毒時點，回滾可能需要從頭重新訓練

章節概覽

本章節涵蓋 LLMOps 生命週期的主要攻擊面：

• 實驗追蹤安全 — 保護實驗中繼資料、追蹤平台，以及其累積的敏感資訊
• 模型註冊表安全 — 保護模型產物、簽章、來源，以及註冊表特有的攻擊向量
• ML CI/CD 安全 — 保護建置、測試與部署 ML 產物的管線
• Feature Store 安全 — 保護特徵運算、儲存與存取樣式
• AI 監控安全 — 防禦可觀測性系統免於被規避與操控

參考資料

• Google MLOps Whitepaper — MLOps 成熟度模型與最佳實務
• OWASP ML Security Top 10 — ML 特有安全風險
• NIST AI Risk Management Framework — 聯邦 AI 風險管理指引
• MITRE ATLAS — AI 系統的對抗性威脅地景