安全開發
Intermediate1 min readUpdated 2026-03-21
AI 應用程式的安全設計原則，包含防禦性提示詞工程、輸入驗證、輸出清理，以及將安全測試整合至 CI/CD 管線。
AI 應用程式的安全開發需要在軟體開發生命週期的每個階段嵌入安全考量。不同於傳統應用程式安全，其中輸入驗證與輸出編碼是熟悉的實務，AI 系統在提示詞層、模型層與整合層引入新的攻擊面。安全設計方法在部署前處理每一個這些面，而非在漏洞被發現後才加裝防禦。
核心挑戰是大型語言模型模糊了程式碼與資料之間的邊界。系統提示詞、使用者輸入與檢索上下文都流經相同的處理管線，使傳統的關注分離模式不足。安全 AI 開發需要考量此架構現實的新模式。
防禦性提示詞工程
系統提示詞設計是第一道防線。精心打造的系統提示詞建立清晰的行為邊界、定義模型應該與不應該做什麼，並包含處理對抗性輸入的明確指令。關鍵技術包含：
- 角色錨定：建立抵擋覆蓋系統提示詞嘗試的強身份
- 指令階層：清楚分離系統層級指令與使用者層級輸入
- 負面限制：明確列出模型應拒絕的行為
- 輸出格式強制：約束回應格式以降低利用的表面積
輸入驗證
AI 系統的輸入驗證超越傳統 web 應用程式輸入驗證。除了檢查注入模式，AI 輸入驗證必須考量：
- 符元層級分析：偵測利用分詞器行為的對抗性符元序列
- 語意分析：識別試圖改變模型角色或行為的輸入
- 上下文視窗管理：防止設計為將系統提示詞推出上下文視窗的輸入
- 多模態驗證：檢查圖片、音訊與其他媒體中嵌入的對抗性內容
輸出清理
模型輸出在傳回給使用者或被下游系統消費前必須被清理。這包含：
- PII 偵測與遮蔽：防止模型從訓練資料洩漏個人資訊
- 指令洩漏預防：偵測模型即將揭露系統提示詞內容
- 有害內容過濾：對模型輸出應用內容安全分類器
- 格式驗證：確保在結構化工作流程中使用時輸出符合預期架構
CI/CD 中的測試
將 AI 安全測試整合至 CI/CD 管線確保安全迴歸在部署前被捕捉。這包含：
- 自動化紅隊探測：對每個建構執行一組標準對抗性提示詞
- 迴歸測試：驗證先前發現的漏洞仍被修補
- 護欄驗證：確認輸入/輸出過濾器正確運作
- 效能基準：監控可能指示設定漂移的模型行為非預期變化