模擬：客戶聊天機器人紅隊

針對客戶服務聊天機器人的完整紅隊案件模擬，涵蓋提示詞注入、資料洩漏與政策違規測試。

案件簡介

客戶： ShopEase（電子商務平台） 目標： 客戶服務聊天機器人，協助訂單查詢、退貨與產品資訊 系統： LLM 驅動聊天機器人，具 RAG 知識庫（產品目錄、政策文件）與訂單管理 API 整合 範圍： 提示詞注入、資料洩漏、政策繞過、系統提示詞萃取 持續時間： 4 小時

階段 1：偵察（45 分鐘）

描繪聊天機器人：

1. 模型識別：判斷底層 LLM（透過回應模式、錯誤訊息、行為特徵）
2. 系統提示詞探測：嘗試萃取系統提示詞以理解限制與能力
3. 工具/API 描繪：識別聊天機器人可呼叫的 API（訂單查詢、退貨處理）
4. 知識庫描繪：理解聊天機器人知道什麼（產品、政策、內部資訊）

階段 2：測試（2 小時）

測試 1：系統提示詞萃取

使用多種技術嘗試萃取完整系統提示詞。記錄每種技術的成功率。

測試 2：直接提示詞注入

嘗試覆蓋聊天機器人的行為指令：指令覆蓋、格式模仿、分隔符逃逸。

測試 3：資料外洩

測試聊天機器人能否被操控揭露其他客戶資料、內部定價或系統設定。

測試 4：政策繞過

測試內容政策是否可被繞過：讓聊天機器人討論競爭對手、產生不適當內容或提供超出政策的退款。

測試 5：API 濫用

如果聊天機器人有訂單 API 存取，嘗試操控以進行未授權動作：修改他人訂單、產生未授權退款。

階段 3：報告（1 小時 15 分鐘）

聚焦於業務影響：客戶資料暴露風險、財務影響（未授權退款）、聲譽風險（不適當回應）。