多模型攻擊關聯

對針對組織內多個 AI 模型或系統之協同攻擊進行關聯與分析的技術。

概觀

現代組織橫跨多種應用部署數十個 AI 模型:面向客戶的聊天機器人、內部程式碼助理、文件處理系統、推薦引擎、詐欺偵測模型,與內容審核分類器。針對此類組織的精密對手可能進行協同活動,同時或依序探測、測試並攻擊多個模型。每個個別互動可能看似無害或結論不明,但關聯起來便揭示連貫的攻擊活動。

多模型攻擊關聯是連結跨這些不同 AI 系統對抗性活動的鑑識學科,以識別協同活動、歸因到特定威脅行為者,並理解攻擊者目標。這類似傳統 SOC 分析師關聯跨防火牆、端點與認證系統的告警——但為 AI 系統產生的獨特遙測調整。

挑戰顯著:AI 系統產生異質遙測(文字日誌、數值指標、嵌入向量、信心分數)、在不同基礎設施上運作,可能不共享通用日誌格式。關聯需要將此多樣資料正規化為共同框架,並套用規則與統計技術以識別跨系統邊界的模式。

多模型攻擊模式

偵察活動

攻擊者可能探測多個模型以對映組織的 AI 部署:

• 測試每個模型的能力與限制
• 識別共享元件的模型(相同嵌入、相同 RAG 語料、相同護欄)
• 判定模型間的信任關係(一個模型的輸出餵給另一個輸入)
• 為更針對性的後續攻擊對映攻擊面

樞紐攻擊 (Pivot Attacks)

攻擊者妥協一個 AI 系統並將其作為攻擊其他系統的跳板:

• 從模型 A 萃取資訊以協助對模型 B 的攻擊設計
• 使用被越獄的聊天機器人探測內部 API 或探索系統架構
• 利用被妥協的程式碼助理注入惡意程式碼以影響其他系統

同時多向量攻擊

攻擊者以不同攻擊類型同時針對多個模型:

• 對聊天機器人進行提示詞注入
• 對分類器進行對抗性攻擊
• 對程式碼產生器進行供應鏈注入
• 分散偵測與防禦資源

關聯維度

時間關聯

基於時間戳的關聯:

• 短時間內(分鐘、小時)對多系統的活動
• 一致的活動時段(攻擊者工作時程)
• 跨系統的爆發模式:攻擊 A 完成後攻擊 B 緊接開始

行為關聯

基於技術、戰術、程序(TTP)的關聯:

• 相似的提示詞注入載荷模式
• 相同的社會工程角色(如「Grandma」jailbreak)
• 相似的對抗性擾動簽章

基礎設施關聯

基於攻擊者資產的關聯:

• 相同的來源 IP 或 IP 範圍
• 相同的 user agent 或 HTTP 指紋
• 相同的認證憑證或令牌重用
• 相似的工具鏈指紋(ML 套件、Python 版本)

身分關聯

• 相同或相關的使用者帳號
• 帳號建立模式(類似電子郵件、類似建立時間)
• 行為指紋(打字節奏、句法偏好)

關聯框架

統一遙測攝取

MultiModelTelemetryAggregator:

• 標準化事件格式:[timestamp, system_id, actor_id, action_type, content_hash, metadata]
• 從每個 AI 系統的原生日誌格式轉換
• 儲存於可查詢的時間序列資料庫(如 Elasticsearch、ClickHouse)
• 附加嵌入向量供語意搜尋

關聯引擎

CorrelationEngine:

• 規則基礎關聯:預定義規則(如「相同使用者在 5 分鐘內對 3 個系統的存取」)
• 圖型基礎關聯:建立事件圖,節點為事件,邊為關聯關係
• 統計關聯:使用互相關、點對點互資訊識別系統間的活動相關
• 嵌入基礎關聯:將事件嵌入比較跨系統的語意相似性

活動偵測

CampaignDetector:

• 將關聯結果聚合成候選活動
• 計算活動穩健性分數(事件數、時間跨度、系統多樣性、TTP 連貫性)
• 過濾誤報:隨機共現與真實協同的區分

威脅情資產出

活動概況

對每個偵測的活動產出:

• 時間線:攻擊事件的時序
• 目標矩陣:哪些系統被目標
• TTP 摘要:使用的技術分類(對應 MITRE ATLAS)
• 關聯實體:可能的攻擊者工件(帳號、IP、工具)
• 影響評估:成功攻擊的估計影響

可分享指標

• Stixify:將發現對應到 STIX 2.1 格式供跨組織分享
• YARA/Sigma 規則:可部署的偵測規則
• IP/網域指標:已知惡意基礎設施清單

狩獵假說

從一個活動產出探索性假說:

• 「攻擊者似乎以 A、B 兩種技術運作;是否也有使用 C?」
• 「目標模式暗示是 X 產業;其他 X 產業的組織是否受攻擊?」
• 「時段顯示 UTC+8 時區;是否其他指標支持此地理歸因?」

實作考量

規模

多模型關聯在大型組織快速變成大數據問題:

• 每日數千萬事件
• 需要分散式關聯處理(Spark、Flink)
• 對即時關聯需求,使用串流引擎

誤報管理

關聯工具必然產生誤報:

• 多個使用者恰好在相似時間做類似事情
• 分時段的系統使用使得關聯圖「浮現」偽模式
• 建議:只調查具足夠顯著性的關聯、逐步提升告警閾值

隱私合規

跨多系統關聯活動可能觸發隱私考量:

• 確保跨系統資料共享符合內部政策
• 對使用者資料應用最小化原則
• 對敏感關聯(例如涉及員工行為)需適當審查層級

與其他工作流程的整合

• 事件回應:關聯引擎產出的高信心活動自動觸發事件
• 威脅獵捕:中信心活動作為獵捕假說
• 紅隊:成功的真實攻擊模式情資反饋到紅隊測試計畫
• 防禦工程:關聯發現的模式用於改進偵測規則

參考資料

• MITRE ATLAS. (2024). Adversarial Threat Landscape for AI Systems. https://atlas.mitre.org/
• Biggio, B., & Roli, F. (2018). Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition.
• SANS Institute. Multi-Source Threat Correlation for Cyber Threat Intelligence.
• STIX 2.1. OASIS Cyber Threat Intelligence Technical Committee.