模擬：多模態應用程式評估
進階1 分鐘閱讀更新於 2026-03-13
針對同時處理圖片與文字之應用程式的紅隊模擬，測試視覺注入、跨模態攻擊與多模態越獄。
案件簡介
客戶： VisualDocs Inc. 目標： AI 文件處理應用程式，接受圖片上傳與文字查詢以分析、摘要並萃取文件資訊 系統： 視覺-語言模型（VLM）處理上傳圖片，LLM 處理文字查詢，RAG 用於企業文件存取 範圍： 視覺注入、跨模態攻擊、OCR 利用、文件投毒 持續時間： 4 小時
階段 1：架構描繪（45 分鐘）
描繪多模態管線：
- 輸入處理：圖片如何被處理？什麼 OCR/視覺模型？
- 模態融合：視覺與文字輸入如何結合？共享上下文視窗？
- 輸出通道：回應包含什麼？文字、圖片、結構化資料？
- 防禦層：哪些過濾器應用於圖片 vs. 文字輸入？
階段 2：測試（2 小時）
測試 1：字型注入
建立包含文字指令的圖片並上傳。測試 VLM 是否讀取並遵循嵌入的文字指令。
測試 2：不可見文字注入
建立具有在 VLM 可讀但人類難以看見之低對比文字的圖片。測試隱藏指令是否影響模型行為。
測試 3：跨模態混淆
傳送圖片說一件事而伴隨文字說另一件事。測試模型如何解決跨模態衝突。
測試 4：文件投毒
建立含有隱藏注入 payload 的文件（PDF 隱藏文字層、metadata 注入）。上傳至系統並測試 payload 是否在處理時執行。
測試 5：防禦規避
對文字輸入通道封鎖的攻擊嘗試透過圖片通道遞送。測試防禦是否跨所有模態一致。
階段 3：報告（1 小時 15 分鐘）
聚焦於多模態特定風險：純文字防禦與多通道攻擊之間的落差。