# vlm
標記為「vlm」的 12 篇文章
多模態安全模擬測驗
模擬測驗涵蓋image injection、audio 攻擊、cross-modal transfer、document parsing 利用。
多模態安全
多模態 AI 系統 (處理影像、音訊、影片與跨模態輸入) 的安全評估,涵蓋視覺語言模型、語音系統、影片分析與跨模態攻擊技術。
多模態模型安全基準測試
設計和實作針對同時處理圖像、音訊和視頻的多模態 AI 模型的安全基準測試，涵蓋跨模態攻擊評估、一致性測試和安全評分彙總。
視覺語言模型攻擊
攻擊視覺語言模型的完整技術，包括 GPT-4o、Claude 4 和 Gemini，涵蓋對抗性圖像、印刷型漏洞利用和多模態越獄。
VLM 的對抗性影像範例
會改變 VLM 行為的像素級擾動，包括針對視覺編碼器的 PGD 攻擊、可遷移對抗影像，以及 patch 攻擊。
VLM 架構與視覺—語言對齊
深入探討 VLM 架構，包括 CLIP、SigLIP 與 vision transformers。圖像 patch 如何變成 token、對齊訓練，以及錯位（misalignment）如何製造可利用之缺口。
以圖像為本之提示注入
將文字指令嵌入圖像以操弄 VLM 之技術，含隱寫注入、可見文字攻擊與 QR 碼利用。
視覺-語言模型
視覺-語言模型（VLM）的安全評估——涵蓋 VLM 架構、圖片注入技術、OCR 與字型攻擊、對抗性圖片生成與 VLM 特定越獄。
實驗室：製作基於圖像的注入
建立基於圖像的提示詞注入、對 VLM 進行測試，以及衡量不同注入技術成功率的實作實驗室。
OCR 與排版攻擊
經由排版攻擊、字體操弄、對抗文字覆蓋，與文字渲染利用來利用 VLM 中之 OCR 能力。
Typographic Adversarial 攻擊s
How text rendered in images influences VLM behavior: adversarial typography, font-based prompt injection, visual instruction hijacking, and defenses against typographic manipulation.
VLM 特有的越獄手法
利用視覺模態的越獄技術，包括影像─文字不一致攻擊、視覺安全繞過，以及跨模態越獄策略。