# multimodal
標記為「multimodal」的 117 篇文章
進階練習考試
涵蓋進階 AI 紅隊技術的 25 題練習考試：多模態攻擊、訓練管線利用、代理式系統攻擊、嵌入操弄與微調安全性。
模擬測驗 2:進階 AI 安全
涵蓋多模態攻擊、訓練管線安全、雲端 AI 安全、鑑識與治理的 25 題進階模擬測驗。
多模態安全模擬測驗
模擬測驗涵蓋image injection、audio 攻擊、cross-modal transfer、document parsing 利用。
進階多模態評估
In-depth 評估 of cross-modal 攻擊 vectors包括 image injection、audio manipulation、隱寫術技巧。
多模態攻擊評估
評估涵蓋image injection、audio 攻擊、cross-modal 利用、多模態防禦 bypass。
多模態 Defense 評估
評估涵蓋防禦s against visual injection、audio 攻擊、cross-modal 利用。
多模態攻擊評量
以 10 道中級題目測試你對針對多模態 AI 系統之攻擊（包括基於影像的注入、音訊對抗性範例與跨模態操縱）的理解。
進階多模態攻擊評估
進階評估涵蓋cross-modal 攻擊、隱寫術 injection、多模態防禦 bypass。
技能驗證: 多模態 Attack Execution
針對以下的實作驗證:image injection、audio manipulation、cross-modal transfer 攻擊。
技能驗證: 多模態 Defense
Practical verification of ability to defend 多模態 AI systems against cross-modal 攻擊。
技能驗證: 多模態攻擊
針對以下的實作驗證:多模態攻擊 capabilities 跨 image、audio、document modalities。
多模態安全學習指南
學習指南的多模態攻擊、防禦 topics涵蓋image、audio、document modalities。
多模態安全學習指南 (評估)
學習指南的多模態安全評估s涵蓋image、audio、document、cross-modal 攻擊。
Capstone:多模態攻擊套件
Capstone 專案:打造針對視覺、音訊與文件多模態 AI 系統的攻擊測試套件。
Capstone:多模態系統評估
Capstone 演練:處理影像、文件與文字之多模態 AI 系統的紅隊評估。
案例研究:GPT-4V 越獄
GPT-4 Vision 視覺越獄分析:排版攻擊、對抗擾動與影像中的隱寫術指令。
案例研究:多模態越獄活動
分析針對 GPT-4V 與 Gemini 視覺能力的多模態越獄活動。
案例研究:Google Bard 提示詞注入
Google Bard(現稱 Gemini)中早期提示詞注入與資料外洩漏洞的分析。
多模態嵌入向量攻擊
利用 CLIP 等跨模態嵌入模型——對抗性圖文對齊操控、跨模態注入與對多模態檢索系統的攻擊。
多模態嵌入攻擊
針對跨文字、影像與音訊對齊的多模態嵌入之攻擊。
模型類型與其攻擊面
文字、視覺、多模態、embedding 與程式碼生成模型如何各呈現紅隊員獨特之漏洞與攻擊面。
多模態推論攻擊
針對多模態模型的攻擊,包括跨模態注入與感知操弄。
多模態推論安全性
跨文字、影像、音訊與視訊模態進行推論之模型的安全挑戰。
注入研究
提示詞注入、越獄自動化與多模態攻擊向量的進階研究，涵蓋超越標準注入方法的尖端技術。
對抗性擾動攻擊
針對視覺編碼器的梯度式畫素層攻擊,涵蓋 FGSM、PGD、C&W、轉移性、實體世界對抗性樣本,以及擾動預算的約束。
音訊與語音對抗性攻擊
針對具備語音能力 AI 系統的對抗性攻擊,涵蓋超音波注入、ASR 對抗性雜訊、隱藏語音指令、用於繞過認證的語音複製,以及即時音訊操縱。
多模態攻擊向量
視覺語言模型利用、字型印刷攻擊、音訊注入、文件式攻擊與跨模態對抗性技術。
跨模態 Embedding 攻擊
跨模態之共享 embedding 空間利用：CLIP 對抗影像、印刷式攻擊、VLM 注入與維度縮減攻擊。
實作：音訊對抗樣本
動手實作 for crafting 對抗性 audio perturbations that cause speech-to-text models and voice assistants to misinterpret spoken commands, demonstrating attacks on audio AI systems.
Multimodal 攻擊 鏈 實驗室
鏈 attacks across text,image,structured data modalities to exploit multimodal system vulnerabilities.
Lab: Multimodal Attack Pipeline
建構 an automated multimodal attack pipeline that generates 對抗性 images, combines them with text prompts, and tests against vision-語言模型 (VLMs).
Multimodal Image Injection
Embed 對抗性 text in images that triggers 提示詞注入 in vision-語言模型.
Multi-Modal 攻擊 鏈 編排
Orchestrate attacks across text,image,document modalities to bypass per-modality safety filters.
Lab: Multimodal Input Testing Basics
Introduction to testing multimodal LLMs with image and text inputs to understand cross-modal behavior.
CTF: Multimodal Maze
Navigate a multimodal challenge using image, text, and audio injection vectors. Each modality unlocks the next stage of the maze, requiring cross-modal attack chaining.
Multimodal Cipher: Cross-Modal Decryption
Decode a flag split across text,image,audio inputs processed by a multimodal AI system.
實驗室: Multimodal 注入
動手實驗室,主題為embedding text instructions in images to exploit vision-enabled LLMs。Learn to craft visual prompt injections,test OCR-based attacks,evaluate multimodal safety boundaries.
實驗室: Multimodal 注入 (中階 實驗室)
Embed 提示詞注入 instructions in images for vision-enabled models,testing how visual content can carry adversarial payloads.
實驗：中階多模態安全測試
以精心設計、含嵌入式文字、對抗性擾動與視覺注入酬載的影像，測試多模態 LLM。
模擬：多模態應用程式評估
針對同時處理圖片與文字之應用程式的紅隊模擬，測試視覺注入、跨模態攻擊與多模態越獄。
Gemini（Google）概觀
Google Gemini 模型家族的架構概觀，包括原生多模態設計、長上下文能力、Google 生態整合，以及對紅隊具意義的安全相關特性。
Gemini 已知漏洞
已記錄的 Gemini 漏洞，包括影像生成偏見事件、系統提示擷取、安全過濾不一致、多模態注入 exploit，以及 grounding 濫用。
多模態模型安全性比較
主要多模態 LLM 在攻擊面與防禦強度上的並列比較。
3D 模型對抗性攻擊
針對處理 3D 模型、點雲與空間資料的 AI 系統所進行的對抗性攻擊。
針對 VLM 的對抗性影像擾動
產生對抗性擾動,使視覺語言模型誤判或遵循被注入的指令。
針對 VLM 的對抗性貼片攻擊
在影像中以可見貼片形式植入對抗樣本,以誘使視覺語言模型誤判或執行注入指令。
對抗性排版攻擊
利用字型、大小與排版樣式欺騙 OCR 與視覺語言模型的攻擊技巧。
Audio Modality 攻擊s
Comprehensive attack taxonomy for audio-enabled LLMs: adversarial audio generation, voice-based prompt injection, cross-modal split attacks, and ultrasonic perturbations.
音訊模型攻擊面
音訊模型安全概覽，包括對 Whisper、語音轉文字系統、語音助理以及音訊處理管線的攻擊。
語音與音訊模型的對抗性攻擊
針對語音辨識、語音助理與音訊語言模型(包括隱藏命令與心理聲學遮蔽)製作對抗性音訊的技術。
音訊頻率注入攻擊
利用可聽範圍之外或受抑制頻段注入指令,繞過語音介面的防禦。
音訊隱藏命令
在對人耳不明顯的音訊中嵌入指令,控制語音助理與多模態 AI 系統。
音訊注入攻擊
透過音訊管道注入惡意指令或對抗性內容,操弄多模態 AI 模型行為。
圖表與圖形注入攻擊
將對抗性內容藏入圖表、統計圖或資料視覺化中,以操弄處理這些影像的 AI 系統。
跨模態攻擊
跨多個輸入模態串接漏洞的攻擊——涵蓋基於文件的攻擊、多模態越獄、模態橋接與資訊洩漏。
實驗室: Multi-Modal 攻擊 Chain
Hands-on lab for building and executing a multi-step attack chain that combines image injection, document exploitation, and text-based techniques against a multimodal AI system.
Multimodal 防禦 Strategies
Comprehensive defense approaches for multimodal AI systems: cross-modal verification, perceptual hashing, NSFW detection, input sanitization, and defense-in-depth architectures.
多模態越獄技術
結合多模態途徑以繞過安全對齊，含圖像－文字組合攻擊、排字越獄、視覺思維鏈操弄，與多模態漸進技術。
跨模態傳遞攻擊實作指南
在多模態模型中，透過一個輸入通道攻擊另一模態處理流程的對抗性輸入技術，涵蓋圖像轉文字、音訊轉行動，以及文件轉工具的攻擊鏈。
跨模態傳遞攻擊
攻擊者如何將對抗樣本從一個模態轉移到另一個模態,以提升攻擊的通用性與可轉移性。
深度圖對抗性攻擊
針對使用深度估計與空間感知的 AI 系統所進行的對抗性攻擊。
文件 AI 系統攻擊
攻擊文件理解系統的技術，包括 OCR 管線、PDF 處理器和文件語言模型，透過版面配置操縱、隱藏文字和元資料注入等手法。
文件中繼資料注入
利用文件中繼資料欄位夾帶對抗性指令或內容,影響下游 AI 處理流程。
文件解析利用
利用文件解析器的弱點與邊緣案例,在 AI 處理前後偷渡惡意內容。
影像注入技術
在影像中嵌入隱形或半隱形指令,使視覺語言模型誤將其視為合法提示詞。
影像中繼資料注入
透過 EXIF 等影像中繼資料攜帶對抗性指令,對處理影像的 AI 進行間接注入。
針對 AI 攻擊的影像隱寫術
使用隱寫術技術將對抗性載荷嵌入圖像中，規避人工檢查和自動化偵測，同時影響 AI 模型行為。
影像隱寫注入
利用隱寫技術將指令或資料嵌入影像,以規避視覺檢查並操弄多模態模型。
多模態安全
多模態 AI 系統 (處理影像、音訊、影片與跨模態輸入) 的安全評估,涵蓋視覺語言模型、語音系統、影片分析與跨模態攻擊技術。
醫療影像對抗性攻擊
針對使用醫療影像 (如 X 光、CT 與 MRI) 的 AI 系統所進行的對抗性攻擊。
多模態模型中的對齊挑戰
分析多模態 AI 系統特有的對齊挑戰，包括跨模態安全缺口、表示衝突，以及將基於文字的安全訓練延伸至視覺、音訊和視頻輸入的困難。
多模態一致性攻擊
利用不同模態之間一致性需求的矛盾,欺騙多模態 AI 系統。
多模態防禦繞過
繞過多模態 AI 系統所部署之安全過濾器與內容審核的技術。
防禦多模態 AI 系統
多模態 AI 系統的全面防禦策略，包括輸入清理、跨模態安全分類器、指令層級，以及針對對抗性多模態輸入的監控。
多模態融合攻擊
在多模態 AI 系統的模態融合階段進行的對抗性攻擊。
從多模態系統中萃取模型
透過視覺、音訊和跨模態查詢策略，從多模態 AI 系統中萃取模型能力、權重和架構細節的技術。
圖像型提示詞注入攻擊
透過圖像注入對抗性提示詞的完整技術，涵蓋印刷型注入、隱寫術嵌入，以及針對多模態 AI 系統的視覺載荷傳遞。
多模態提示詞注入綜覽
涵蓋多模態 AI 系統中各種提示詞注入技術的完整綜覽。
多模態 RAG 投毒
透過影像、文件與其他模態對多模態 RAG 系統進行投毒攻擊。
多模態系統紅隊演練方法論
針對多模態 AI 系統進行安全評估的結構化方法論，涵蓋範疇定義、攻擊面列舉、測試執行，以及使用 MITRE ATLAS 映射進行報告。
多模態模型安全基準測試
設計和實作針對同時處理圖像、音訊和視頻的多模態 AI 模型的安全基準測試，涵蓋跨模態攻擊評估、一致性測試和安全評分彙總。
多模態浮水印攻擊
從多模態 AI 系統的輸出中移除或偽造浮水印的攻擊。
OCR 對抗性攻擊
透過精心設計的影像使 OCR 系統擷取出對抗性文字,以進行後續的注入攻擊。
PDF 文件注入
透過惡意 PDF 文件將對抗性指令與內容注入到文件處理 AI 系統。
QR 碼與條碼注入
利用 QR 碼與條碼攜帶對抗性載荷,影響會自動解析這些標記的多模態 AI。
衛星影像對抗性攻擊
針對使用衛星影像的 AI 系統 (如國防、農業與氣候監測) 所進行的對抗性攻擊。
透過螢幕擷取攻擊電腦使用 AI
攻擊處理螢幕擷取的 AI 系統的技術，包括電腦使用代理、螢幕閱讀助手和自動化 UI 測試系統。
截圖注入攻擊
將對抗性內容嵌入截圖,讓視覺 AI 代理將其誤認為合法的使用者介面元素。
手語注入攻擊
針對解譯手語或含手勢的手語影片之 AI 系統所進行的注入攻擊。
隱寫注入
運用隱寫術將對抗性指令藏入看似無害的媒體中,進行多模態注入攻擊。
文字生成影像模型的對抗性攻擊
理解並評估文字生成影像擴散模型的對抗性攻擊，包括提示詞操控以繞過安全過濾、概念消除攻擊、引導機制擾動，以及訓練資料成員推論。
排版注入攻擊
透過字型選擇、字距與排版操弄,對視覺 AI 系統進行注入攻擊。
影片模型攻擊
影片理解模型的安全性、影格層級攻擊與時序攻擊的差異、影片模型如何處理序列資訊，以及完整的攻擊面概觀。
視訊理解模型利用
以造成誤分類或指令注入之對抗視訊攻擊視訊字幕、視訊 Q&A 與動作辨識模型。
影片影格注入
將對抗性影格插入影片串流,以操弄處理影片內容的 AI 系統。
影片時序注入
利用影片的時序維度,針對處理影片序列的 AI 系統進行對抗性注入。
影片理解模型攻擊
透過影格注入、時序操控和對抗性影片生成，攻擊 AI 影片理解系統（如 Gemini 2.5 Pro）的技術。
視覺語言模型攻擊
攻擊視覺語言模型的完整技術，包括 GPT-4o、Claude 4 和 Gemini，涵蓋對抗性圖像、印刷型漏洞利用和多模態越獄。
VLM 架構與視覺—語言對齊
深入探討 VLM 架構，包括 CLIP、SigLIP 與 vision transformers。圖像 patch 如何變成 token、對齊訓練，以及錯位（misalignment）如何製造可利用之缺口。
以圖像為本之提示注入
將文字指令嵌入圖像以操弄 VLM 之技術，含隱寫注入、可見文字攻擊與 QR 碼利用。
視覺-語言模型
視覺-語言模型（VLM）的安全評估——涵蓋 VLM 架構、圖片注入技術、OCR 與字型攻擊、對抗性圖片生成與 VLM 特定越獄。
VLM 特有的越獄手法
利用視覺模態的越獄技術，包括影像─文字不一致攻擊、視覺安全繞過，以及跨模態越獄策略。
多模態文字注入向量
透過非文字模態注入對抗性文字指令，包含嵌入文字的影像、音訊轉錄與文件解析。
音訊提示詞注入
透過音訊輸入向語音轉文字和多模態模型注入對抗性指令，利用音訊通道作為替代注入向量。
Cross-Modal Confusion
Confusing multimodal AI models by sending conflicting or complementary signals across different input modalities to bypass safety mechanisms and exploit fusion weaknesses.
Image-Based 提示詞注入 (攻擊 導覽)
Embedding text instructions in images that vision models read, enabling prompt injection through the visual modality to bypass text-only input filters and safety mechanisms.
Multi-Image Chaining
Chaining prompt injection payloads across multiple images in a conversation to deliver complex attacks that evade per-image content filters and build injection context progressively.
Multi-Modal Document 攻擊 詳解
Combine visual and textual injection in documents processed by multimodal LLM applications.
多模態圖像注入詳解
Step-by-step walkthrough of embedding adversarial prompts in images for vision model exploitation.
OCR-Based 攻擊s
利用ing Optical Character Recognition processing pipelines to inject adversarial text into AI systems, targeting the gap between what OCR extracts and what humans see.
PDF Document Injection
Injecting adversarial prompts through PDF documents processed by AI systems, exploiting document parsing pipelines to deliver payloads through text layers, metadata, and embedded objects.
QR Code Injection
Using QR codes as prompt injection vectors against vision-language models, encoding adversarial instructions in machine-readable formats that models decode and follow.
隱寫術載荷投遞
使用隱寫術將提示詞注入載荷藏於影像中,透過人類觀察者不可見的像素級修改投遞對抗性指令。
Typography Injection in Images
Using rendered text with specific fonts, styles, and typographic techniques in images to inject prompts into vision-language models while evading detection.
Video Frame Injection (攻擊 導覽)
Embedding prompt injection payloads in specific video frames to attack multimodal models that process video content, exploiting temporal and visual channels simultaneously.
視覺模型攻擊詳解
Attack vision-language models through adversarial images with embedded text, perturbations, and visual trojans.
Image Steganography Injection 詳解
Walkthrough of hiding prompt injection payloads in images using steganographic techniques for vision model attacks.