語意空間注入研究

研究在語意嵌入空間而非符元空間中運作的注入 — 直接利用已學到的表徵。

概述

研究在語意嵌入空間而非符元空間中運作的注入 — 直接利用已學到的表徵。

本主題對理解當前 AI 安全態勢至關重要。Hubinger et al. 2024 — "Sleeper Agents: Training Deceptive LLMs That Persist Through Safety Training" 為本文探討的概念奠定基礎脈絡。

核心概念

安全意涵源自現代語言模型設計、訓練與部署方式的根本性質。語意空間注入不依賴特定符元序列,而是透過在嵌入空間中尋找與有害指令「語意相近」的良性文字,或利用 RAG 檢索機制將對抗性嵌入植入相似度高的區域,間接改變模型輸出。

基本原則

此類漏洞核心機制發生在「遵循指令能力」與「無法認證指令來源」的交互上,並進一步利用嵌入空間的拓撲性質:相似嵌入會被模型以類似方式處理,因此語意等價的良性形式可繞過符元層過濾並觸發與有害輸入相同的內部啟動。

from openai import OpenAI
 
client = OpenAI()
 
def demonstrate_concept(system_prompt: str, user_input: str) -> str:
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_input},
        ],
        temperature=0.0,
    )
    return response.choices[0].message.content
 
baseline = demonstrate_concept(
    system_prompt="You are a helpful assistant that only discusses cooking.",
    user_input="What is the capital of France?",
)
print(f"Baseline: {baseline}")

技術深入

Transformer 架構透過多頭自注意力與前饋網路分層處理序列。嵌入空間是連續的高維流形,具有眾多語意等價的方向。攻擊者可透過嵌入相似度搜尋找到繞過過濾器的等價表達,或對向量資料庫植入高相似度的對抗性文件。

攻擊面分析

實用技術

載荷構造

在嵌入空間中,攻擊者可先計算惡意指令的嵌入,再以 cosine 相似度搜尋產生視覺上無害但語意近似的替代表達,作為載荷。

自動化測試

test_injection_batch 以 asyncio.Semaphore 控制並行,對每個載荷 POST 至目標,以指標詞檢查回應。語意空間攻擊的評估應另加入嵌入相似度比對。

防禦考量

輸入層防禦

以次級模型內容分類、結構化輸入格式驗證、長度上限、編碼正規化、速率限制。對 RAG 系統應加入嵌入層異常偵測與檢索結果的二次驗證。

架構防護

權限分離、工具執行沙箱化、次級分類器輸出過濾、稽核日誌。

測試方法論

自動化測試

description: "Semantic Space Injection Security Assessment"
providers:
  - id: openai:gpt-4o
    config:
      temperature: 0
 
tests:
  - description: "Baseline"
    vars:
      input: "Normal user request"
    assert:
      - type: not-contains
        value: "SYSTEM PROMPT"

真實世界範例與案例研究

Bing Chat 間接注入 (2023)、ChatGPT 外掛利用、Google Gemini 透過 Google Docs 注入均為真實案例。RAG 向量資料庫投毒已在多份研究中被示範。

進階主題

跨架構轉移

跨多個模型架構皆奏效的注入技術屬最危險類別。Zou et al. 的 GCG 攻擊展示對抗性後綴的跨模型轉移性。

新興攻擊向量

多模態注入利用文字與其他模態的交互。語意空間注入進一步延伸至「嵌入層對抗性擾動」— 直接對向量資料庫中的嵌入做擾動。

營運考量

約戰範疇界定

關鍵問題:模型可存取何種資料?可採取何種行動?時間盒約戰建議 20% 偵察、50% 測試、15% 分析、15% 報告。

文件與報告

每項發現必須含可獨立重現的細節。修補建議應可執行並排定優先順序。

參考文獻

• Hubinger et al. 2024 — "Sleeper Agents: Training Deceptive LLMs That Persist Through Safety Training"
• Zou et al. 2023 — "Universal and Transferable Adversarial Attacks on Aligned Language Models"
• Qi et al. 2024 — "Fine-tuning Aligned Language Models Compromises Safety"
• Inspect AI (UK AISI) — github.com/UKGovernmentBEIS/inspect_ai