注入偵測研究

注入偵測的前沿研究,包括困惑度法、分類器方法與集成技術。

概述

注入偵測的前沿研究,包括困惑度法、分類器方法與集成技術。

本主題對理解當前 AI 安全態勢至關重要。Hubinger et al. 2024 — "Sleeper Agents: Training Deceptive LLMs That Persist Through Safety Training" 為本文探討的概念奠定基礎脈絡。

核心概念

安全意涵源自現代語言模型設計、訓練與部署方式的根本性質。語言模型對所有輸入符元透過相同注意力與前饋機制處理,使不同來源皆在同一表徵空間競逐注意力,安全邊界必須由外部強制。

基本原則

此類漏洞核心機制發生在「遵循指令能力」與「無法認證指令來源」的交互上。攻防不對稱:防禦者須預見所有可能對抗性輸入,攻擊者只需找到一條成功路徑。

from openai import OpenAI
 
client = OpenAI()
 
def demonstrate_concept(system_prompt: str, user_input: str) -> str:
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_input},
        ],
        temperature=0.0,
    )
    return response.choices[0].message.content
 
baseline = demonstrate_concept(
    system_prompt="You are a helpful assistant that only discusses cooking.",
    user_input="What is the capital of France?",
)
print(f"Baseline: {baseline}")

技術深入

Transformer 架構透過多頭自注意力與前饋網路分層處理序列。符元層次分析顯示模型基於位置、格式與語意內容賦予符元不同隱性信任。

攻擊面分析

實用技術

載荷構造

多層編碼載荷可繞過輸入過濾器。construct_encoded_payload 接受指令與編碼鏈(base64、unicode、hex、rot13),依序套用形成多層載荷。

自動化測試

test_injection_batch 以 asyncio.Semaphore 控制並行,對每個載荷 POST 至目標 URL,以指標詞檢查回應。

防禦考量

輸入層防禦

以次級模型內容分類、結構化輸入格式驗證、長度上限、編碼正規化、速率限制。

架構防護

權限分離、工具執行沙箱化、次級分類器輸出過濾、稽核日誌。

測試方法論

自動化測試

兩階段:廣泛自動掃描辨識候選漏洞,再以聚焦人工測試確認。

description: "Injection Detection Research Security Assessment"
providers:
  - id: openai:gpt-4o
    config:
      temperature: 0
 
tests:
  - description: "Baseline"
    vars:
      input: "Normal user request"
    assert:
      - type: not-contains
        value: "SYSTEM PROMPT"

真實世界範例與案例研究

Bing Chat 間接注入 (2023)、ChatGPT 外掛利用、Google Gemini 透過 Google Docs 注入均為真實案例。

進階主題

跨架構轉移

跨多個模型架構皆奏效的注入技術屬最危險類別。Zou et al. 的 GCG 攻擊展示對抗性後綴的跨模型轉移性。

新興攻擊向量

多模態注入利用文字與其他模態的交互。代理中介注入透過工具輸出與多步推理鏈間接注入指令。

營運考量

約戰範疇界定

關鍵問題:模型可存取何種資料?可採取何種行動?時間盒約戰建議 20% 偵察、50% 測試、15% 分析、15% 報告。

文件與報告

每項發現必須含可獨立重現的細節。修補建議應可執行並排定優先順序。

參考文獻

• Hubinger et al. 2024 — "Sleeper Agents: Training Deceptive LLMs That Persist Through Safety Training"
• Zou et al. 2023 — "Universal and Transferable Adversarial Attacks on Aligned Language Models"
• HarmBench — Standardized Evaluation Framework
• Inspect AI (UK AISI) — github.com/UKGovernmentBEIS/inspect_ai