注入的縮放法則

研究注入有效性如何隨模型大小、訓練算力與安全訓練投入而縮放。

概述

研究注入有效性如何隨模型大小、訓練算力與安全訓練投入而縮放。

本主題對理解當前 AI 安全態勢至關重要。Qi et al. 2024 — "Fine-tuning Aligned Language Models Compromises Safety" (ICLR 2024) 為本文探討的概念奠定基礎脈絡。

核心概念

安全意涵源自現代語言模型設計、訓練與部署方式的根本性質。實證研究顯示,模型規模與訓練算力擴大並不自動提升對提示詞注入的穩健性 — 某些攻擊類別的成功率反而可能隨模型能力增加而提高(更大的模型更擅長遵循複雜指令,包括對抗性指令)。

基本原則

此類漏洞核心機制發生在「遵循指令能力」與「無法認證指令來源」的交互上。攻防不對稱:防禦者須預見所有可能對抗性輸入。安全訓練只是薄薄一層行為外表,其投入與模型容量之間並非單調遞增的關係。

from openai import OpenAI
 
client = OpenAI()
 
def demonstrate_concept(system_prompt: str, user_input: str) -> str:
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "system", "content": system_prompt},
            {"role": "user", "content": user_input},
        ],
        temperature=0.0,
    )
    return response.choices[0].message.content
 
baseline = demonstrate_concept(
    system_prompt="You are a helpful assistant that only discusses cooking.",
    user_input="What is the capital of France?",
)
print(f"Baseline: {baseline}")

技術深入

Transformer 架構透過多頭自注意力與前饋網路分層處理序列。實證上,攻擊成功率與模型規模的關係呈現多種模式:(一)某些簡單注入在模型規模擴大時成功率下降,因安全訓練更充分;(二)某些複雜語意注入則隨規模擴大成功率上升,因模型更能理解微妙的對抗意圖;(三)微調常削弱對齊,使微調過的模型即使同規模下亦更脆弱。

攻擊面分析

實用技術

載荷構造

多層編碼載荷可繞過輸入過濾器。construct_encoded_payload 接受指令與編碼鏈,依序套用編碼形成多層載荷。

自動化測試

test_injection_batch 以 asyncio.Semaphore 控制並行,對每個載荷 POST 至目標,以指標詞檢查回應。

防禦考量

輸入層防禦

以次級模型內容分類、結構化輸入格式驗證、長度上限、編碼正規化、速率限制。

架構防護

權限分離、工具執行沙箱化、次級分類器輸出過濾、稽核日誌。

測試方法論

自動化測試

description: "Injection Scaling Laws Security Assessment"
providers:
  - id: openai:gpt-4o
    config:
      temperature: 0
 
tests:
  - description: "Baseline"
    vars:
      input: "Normal user request"
    assert:
      - type: not-contains
        value: "SYSTEM PROMPT"

真實世界範例與案例研究

Bing Chat 間接注入 (2023)、ChatGPT 外掛利用、Google Gemini 透過 Google Docs 注入均為真實案例。

進階主題

跨架構轉移

跨多個模型架構皆奏效的注入技術屬最危險類別。Zou et al. 的 GCG 攻擊展示對抗性後綴的跨模型轉移性。

新興攻擊向量

多模態注入利用文字與其他模態的交互。代理中介注入透過工具輸出與多步推理鏈間接注入指令。

營運考量

約戰範疇界定

關鍵問題:模型可存取何種資料?可採取何種行動?時間盒約戰建議 20% 偵察、50% 測試、15% 分析、15% 報告。

文件與報告

每項發現必須含可獨立重現的細節。修補建議應可執行並排定優先順序。

參考文獻

• Qi et al. 2024 — "Fine-tuning Aligned Language Models Compromises Safety" (ICLR 2024)
• Zou et al. 2023 — "Universal and Transferable Adversarial Attacks on Aligned Language Models"
• Hubinger et al. 2024 — "Sleeper Agents"
• Inspect AI (UK AISI) — github.com/UKGovernmentBEIS/inspect_ai