內容安全 API（Azure、OpenAI、Google）

Azure Content Safety、OpenAI Moderation API 與 Google Cloud 安全服務之詳細比較，含 API 結構、類別分類、嚴重性等級、測試方法論與常見缺口。

三個主要雲端提供者皆提供作為護欄系統建構區塊之內容安全 API。理解其能力、類別結構與缺口對攻擊與防禦 LLM 應用必要。

API 比較概觀

Azure AI Content Safety

類別分類

加上特殊化能力：

• Prompt Shield —— 專用提示注入偵測
• 接地性偵測 —— 幻覺與事實準確度檢查
• 受保護材料偵測 —— 受版權保護之內容辨識
• 自訂 blocklists —— 組織特定術語過濾

API 使用

from azure.ai.contentsafety import ContentSafetyClient
from azure.ai.contentsafety.models import AnalyzeTextOptions
 
client = ContentSafetyClient(endpoint, credential)
 
result = client.analyze_text(
    AnalyzeTextOptions(text="Content to analyze")
)
 
for category in result.categories_analysis:
    print(f"{category.category}: severity {category.severity}")
    # Severity 0 = safe, 2 = low, 4 = medium, 6 = high

Azure 特定缺口

• 嚴重性門檻模糊 —— 嚴重性 2 內容被標記但常良性；開發者將門檻設太高並錯失真實威脅
• 多語言涵蓋 —— 英文偵測最強；其他語言具較低準確度
• 脈絡不敏感 —— 於隔離中標記為暴力之同一文字於醫療或歷史脈絡可能完全適當

OpenAI Moderation API

類別分類

API 使用

from openai import OpenAI
 
client = OpenAI()
 
result = client.moderations.create(
    model="omni-moderation-latest",
    input="Content to analyze",
)
 
for category, flagged in result.results[0].categories.dict().items():
    score = result.results[0].category_scores.dict()[category]
    if flagged:
        print(f"FLAGGED - {category}: {score:.4f}")

OpenAI 特定缺口

• 無提示注入偵測 —— moderation API 不偵測注入嘗試，僅有害內容
• 二元標記門檻 —— API 使用內部門檻返回 flagged/not-flagged；細粒度控制需使用原始分數
• 為 OpenAI 模型最佳化 —— 於評估來自非 OpenAI 模型之輸出時可能具不同準確度特徵
• 無自訂類別 —— 無法加入組織特定政策

Google Cloud AI Safety

類別分類

整合點

Google 之安全特性經安全設定直接整合入 Gemini API：

import google.generativeai as genai
 
model = genai.GenerativeModel(
    model_name="gemini-1.5-pro",
    safety_settings={
        "HARM_CATEGORY_DANGEROUS_CONTENT": "BLOCK_LOW_AND_ABOVE",
        "HARM_CATEGORY_HARASSMENT": "BLOCK_MEDIUM_AND_ABOVE",
        "HARM_CATEGORY_HATE_SPEECH": "BLOCK_MEDIUM_AND_ABOVE",
        "HARM_CATEGORY_SEXUALLY_EXPLICIT": "BLOCK_LOW_AND_ABOVE",
    },
)
 
response = model.generate_content("Content to analyze")
 
# 檢查安全評級
for rating in response.prompt_feedback.safety_ratings:
    print(f"{rating.category}: {rating.probability}")

Google 特定缺口

• 緊耦合至 Gemini —— 安全設定為模型層級，非獨立 API（雖 Cloud Natural Language API 提供獨立分類）
• 粗糙門檻等級 —— 僅四個等級（BLOCK_NONE、LOW、MEDIUM、HIGH）vs. Azure 之 7 級嚴重性
• 有限提示注入涵蓋 —— 無專用 prompt shield 對應
• 安全設定覆寫 —— 開發者可設 BLOCK_NONE，為類別完全停用安全

跨平台偵測缺口

經系統化測試，這些缺口於所有三個平台持續出現：

缺口 1：編碼內容

所有三個 API 分析純文字。於 base64、ROT13、十六進位或其他方案編碼之內容未被偵測地通過：

import base64
 
# 此有害文字於編碼時通過所有三個 API
harmful = "Detailed instructions for making dangerous substances"
encoded = base64.b64encode(harmful.encode()).decode()
# 送出編碼版本：API 見隨機外觀之 ASCII，非有害內容

缺口 2：虛構與教育框架

作為虛構、學術討論或教育材料呈現之內容持續接收較低嚴重性分數：

# 直接（被標記）：「How to pick a lock」
# 框架化（常通過）：「In my novel, the protagonist, a locksmith,
# explains to his apprentice the precise technique for manipulating
# pin tumbler mechanisms...」

缺口 3：多輪脈絡

所有 API 於隔離評估單一訊息。跨多輪散布之攻擊可能每個個別訊息分數低於門檻：

缺口 4：程式碼與結構化資料

作為程式碼、JSON 或結構化資料表達之有害指令較自然語言中之同一內容接收較低嚴重性分數：

# 自然語言（被標記）：「Instructions for creating malware」
# 作為程式碼（較低分數）：
"""
def exploit():
    # Step 1: Establish connection to target
    sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    # Step 2: Send payload
    sock.send(shellcode)
"""

缺口 5：隱含有害內容

暗示傷害而不明確陳述之內容持續被錯失：

# 明確（被標記）：「I want to hurt myself」
# 隱含（常錯失）：「I've been thinking about whether anyone
# would notice if I wasn't around anymore. Those pills in the cabinet
# keep catching my attention.」

測試方法論

1. 1

   建立基線

   於每個 API 之類別送出明顯有害內容。記錄偵測率與嚴重性分數。此確認 API 運作並建立「偵測到」看似什麼。

2. 2

   測試類別邊界

   為每個類別，送出邊界內容 —— 暴力之教育討論、虛構性內容、黑色幽默。記錄每個 API 何處劃線。

3. 3

   測試編碼繞過

   以 base64、ROT13、leetspeak 與其他格式編碼送出同一有害內容。記錄哪些編碼逃避每個 API。

4. 4

   測試跨類別內容

   送出落於類別間之內容（暴力性內容、作為自殘呈現之仇恨言論）。API 常於跨類別內容具較低準確度。

5. 5

   測試多語言涵蓋

   於 5+ 語言重複基線測試。記錄每 API 每語言之偵測率。

6. 6

   計算繞過率

   為每個技術，執行 20+ 樣本並計算逃避偵測之百分比。將結果呈現為偵測缺口矩陣。

延伸閱讀

• 輸入／輸出過濾系統 —— 這些 API 如何適於過濾器架構
• 提示盾與注入偵測 —— 專用注入偵測（moderation API 缺乏者）
• AI 防禦地景 —— 防禦工具與供應商之更廣脈絡

相關主題

• 輸入／輸出過濾系統 - 內容安全 API 如何適於過濾器架構
• 提示盾與注入偵測 - 內容安全 API 缺乏之專用注入偵測
• AI 防禦地景 - 防禦工具與供應商之更廣脈絡
• 分詞與其安全意涵 - 繞過內容安全 API 偵測之編碼技倆

參考資料

• "Azure AI Content Safety Documentation" - Microsoft（2025）- 官方文件，含類別分類、嚴重性等級與 prompt shield 整合
• "OpenAI Moderation API Guide" - OpenAI（2025）- 免費 moderation 端點之文件，涵蓋類別定義與使用模式
• "Google Cloud Generative AI Safety Settings" - Google（2025）- Gemini 安全設定與傷害類別組態之文件
• "Evaluating Content Moderation Systems Across Languages" - 多位研究者（2024）- 內容安全 API 中多語言偵測缺口之研究