What is 推論記錄分析?

為 AI 鑑識調查分析推論記錄：偵測異常模式、經 metadata 辨識越獄嘗試、token 層級分析與延遲異常偵測。

What is Prompt Log Forensics?

Forensic investigation of prompt and completion logs: reconstructing attack chains, identifying injection sources, correlating prompts with outcomes, and building attack timelines.

What is 工具呼叫鑑識?

代理工具呼叫之鑑識調查：偵測未授權工具使用、分析參數操弄證據、辨識外洩痕跡，並重建代理動作鏈。

AI 系統記錄分析

Intermediate5 min readUpdated 2026-03-15

為鑑識調查之 AI 系統記錄架構：推論記錄、提示與 completion 記錄、工具呼叫軌跡、embedding 查詢記錄，與記錄基礎設施要求。

log-analysis logging forensics observability

AI 系統記錄分析

AI 系統記錄與傳統應用記錄根本不同。雖網路伺服器記錄 URL、狀態碼與時戳，AI 系統記錄必須捕捉輸入與輸出之完整語意內容——因「exploit」存在於自然語言中，非於請求 metadata。本頁涵蓋 AI 鑑識所需之記錄架構，並介紹子章節中詳述之分析技術。

AI 記錄架構

鑑識上有用之 AI 記錄架構於四層捕捉資料，每層產出不同證據類型。

四個記錄層

層	捕捉什麼	鑑識價值	範例系統
推論記錄	模型請求／回應 metadata、延遲、token 計數、參數	偵測異常模式、時間軸重建	vLLM、TGI、Triton 指標、雲端提供者記錄
提示／completion 記錄	系統提示、使用者訊息與模型回應之完整文字	攻擊 payload 分析、影響評估	應用層記錄、提示管理平台
工具呼叫記錄	代理工具呼叫、參數、結果與授權脈絡	偵測未授權動作、追蹤橫向移動	LangChain callback、代理框架記錄
Embedding／檢索記錄	向量查詢、相似度分數、檢索之文件 ID 與內容	偵測 RAG 操弄、辨識資料暴露範圍	向量資料庫查詢記錄、檢索管線記錄

記錄架構圖

典型 AI 系統於請求流之多點具記錄機會：

User Request
    │
    ├─→ [API Gateway Log] ─── authentication, rate limits, IP
    │
    ├─→ [Application Log] ─── session context, user identity
    │
    ├─→ [Prompt Assembly Log] ─── system prompt + user input + RAG context
    │
    ├─→ [Safety Classifier Log] ─── input classification, scores
    │
    ├─→ [Inference Log] ─── model version, parameters, latency, tokens
    │
    ├─→ [Output Classifier Log] ─── output classification, scores
    │
    ├─→ [Tool Call Log] ─── tool name, parameters, results
    │
    └─→ [Completion Log] ─── final response delivered to user

每點捕捉不同證據。鑑識完整架構於所有這些點記錄。

推論記錄

推論記錄由模型服務層產出並含每次模型呼叫之 metadata。

關鍵欄位

欄位	描述	鑑識使用
`request_id`	推論請求之唯一識別碼	跨記錄層關聯
`timestamp`	請求與回應之時間	時間軸重建
`model_id`	服務請求之確切模型版本	決定事件期間何模型活動
`input_tokens`	輸入 token 數	偵測異常大之輸入（填塞攻擊）
`output_tokens`	輸出 token 數	偵測異常大之輸出（資料外洩）
`latency_ms`	自請求至第一／最後 token 之時間	偵測異常處理（對抗輸入可造成延遲飆升）
`temperature`	使用之取樣溫度	決定可重現性預期
`top_p` / `top_k`	取樣參數	評估輸出分布特徵
`finish_reason`	生成停止原因（長度、stop token、內容過濾器）	偵測內容過濾器介入
`status_code`	成功或錯誤	辨識可能指示攻擊嘗試之失敗請求

關於詳細分析技術，見推論記錄分析。

提示與 Completion 記錄

提示與 completion 記錄捕捉使用者與模型間交換之實際內容。這些為系統中鑑識最有價值且最敏感之記錄。

內容結構

完整提示／completion 記錄項應捕捉：

{
  "request_id": "req_abc123",
  "timestamp": "2026-03-15T14:32:07Z",
  "session_id": "sess_xyz789",
  "user_id": "user_42",
  "messages": [
    {
      "role": "system",
      "content": "[full system prompt text]",
      "hash": "sha256:a1b2c3..."
    },
    {
      "role": "user",
      "content": "[full user message]"
    },
    {
      "role": "assistant",
      "content": "[full model response]"
    }
  ],
  "completion_tokens": 847,
  "prompt_tokens": 1203,
  "model": "model-name-v2.1",
  "safety_scores": {
    "input": { "category": "safe", "score": 0.02 },
    "output": { "category": "safe", "score": 0.05 }
  }
}

隱私與合規考量

記錄完整提示與 completion 內容造就顯著隱私義務：

關切	緩解	權衡
使用者輸入中之 PII	於儲存前之 PII 偵測與編輯管線	編輯之內容可能失去鑑識價值
法規合規	資料保留政策、存取控制、靜態加密	加入基礎設施複雜度
儲存成本	具熱／溫／冷層之分層儲存；保留限制	較舊資料可能不可用於調查
存取控制	以角色為本之存取；記錄存取之稽核記錄	加入操作開銷
使用者同意	關於記錄之清楚服務條款	需法律審查

關於調查技術，見提示記錄鑑識。

工具呼叫記錄

於代理 AI 系統中，模型呼叫外部工具——搜尋引擎、資料庫、API、程式碼執行器、檔案系統。工具呼叫記錄對決定模型於事件期間採取之現實世界動作關鍵。

關鍵欄位

欄位	描述	鑑識使用
`tool_name`	哪個工具被呼叫	辨識未授權工具使用
`parameters`	傳至工具之引數	偵測參數操弄或資料外洩嘗試
`result`	返回模型之工具輸出	決定模型接收何資訊
`authorization`	呼叫是否被授權	辨識權限繞過
`execution_time`	工具呼叫花費多久	偵測異常執行模式
`parent_request_id`	觸發呼叫之推論請求	將工具呼叫與提示關聯

關於調查技術，見工具呼叫鑑識。

Embedding 與檢索記錄

RAG 系統於為相關文件搜尋向量資料庫時產生查詢記錄。這些記錄揭示模型具對何資訊之存取及何資料可能被暴露。

關鍵欄位

欄位	描述	鑑識使用
`query_embedding`	查詢之向量表徵	偵測對抗 embedding 操弄
`query_text`	為檢索被 embedding 之文字	理解模型在尋找什麼
`retrieved_doc_ids`	返回之文件 ID	決定何資料於模型之脈絡中
`similarity_scores`	每個結果之相關性分數	偵測異常檢索（低相關性文件被返回）
`collection`	哪個文件集合被查詢	辨識多租戶系統中之跨租戶檢索
`filters_applied`	使用之任何 metadata 過濾器	決定存取控制是否被執行

要注意之記錄缺口

阻止鑑識調查之常見記錄缺口：

缺口	影響	補救
無內容記錄	無法決定何被問及或回答	以隱私控制實作提示／completion 記錄
無系統提示版本控制	無法決定模型遵循何指令	以時戳版本控制所有系統提示
無工具呼叫記錄	無法決定模型採取何動作	加入記錄 callback 至代理框架
無安全分類器分數	無法決定安全系統是否偵測到事件	即便為「安全」分類記錄分類器輸出
無 RAG 檢索記錄	無法決定模型存取何資料	以結果記錄向量資料庫查詢
短保留期	證據可能於調查開始前被刪除	為 AI 記錄實作最少 90 日保留
無關聯 ID	無法跨層連結記錄	經所有記錄層傳播請求 ID

記錄儲存與保留

記錄類型	推薦保留	儲存層	存取控制
推論 metadata	1 年	溫（索引、可查詢）	工程 + 安全
提示／completion 內容	90 日熱、1 年冷	熱 → 冷遷移	僅安全 + 法律
工具呼叫記錄	1 年	溫	工程 + 安全
Embedding／檢索記錄	90 日	溫	工程 + 安全
安全分類器記錄	1 年	溫	安全

章節概觀

子章節	聚焦	回答之關鍵問題
推論記錄分析	偵測推論 metadata 中之異常	於 token 計數、延遲或請求量中有異常模式嗎？
提示記錄鑑識	調查提示與 completion 內容	使用何攻擊？模型如何回應？攻擊鏈為何？
工具呼叫鑑識	調查代理工具使用	模型採取未授權動作嗎？資料經工具外洩嗎？

參考資料

"NIST SP 800-92: Guide to Computer Security Log Management" - NIST（2006）- 為 AI 系統適配之記錄管理原則
"OpenTelemetry Semantic Conventions for GenAI" - OpenTelemetry（2025）- 為生成 AI 之標準化記錄慣例
"OWASP Logging Guide" - OWASP Foundation（2025）- 安全記錄最佳實踐

Knowledge Check

何記錄缺口最關鍵地阻止 AI 事件調查？

AI 系統記錄分析

Intermediate5 min readUpdated 2026-03-15

為鑑識調查之 AI 系統記錄架構：推論記錄、提示與 completion 記錄、工具呼叫軌跡、embedding 查詢記錄，與記錄基礎設施要求。

log-analysis logging forensics observability

AI 系統記錄分析

AI 記錄架構

鑑識上有用之 AI 記錄架構於四層捕捉資料，每層產出不同證據類型。

四個記錄層

層	捕捉什麼	鑑識價值	範例系統
推論記錄	模型請求／回應 metadata、延遲、token 計數、參數	偵測異常模式、時間軸重建	vLLM、TGI、Triton 指標、雲端提供者記錄
提示／completion 記錄	系統提示、使用者訊息與模型回應之完整文字	攻擊 payload 分析、影響評估	應用層記錄、提示管理平台
工具呼叫記錄	代理工具呼叫、參數、結果與授權脈絡	偵測未授權動作、追蹤橫向移動	LangChain callback、代理框架記錄
Embedding／檢索記錄	向量查詢、相似度分數、檢索之文件 ID 與內容	偵測 RAG 操弄、辨識資料暴露範圍	向量資料庫查詢記錄、檢索管線記錄

記錄架構圖

典型 AI 系統於請求流之多點具記錄機會：

User Request
    │
    ├─→ [API Gateway Log] ─── authentication, rate limits, IP
    │
    ├─→ [Application Log] ─── session context, user identity
    │
    ├─→ [Prompt Assembly Log] ─── system prompt + user input + RAG context
    │
    ├─→ [Safety Classifier Log] ─── input classification, scores
    │
    ├─→ [Inference Log] ─── model version, parameters, latency, tokens
    │
    ├─→ [Output Classifier Log] ─── output classification, scores
    │
    ├─→ [Tool Call Log] ─── tool name, parameters, results
    │
    └─→ [Completion Log] ─── final response delivered to user

每點捕捉不同證據。鑑識完整架構於所有這些點記錄。

推論記錄

推論記錄由模型服務層產出並含每次模型呼叫之 metadata。

關鍵欄位

欄位	描述	鑑識使用
`request_id`	推論請求之唯一識別碼	跨記錄層關聯
`timestamp`	請求與回應之時間	時間軸重建
`model_id`	服務請求之確切模型版本	決定事件期間何模型活動
`input_tokens`	輸入 token 數	偵測異常大之輸入（填塞攻擊）
`output_tokens`	輸出 token 數	偵測異常大之輸出（資料外洩）
`latency_ms`	自請求至第一／最後 token 之時間	偵測異常處理（對抗輸入可造成延遲飆升）
`temperature`	使用之取樣溫度	決定可重現性預期
`top_p` / `top_k`	取樣參數	評估輸出分布特徵
`finish_reason`	生成停止原因（長度、stop token、內容過濾器）	偵測內容過濾器介入
`status_code`	成功或錯誤	辨識可能指示攻擊嘗試之失敗請求

關於詳細分析技術，見推論記錄分析。

提示與 Completion 記錄

提示與 completion 記錄捕捉使用者與模型間交換之實際內容。這些為系統中鑑識最有價值且最敏感之記錄。

內容結構

完整提示／completion 記錄項應捕捉：

{
  "request_id": "req_abc123",
  "timestamp": "2026-03-15T14:32:07Z",
  "session_id": "sess_xyz789",
  "user_id": "user_42",
  "messages": [
    {
      "role": "system",
      "content": "[full system prompt text]",
      "hash": "sha256:a1b2c3..."
    },
    {
      "role": "user",
      "content": "[full user message]"
    },
    {
      "role": "assistant",
      "content": "[full model response]"
    }
  ],
  "completion_tokens": 847,
  "prompt_tokens": 1203,
  "model": "model-name-v2.1",
  "safety_scores": {
    "input": { "category": "safe", "score": 0.02 },
    "output": { "category": "safe", "score": 0.05 }
  }
}

隱私與合規考量

記錄完整提示與 completion 內容造就顯著隱私義務：

關切	緩解	權衡
使用者輸入中之 PII	於儲存前之 PII 偵測與編輯管線	編輯之內容可能失去鑑識價值
法規合規	資料保留政策、存取控制、靜態加密	加入基礎設施複雜度
儲存成本	具熱／溫／冷層之分層儲存；保留限制	較舊資料可能不可用於調查
存取控制	以角色為本之存取；記錄存取之稽核記錄	加入操作開銷
使用者同意	關於記錄之清楚服務條款	需法律審查

關於調查技術，見提示記錄鑑識。

工具呼叫記錄

關鍵欄位

欄位	描述	鑑識使用
`tool_name`	哪個工具被呼叫	辨識未授權工具使用
`parameters`	傳至工具之引數	偵測參數操弄或資料外洩嘗試
`result`	返回模型之工具輸出	決定模型接收何資訊
`authorization`	呼叫是否被授權	辨識權限繞過
`execution_time`	工具呼叫花費多久	偵測異常執行模式
`parent_request_id`	觸發呼叫之推論請求	將工具呼叫與提示關聯

關於調查技術，見工具呼叫鑑識。

Embedding 與檢索記錄

RAG 系統於為相關文件搜尋向量資料庫時產生查詢記錄。這些記錄揭示模型具對何資訊之存取及何資料可能被暴露。

關鍵欄位

欄位	描述	鑑識使用
`query_embedding`	查詢之向量表徵	偵測對抗 embedding 操弄
`query_text`	為檢索被 embedding 之文字	理解模型在尋找什麼
`retrieved_doc_ids`	返回之文件 ID	決定何資料於模型之脈絡中
`similarity_scores`	每個結果之相關性分數	偵測異常檢索（低相關性文件被返回）
`collection`	哪個文件集合被查詢	辨識多租戶系統中之跨租戶檢索
`filters_applied`	使用之任何 metadata 過濾器	決定存取控制是否被執行

要注意之記錄缺口

阻止鑑識調查之常見記錄缺口：

缺口	影響	補救
無內容記錄	無法決定何被問及或回答	以隱私控制實作提示／completion 記錄
無系統提示版本控制	無法決定模型遵循何指令	以時戳版本控制所有系統提示
無工具呼叫記錄	無法決定模型採取何動作	加入記錄 callback 至代理框架
無安全分類器分數	無法決定安全系統是否偵測到事件	即便為「安全」分類記錄分類器輸出
無 RAG 檢索記錄	無法決定模型存取何資料	以結果記錄向量資料庫查詢
短保留期	證據可能於調查開始前被刪除	為 AI 記錄實作最少 90 日保留
無關聯 ID	無法跨層連結記錄	經所有記錄層傳播請求 ID

記錄儲存與保留

記錄類型	推薦保留	儲存層	存取控制
推論 metadata	1 年	溫（索引、可查詢）	工程 + 安全
提示／completion 內容	90 日熱、1 年冷	熱 → 冷遷移	僅安全 + 法律
工具呼叫記錄	1 年	溫	工程 + 安全
Embedding／檢索記錄	90 日	溫	工程 + 安全
安全分類器記錄	1 年	溫	安全

章節概觀

子章節	聚焦	回答之關鍵問題
推論記錄分析	偵測推論 metadata 中之異常	於 token 計數、延遲或請求量中有異常模式嗎？
提示記錄鑑識	調查提示與 completion 內容	使用何攻擊？模型如何回應？攻擊鏈為何？
工具呼叫鑑識	調查代理工具使用	模型採取未授權動作嗎？資料經工具外洩嗎？

參考資料

"NIST SP 800-92: Guide to Computer Security Log Management" - NIST（2006）- 為 AI 系統適配之記錄管理原則
"OpenTelemetry Semantic Conventions for GenAI" - OpenTelemetry（2025）- 為生成 AI 之標準化記錄慣例
"OWASP Logging Guide" - OWASP Foundation（2025）- 安全記錄最佳實踐

Knowledge Check

何記錄缺口最關鍵地阻止 AI 事件調查？

AI 系統記錄分析

AI 系統記錄分析

AI 記錄架構

四個記錄層

記錄架構圖

推論記錄

關鍵欄位

提示與 Completion 記錄

內容結構

隱私與合規考量

工具呼叫記錄

關鍵欄位

Embedding 與檢索記錄

關鍵欄位

要注意之記錄缺口

記錄儲存與保留

章節概觀

相關主題

參考資料

Learning Path

AI 系統記錄分析

AI 系統記錄分析

AI 記錄架構

四個記錄層

記錄架構圖

推論記錄

關鍵欄位

提示與 Completion 記錄

內容結構

隱私與合規考量

工具呼叫記錄

關鍵欄位

Embedding 與檢索記錄

關鍵欄位

要注意之記錄缺口

記錄儲存與保留

章節概觀

相關主題

參考資料

Learning Path

AI 系統記錄分析

Learning Path

Related articles

AI 系統記錄分析

Learning Path

Related articles