AI 地景：紅隊員地圖

主要模型、提供者、部署模式，與自硬體至應用之 AI 堆疊——為當前 AI 生態系中之紅隊員定向。

為何地景重要

你能攻擊 AI 系統前，需理解你在看什麼。AI 生態系分層、碎片化且快速演化。「聊天機器人」可能經 Azure OpenAI Service 執行 GPT-4、以專有資料微調、以 LangChain 編排層包裝、於 Next.js 前端後。每層引入其自身攻擊面，而理解地景助你辨識哪些層存在及哪些值得針對。

AI 堆疊

現代 AI 堆疊具五個不同層，每層具其自身安全考量：

┌─────────────────────────────────────────┐
│         Application Layer               │
│  (UI, business logic, user management)  │
├─────────────────────────────────────────┤
│         Orchestration Layer             │
│  (LangChain, LlamaIndex, custom code)  │
├─────────────────────────────────────────┤
│         Model Layer                     │
│  (GPT-4, Claude, Llama, Gemini)        │
├─────────────────────────────────────────┤
│         Infrastructure Layer            │
│  (APIs, hosting, scaling, monitoring)   │
├─────────────────────────────────────────┤
│         Hardware Layer                  │
│  (GPUs, TPUs, cloud compute)           │
└─────────────────────────────────────────┘

硬體層

AI 計算之基礎。多數 AI 工作負載於專用硬體執行：

紅隊相關性：硬體層攻擊罕見但高影響。共享 GPU 基礎設施之側通道攻擊、加速器韌體之供應鏈攻擊，與利用硬體限制之資源耗盡攻擊皆可能，但需專門專業。

基礎設施層

模型於何處託管並服務。此含雲端提供者、推論引擎與支援服務。

紅隊相關性：API 身分驗證缺陷、速率限制繞過、模型端點列舉、推論引擎漏洞，與共享託管環境中之容器逃逸。

模型層

AI 模型本身——任何 AI 系統之核心智能。

紅隊相關性：越獄、提示注入、模型提取、訓練資料提取、對抗範例、對齊繞過。見 模型類型與攻擊面。

編排層

連接模型至資料、工具與彼此之軟體。此為多數 AI 應用複雜度所在。

紅隊相關性：經 RAG 管線之提示注入、工具濫用、代理操弄、思維鏈劫持，與記憶體投毒。編排層常為最弱環節，因其為功能而非安全而建。

應用層

面向使用者之層——人類實際互動之產品。

• 聊天介面：客戶支援、編碼助手、通用聊天機器人
• API：為基於 AI 服務建立之開發者之程式化存取
• 嵌入式 AI：現有產品內之 AI 特性（email 撰寫、文件摘要）
• 自主代理：代表使用者採取動作之 AI 系統（預訂、研究、編碼）

紅隊相關性：傳統網路應用漏洞（XSS、CSRF、身分驗證缺陷），加上如使用者會話操弄與經共享模型狀態之跨使用者資料洩漏之 AI 特定風險。

提供者生態系

理解誰建立、託管並部署 AI 系統揭示紅隊員可利用之信任邊界。

模型提供者

這些組織訓練並提供基礎模型：

• OpenAI：GPT 家族、DALL-E、Whisper。經其自身 API 與 Azure 分發。
• Anthropic：Claude 家族。經其自身 API、AWS Bedrock 與 Google Cloud 分發。
• Google：Gemini 家族、PaLM。經 Google Cloud 與直接 API 分發。
• Meta：Llama 家族。經 Hugging Face 與多個主機分發之開放權重模型。
• Mistral AI：Mistral 與 Mixtral 模型。經其自身 API、Azure 與 AWS 分發。
• Cohere：Command 家族。聚焦企業搜尋與 RAG 應用。

平台提供者

這些組織託管並服務模型，常具額外服務：

• 雲端超大規模者（AWS、Azure、GCP）：以企業安全特性提供受管 AI 服務
• 專門推論提供者（Together、Replicate、Anyscale）：為推論速度與成本最佳化
• 模型註冊表（Hugging Face）：託管並分發模型與資料集

應用建立者

這些組織使用 AI 模型與平台建立產品：

• 垂直 SaaS：領域特定軟體中嵌入之 AI 特性（法律、醫療、財務）
• 水平工具：通用 AI 助手、編碼工具、內容建立工具
• 企業整合：加入現有企業工作流程之 AI（CRM、ERP、協作）

影響安全之現行趨勢

AI 地景中之數個現行趨勢直接影響紅隊優先度：

趨勢 1：多模態擴展

模型日益同時處理文字、圖像、音訊、視訊與程式碼。每個模態引入新攻擊面——對抗圖像、音訊提示注入，與結合模態繞過單模態防禦之跨模態攻擊。

趨勢 2：代理式 AI

模型獲得使用工具、瀏覽網路、執行程式碼，與於現實世界採取動作之能力。代理系統大幅擴展成功攻擊之爆炸半徑，自「模型說了不好的」至「模型做了不好的」。

趨勢 3：模型商品化

開放權重模型趨近封閉模型效能，使任何人更易部署強力 AI。此民主化有益使用與對抗能力兩者。

趨勢 4：經微調之特殊化

組織日益為特定領域微調基礎模型。微調可弱化安全訓練，而微調模型常較其基礎版本具較不穩健之對齊。

趨勢 5：邊緣部署

於手機、筆電與 IoT 裝置上本地執行之模型於提供者控制之外。邊緣部署之模型無法依賴伺服器端護欄、速率限制或監控。

相關主題

• 模型類型與攻擊面 —— 不同模型架構之安全意涵
• 部署模式 —— 部署選擇如何影響安全
• AI API 生態系 —— 身分驗證與存取模式
• 開放 vs 封閉模型 —— 模型可用性之安全權衡
• AI 系統架構 —— 深入系統層級架構

參考資料

• "State of AI Report 2025" - Benaich & Hogarth（2025）- AI 業界地景、關鍵參與者與趨勢之年度完整分析
• "The AI Index Report" - Stanford HAI（2025）- 跨全球生態系之 AI 進展、採用與政策資料驅動分析
• "MLOps: Continuous Delivery for Machine Learning" - Google（2024）- 支援生產 AI 系統之基礎設施與操作實踐概觀
• "OWASP AI Security and Privacy Guide" - OWASP（2025）- 按 AI 系統元件與生命週期階段組織之安全考量