# infrastructure
標記為「infrastructure」的 83 篇文章
基礎設施安全評估
評估涵蓋model serving、container 安全、API gateway hardening、deployment pipeline threats。
基礎設施安全評量
以 10 道中級題目測試你對 AI 基礎設施安全的知識，包括模型服務、API 安全、部署架構與供應鏈風險。
AI 基礎設施安全評估
評估涵蓋model serving、API gateways、container 安全、GPU isolation。
技能驗證: 基礎設施安全
針對以下的實作驗證:雲端、基礎設施安全評估 skills的AI deployments。
基礎設施安全學習指南
學習指南的AI 基礎設施安全涵蓋雲端、container、deployment pipeline topics。
2026 年 6 月：雲端 AI 安全挑戰
發掘並記錄雲端部署 AI 服務中的漏洞，涵蓋 API 安全、模型服務基礎設施、認證與資料處理。
紅隊基礎設施與工具
AI 紅隊 C2 框架、自動化攻擊管線、自製掃描器開發，以及與 Cobalt Strike、Mythic、Sliver 的整合。
Building Evaluation Harnesses
Design and implement evaluation harnesses for AI red teaming: architecture patterns, judge model selection, prompt dataset management, scoring pipelines, and reproducible evaluation infrastructure.
AI API 濫用偵測
偵測並緩解針對 AI 推論端點的 API 濫用模式，涵蓋提示詞萃取與模型盜竊。
AI 基礎設施的滲透測試方法論
針對 AI/ML 系統的結構化滲透測試方法論，涵蓋偵查、漏洞評估、利用與報告撰寫。
運用 STRIDE 對 AI 基礎設施進行威脅建模
針對機器學習管線量身打造的 AI/ML 系統威脅建模方法論，使用 STRIDE、資料流圖與攻擊樹。
AI 基礎設施的零信任架構
在 ML 訓練管線、推論端點與模型登錄檔中實作並攻擊零信任原則。
AI 微服務的 Service Mesh 安全
使用 Istio、Linkerd 與 Envoy 保護 AI 系統的服務間通訊,聚焦推論管線與模型服務架構。
AI 工作負載隔離
AI 工作負載隔離的技術與實務,包含多租戶 GPU、記憶體隔離與側通道防禦。
AI 工作負載排程攻擊
針對 AI 工作負載排程器的攻擊,包含資源偏袒、DoS、資訊洩漏與排程側通道。
AI 服務的 API 閘道器安全
AI API 閘道器的安全考量,包含速率限制、認證、請求驗證與 DoS 防護。
LLM API 安全測試
LLM API 的安全測試方法論，涵蓋認證、速率限制、輸入驗證、輸出過濾與 LLM 特有的 API 漏洞。
雲端 AI 基礎設施攻擊
雲端託管 AI/ML 平台的安全評估，包含 AWS SageMaker、Azure ML 與 GCP Vertex AI——IAM 設定錯誤、模型竊取與資料暴露。
ML 工作負載的容器安全
保護容器化 ML 工作負載,包含 Docker 映像、Kubernetes Pod 與 GPU 隔離。
攻擊 AI 部署
AI 部署基礎設施的安全評估，包括容器逃逸、GPU 側通道、推論伺服器漏洞以及資源耗盡攻擊。
ML 系統的災難復原
ML 系統的災難復原策略,包含模型備份、資料可用性與失效切換規劃。
分散式訓練安全
分散式 ML 訓練的安全性,包含梯度洩漏、拜占庭節點與通訊攻擊。
DNS 重綁定對 AI 服務的攻擊
針對 AI 服務的 DNS 重綁定攻擊,包含本地 LLM 伺服器、MCP 服務與開發環境。
邊緣 AI 部署安全
邊緣 AI 部署的安全,包含模型萃取、實體攻擊與受限環境威脅。
邊緣 ML 部署安全
邊緣 ML 系統的安全挑戰,包含裝置安全、模型保護與網路限制。
聯邦學習安全
聯邦學習的安全威脅,包含拜占庭節點、梯度洩漏、後門注入與隱私攻擊。
GPU 叢集攻擊面
GPU 叢集的攻擊面分析,包含多租戶隔離、記憶體共享與排程攻擊。
GPU 叢集安全
保護用於模型訓練與推論的 GPU 叢集,抵禦未授權存取與資料外洩。
GPU 記憶體側通道
GPU 記憶體側通道攻擊,包含 L2 快取時序、記憶體殘留與跨租戶洩漏。
GPU 共享與隔離
多租戶 GPU 共享的安全隔離,包含 MIG、MPS 與 vGPU 的威脅模型。
ML 加速器的硬體安全
ML 硬體加速器(GPU、TPU、NPU)的硬體層級安全考量。
AI 基礎設施安全
AI 基礎設施安全顧慮的概覽，涵蓋模型供應鏈、API 安全、部署架構，以及 ML 系統的獨特攻擊面。
推論端點強化
AI 推論端點的安全強化,包含輸入驗證、輸出過濾與存取控制。
AI 基礎設施利用:概覽
AI 基礎設施利用的完整概覽,涵蓋常見攻擊面、威脅類別與防禦策略。
Kubeflow 安全
Kubeflow 的安全強化,包含元件認證、Pipeline 安全、Notebook 隔離與多租戶。
ML 工作負載的 Kubernetes 安全強化
用於 ML 工作負載的 Kubernetes 叢集強化,包含 RBAC、網路政策與 Pod 安全。
LLM Proxy 安全
LLM Proxy(LiteLLM、OpenRouter、內部閘道)的安全,包含認證、速率限制與濫用防禦。
ML 資料湖安全
ML 資料湖的安全考量,包含存取控制、資料血緣與隱私保護。
ML 實驗基礎設施安全
ML 實驗平台的安全,包含實驗追蹤、模型倉儲與研究者協作。
ML 管線 CI/CD 安全
ML CI/CD 管線的安全,包含程式碼簽章、Artifact 完整性與部署驗證。
ML 管線供應鏈安全
ML 管線供應鏈的安全,包含相依性掃描、模型來源與 SBOM。
MLflow 安全強化
MLflow 部署的安全強化,包含認證、Artifact 儲存、網路與 API 存取控制。
模型 Artifact 完整性
確保模型 Artifact 完整性,包含簽章、雜湊與供應鏈驗證。
模型 Artifact 安全
模型 Artifact 的安全儲存與傳輸,包含加密、存取控制與防竄改。
模型壓縮安全
模型壓縮(量化、剪枝、蒸餾)的安全意涵,包含後門保留與精度攻擊。
模型熱載入安全
模型熱載入機制的安全,包含檔案格式漏洞、反序列化與競爭條件。
模型註冊表安全
模型註冊表的安全,包含存取控制、版本管理與供應鏈攻擊防禦。
模型序列化攻擊
模型序列化格式的攻擊,包含 Pickle、ONNX、TensorFlow SavedModel 的漏洞。
模型服務自動擴展攻擊
針對模型服務自動擴展的攻擊,包含資源耗盡、冷啟動與成本攻擊。
模型服務框架比較
主要模型服務框架(Triton、TorchServe、TF Serving、vLLM、Ray Serve)的安全比較。
模型服務基礎設施攻擊
模型服務基礎設施的攻擊,包含推論劫持、請求走私與資源耗盡。
模型權重加密
模型權重加密的技術與意涵,包含靜態加密、推論加密與機密運算整合。
多雲 ML 安全
跨多雲的 ML 系統安全考量,包含資料主權、跨雲認證與威脅偵測。
AI 部署的網路安全
AI 部署的網路安全,包含分段、加密、入侵偵測與流量分析。
AI 基礎設施的可觀測性
AI 基礎設施的可觀測性與監控,包含日誌、指標與追蹤的安全意涵。
LLM API 的速率限制策略
LLM API 的速率限制策略,包含符元預算、濫用防禦與公平性。
AI 應用的機密管理
AI 應用的機密管理,包含 API 金鑰、模型權重加密與憑證輪替。
Serverless ML 安全
Serverless ML 部署的安全,包含函式隔離、冷啟動與供應商特定風險。
訓練資料的儲存安全
訓練資料的儲存安全,包含存取控制、加密、血緣與隱私。
AI 供應鏈深度探討
AI 供應鏈安全的深度探討,包含實務案例、檢測工具與成熟防禦實務。
ML 相依性的供應鏈安全
ML 相依性的供應鏈安全,包含套件來源、版本鎖定與漏洞掃描。
機密運算與 AI
機密運算(Intel SGX、AMD SEV、NVIDIA Confidential Computing)在 AI 的應用,包含模型與資料保護。
透過遙測資料的 AI 外洩
透過 AI 系統遙測資料的資料外洩技術,包含日誌洩漏、指標通道與追蹤資料。
訓練叢集網路安全
訓練叢集的網路安全,包含節點間通訊、梯度交換與參數伺服器。
Triton Inference Server 安全
NVIDIA Triton Inference Server 的安全強化,包含模型儲存庫、網路與 API 安全。
向量資料庫安全
RAG 系統中向量資料庫的安全,包含嵌入注入、相似性攻擊與存取控制。
vLLM 安全組態
vLLM 推論伺服器的安全組態,包含認證、網路、資源限制與輸出過濾。
實驗室:雲端 AI 評估
動手實驗室,主題為conducting an 端對端 安全評估 of a 雲端部署 AI system,包括 基礎設施檢視,API 測試,模型安全 evaluation,資料流 analysis.
實作：容器化模型突破
探索自容器化 AI 應用逃逸至主機系統之技術，測試 ML 部署環境中之容器隔離邊界。
實作：推論伺服器漏洞利用
Attack vLLM, TGI, and Triton inference servers to discover information disclosure vulnerabilities, denial-of-service vectors, and configuration weaknesses in model serving infrastructure.
Lab: Model Serving Framework Attacks
Exploit vulnerabilities in TensorFlow Serving, TorchServe, and Triton Inference Server, targeting model loading, API endpoints, and management interfaces.
DevOps AI 助理安全評估
評估可存取 CI/CD 流水線、雲端基礎設施與部署系統之 DevOps AI 助理。
KV 快取與提示詞快取攻擊
KV 快取投毒、前綴快取利用、快取時間邊通道以及多租戶隔離失效，如何在 LLM 服務基礎設施中形成攻擊向量。
建置 AI 紅隊實驗室環境
設計與建置 AI 紅隊測試實驗室環境的實務指南,從硬體選擇到工具組態。
分散式訓練攻擊面
多 GPU、多節點 LLM 訓練中的安全漏洞：梯度共享攻擊、parameter server 入侵、內部威脅，以及基礎設施層級的訓練攻擊。
訓練基礎設施攻擊
攻擊訓練基礎設施,包括 GPU 叢集、分散式訓練與編排系統。
API 速率限制繞過
繞過 LLM 服務 API 速率限制的技術，包括標頭操控、分散式請求、認證輪換和端點探測。
LLM 快取投毒詳解
Poison LLM response caches to serve adversarial content to other users without direct injection.
GPU Side Channel Basics
GPU-based side channel attacks on ML inference, exploiting timing, power consumption, and memory access patterns to extract information about models and data.
Inference Endpoint 利用ation
利用ing inference API endpoints for unauthorized access, data exfiltration, and service abuse through authentication flaws, input validation gaps, and misconfigured permissions.
模型 Hub Supply Chain 攻擊
攻擊ing the ML model supply chain through hub repositories like Hugging Face, including typosquatting, model poisoning, and repository manipulation techniques.
模型 Serialization RCE
Remote code execution through malicious model files using pickle deserialization, safetensors manipulation, and other model serialization format vulnerabilities.
Full 演練: DevOps AI Assistant
End-to-end engagement for a DevOps AI assistant with CI/CD, cloud infrastructure, and monitoring access.