# security
標記為「security」的 147 篇文章
代理與代理式利用
自主 AI 代理的安全概覽，涵蓋由工具呼叫、持久記憶體、多步推理與多代理協調所建立的擴大攻擊面。
AutoGen 安全性分析
Microsoft AutoGen 多代理對話框架的安全分析，涵蓋對話劫持、代理角色操縱與工具呼叫風險。
LangChain 安全深入探討
LangChain 的深入安全評估，涵蓋 LCEL 執行路徑、Agent Executor 攻擊向量與自訂工具漏洞。
LlamaIndex 代理安全性
LlamaIndex 代理的安全分析，涵蓋索引投毒、查詢引擎操縱與資料連接器信任問題。
DSPy 安全分析
DSPy 框架之安全分析，含提示優化利用與管線注入。
Haystack 管線安全分析
deepset Haystack RAG 管線之安全分析，含元件注入與資料外洩。
smolagents 安全分析
Hugging Face smolagents 之安全分析，含程式碼執行風險與工具信任邊界。
MCP SSE 安全性分析
MCP Server-Sent Events (SSE) 傳輸層的安全分析，涵蓋注入、劫持與連線降級風險。
MCP 傳輸層安全性
MCP 傳輸層的安全考量，涵蓋 TLS、訊息完整性、連線認證與重放防禦。
A2A 協議安全性分析
Google A2A 協議的整體安全分析，涵蓋認證、授權、訊息完整性與信任邊界。
進階 AI 安全模擬測驗 1
進階模擬測驗涵蓋代理式利用、training 攻擊、前沿研究。
進階 AI 安全模擬測驗 2
Second advanced 模擬測驗 focusing on 多模態、雲端、pipeline 安全。
代理安全模擬測驗
模擬測驗聚焦於代理式 AI 安全包括 MCP、A2A、函式呼叫、多代理 threats。
雲端 AI 安全評估 (評估)
評估涵蓋AWS Bedrock、Azure OpenAI、GCP Vertex AI 安全 configurations、threats。
程式碼生成安全評估
評估涵蓋code assistant 利用、insecure 程式碼生成、code review AI 攻擊。
基礎設施安全評估
評估涵蓋model serving、container 安全、API gateway hardening、deployment pipeline threats。
LLMOps 安全評估
評估涵蓋model deployment 安全、monitoring、CI/CD pipeline hardening、operational threats。
AI 基礎設施安全評估
評估涵蓋model serving、API gateways、container 安全、GPU isolation。
技能驗證: 基礎設施安全
針對以下的實作驗證:雲端、基礎設施安全評估 skills的AI deployments。
代理安全學習指南
綜合學習指南的agent、代理式利用 topics包括 MCP、A2A 協定s。
基礎設施安全學習指南
學習指南的AI 基礎設施安全涵蓋雲端、container、deployment pipeline topics。
多模態安全學習指南
學習指南的多模態攻擊、防禦 topics涵蓋image、audio、document modalities。
Capstone:模型安全稽核
Capstone 演練:對部署中的 LLM 進行完整安全稽核,涵蓋攻擊面測試、護欄評估與合規檢查。
Capstone:RAG 安全評估
Capstone 演練:對 RAG 系統的完整安全評估,涵蓋檢索投毒、索引污染、答案外洩與存取控制。
Capstone:供應鏈安全工具
Capstone 專案:打造 AI/ML 供應鏈安全工具,驗證模型權重、資料集與依賴的完整性與來源。
特定領域 AI 安全
涵蓋醫療、金融、自動駕駛、內容審核、教育、客戶服務等行業垂直領域的 AI 安全挑戰概覽。特定領域的威脅模型、法規與測試方法。
重大 AI 安全事件
重大 AI 安全事件之完整時間軸與分析，自 Bing Chat jailbreak 到 ChatGPT 資料洩漏與實際代理攻擊。含每起事件之根本原因分析與影響評估。
LangChain 與 LlamaIndex 安全
熱門 LLM 編排框架之安全分析。常見組態錯誤、已知 CVE、不安全預設與 LangChain、LlamaIndex 與相關 LLM 應用框架之加固指引。
AWS Bedrock 代理安全
AWS Bedrock 代理的安全評估,涵蓋 action groups、知識庫與護欄整合。
AWS Bedrock 安全指南
完整的 AWS Bedrock 安全指南,涵蓋護欄、IAM 政策與模型存取控制。
AWS SageMaker 安全評估
AWS SageMaker 的安全評估,涵蓋模型託管、端點安全與筆記本漏洞。
Azure AI Studio 安全
Azure AI Studio 的安全評估,涵蓋專案隔離、運算目標與提示流。
Azure OpenAI 安全指南
完整的 Azure OpenAI 安全指南,涵蓋內容過濾器、私有端點與 RBAC。
雲端 AI 網路隔離
為雲端 AI 工作負載實作網路隔離:VPC、私有端點、服務端點與零信任網路。
雲端 AI 提示詞快取安全
雲端 AI 服務中提示詞快取功能的安全意涵,包括快取投毒與資訊外洩。
雲端模型端點安全
雲端中代管模型端點的安全,涵蓋認證、速率限制與流量分析。
GCP Model Garden 安全
GCP Model Garden 的安全評估,包括模型部署、版本控制與存取控制。
GCP Vertex AI 安全
GCP Vertex AI 的安全,涵蓋 Model Garden、Agent Builder 與 Gemini 護欄。
Hugging Face Inference Endpoints 安全
Hugging Face Inference Endpoints 的安全分析,包括模型隔離與 API 安全。
多雲 AI 安全
多雲 AI 安全,涵蓋統一政策、身分聯邦與跨雲可見性。
無伺服器 AI 安全
無伺服器 AI 工作負載的安全,涵蓋冷啟動、函式權限與事件注入。
Devin 式代理安全
自主程式代理 (Devin、SWE-agent 等) 的安全風險。
Jupyter Notebook 中的 AI 安全
Jupyter notebook 環境中 AI 程式助理的安全議題。
合成資料安全風險
合成資料生成的安全風險,含隱私外洩與分布攻擊。
LLM 的輸入驗證架構
設計在提示詞注入到達模型前偵測並中和的輸入驗證管線。
LLM 監控與異常偵測
建構能偵測 LLM 應用中對抗性使用模式的監控系統。
MCP 伺服器安全強化
強化 MCP 伺服器實作,防範工具投毒、傳輸攻擊與權限提升。
輸出淨化模式
對 LLM 輸出進行淨化,以預防資訊洩露與有害內容傳遞的模式。
RAG 系統安全強化
強化 RAG 系統,防範投毒、注入與資料外洩的完整指引。
速率限制與濫用防護
為 LLM API 端點與應用實作速率限制與濫用防護。
LLM 服務的多租戶隔離
在多租戶 LLM 服務中實作強隔離,以防止跨租戶攻擊。
模型合併安全分析
模型合併技術（TIES、DARE、SLERP）的安全意涵，包括後門傳播與安全性質劣化。
Prefix Tuning 安全分析
Prefix tuning 與 soft prompt 方法的安全意涵，包括對萃取、操控與對抗性最佳化的脆弱性。
QLoRA 安全意涵
量化 LoRA 微調的安全意涵，包括與精度相關的漏洞引入。
AI API 生態系
紅隊員之 AI API 生態系指南——OpenAI、Anthropic、Google、AWS、Azure、開源 API、身分驗證模式，與常見安全錯誤組態。
AI 部署模式與安全意涵
基於 API、自架、邊緣與混合部署模式如何各建立 AI 系統的獨特安全考量與攻擊面。
注意力機制與安全
注意力機制如何運作，以及它們於啟用提示詞注入攻擊中的角色。
部署模式與安全
常見大型語言模型部署模式（API、自架、邊緣）及其獨特的安全特性與攻擊面。
大型語言模型安全威脅模型
大型語言模型驅動應用程式的完整威脅模型，涵蓋所有攻擊面與威脅行動者。
大型語言模型信任邊界
理解大型語言模型應用中的信任邊界：資料於何處跨越權限層級，以及原生信任強制的缺乏如何建立攻擊面。
分詞及其安全意涵
分詞如何運作，以及它為何於語言模型中產生與安全相關的行為。
Transformer 架構基礎（安全視角）
從安全視角理解 transformer 架構基礎：注意力、嵌入、生成如何建立可利用的特性。
程式碼生成模型攻擊
AI 驅動程式碼生成的安全風險概覽：Copilot、Cursor、程式碼補全模型、IDE 整合攻擊面以及程式碼特定的利用技術。
湧現能力的安全影響
模型湧現能力所帶來的安全影響,包括意外能力與規模相關之風險。
模型合併安全性
模型合併的安全影響,包括合併模型中潛在的安全後果。
Mechanistic Interpretability for 安全
Understanding model circuits to find vulnerabilities: feature identification, circuit analysis, attention pattern exploitation, and using mechanistic interpretability for offensive and defensive AI security.
表徵工程的安全影響
用於操弄或防禦模型行為之表徵工程技術的安全影響。
跨語言轉移的安全性
跨語言能力轉移的安全影響,包括跨語言越獄與安全轉移失敗。
長上下文安全研究
針對長上下文模型的新興安全研究,涵蓋注意力機制與利用技術。
模型崩潰的安全影響
模型崩潰的安全影響,包括惡意操弄與遞迴訓練動態。
神經縮放法則的安全影響
神經縮放法則的安全研究,包括能力預測與安全意涵。
稀疏注意力的安全性
稀疏注意力機制的安全影響,包括攻擊向量與相應防禦。
機器遺忘安全研究
針對機器遺忘方法的攻擊研究與知識移除驗證。
AI 安全框架概觀
AI 安全框架地景，包括 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF 與 EU AI Act。它們如何關聯、何時使用哪一個，以及缺口分析。
能源與公用事業 AI 安全
能源與公用事業 AI 安全,涵蓋電網管理、預測性維護與智慧電表。
政府 AI 安全要求
政府環境中 AI 系統的安全要求,包含 FedRAMP 與分級考量。
人資與人力 AI 安全
HR AI 的安全分析,包含績效評估、人力規劃與員工聊天機器人。
製造業 AI 安全
製造業 AI 的安全考量,包含品管、預測性維護與機器人。
電信 AI 安全(產業垂直領域)
電信業 AI 的安全考量,包含網路最佳化、詐欺偵測與客服。
AI 服務的 API 閘道器安全
AI API 閘道器的安全考量,包含速率限制、認證、請求驗證與 DoS 防護。
ML 工作負載的容器安全
保護容器化 ML 工作負載,包含 Docker 映像、Kubernetes Pod 與 GPU 隔離。
分散式訓練安全
分散式 ML 訓練的安全性,包含梯度洩漏、拜占庭節點與通訊攻擊。
邊緣 AI 部署安全
邊緣 AI 部署的安全,包含模型萃取、實體攻擊與受限環境威脅。
GPU 叢集安全
保護用於模型訓練與推論的 GPU 叢集,抵禦未授權存取與資料外洩。
整合與框架安全
AI 整合框架（LangChain、LlamaIndex、Semantic Kernel）的安全分析，涵蓋常見漏洞模式與利用技巧。
供應鏈深入分析
AI 供應鏈相依樹之完整分析，涵蓋模型權重、分詞器、資料集、函式庫與基礎設施元件，含稽核方法論。
ML 資料湖安全
ML 資料湖的安全考量,包含存取控制、資料血緣與隱私保護。
ML 實驗基礎設施安全
ML 實驗平台的安全,包含實驗追蹤、模型倉儲與研究者協作。
ML 管線 CI/CD 安全
ML CI/CD 管線的安全,包含程式碼簽章、Artifact 完整性與部署驗證。
模型 Artifact 安全
模型 Artifact 的安全儲存與傳輸,包含加密、存取控制與防竄改。
模型註冊表安全
模型註冊表的安全,包含存取控制、版本管理與供應鏈攻擊防禦。
多雲 ML 安全
跨多雲的 ML 系統安全考量,包含資料主權、跨雲認證與威脅偵測。
AI 部署的網路安全
AI 部署的網路安全,包含分段、加密、入侵偵測與流量分析。
Serverless ML 安全
Serverless ML 部署的安全,包含函式隔離、冷啟動與供應商特定風險。
向量資料庫安全
RAG 系統中向量資料庫的安全,包含嵌入注入、相似性攻擊與存取控制。
安全領域的注意力模式分析
運用注意力地圖來理解並利用模型行為,辨識安全相關的注意力模式,並將注意力機制用於紅隊操作。
實驗室:雲端 AI 評估
動手實驗室,主題為conducting an 端對端 安全評估 of a 雲端部署 AI system,包括 基礎設施檢視,API 測試,模型安全 evaluation,資料流 analysis.
Lab: Representation Engineering for Security
Use representation engineering to analyze and manipulate internal model representations for security research.
Lab: API Key Security
學習 common API key exposure vectors, secure key management with .env files, detect keys in git history, implement key rotation, and apply least-privilege principles.
嵌入 Basics for 安全
Underst與text embeddings與their security relevance by generating,comparing,manipulating embedding vectors.
模型 安全 Comparison 實驗室
Compare the security posture of different LLM models by running identical test suites across providers.
Lab: Build Agent Security Scanner
建構 an automated security scanner for agentic AI systems that detects vulnerabilities in tool use, permission handling, memory management, and multi-step execution flows. Cover agent-specific 攻擊面s that traditional LLM testing misses.
實驗室: 供應鏈 Audit
Audit an ML project's dependencies for vulnerabilities,covering model files,Python packages,container images,training data provenance.
實驗室: ML 供應鏈 Scan
動手實驗室,主題為auditing machine learning model dependencies,detecting malicious packages in ML pipelines,scanning model files for backdoors與supply chain threats.
程式碼審查助理評估
測試程式碼審查 AI 的漏洞,包括程式碼分析、建議產生與儲存庫存取。
網路威脅情報 AI 評估
對處理 IOC、威脅報告與攻擊歸因之網路威脅情報 AI 進行紅隊演練。
A/B 測試的安全意涵
AI 模型 A/B 測試的安全意涵,包括利用差異化行為進行攻擊的手法。
AI 可觀測性與安全
使用可觀測性平台偵測 AI 系統行為中的安全異常。
持續訓練安全
保護持續學習與線上學習系統免於對抗性資料注入與模型漂移操弄。
特徵儲存的安全
保護 ML 管線中的特徵儲存,防範投毒與未授權存取。
Kubernetes ML Operator 安全
針對 Kubernetes-based ML operator（KServe、Seldon、Ray）的安全分析，包括權限提升、資源操弄與跨租戶攻擊。
ML 實驗追蹤安全
保護 MLflow、Weights & Biases、Neptune 等實驗追蹤系統。
MLflow 安全評估
MLflow 部署的安全評估，涵蓋追蹤伺服器漏洞、產物儲存利用與模型註冊表攻擊。
模型部署安全
將 LLM 部署到生產環境的安全最佳實務。
模型閘道安全模式
集中式模型閘道部署的安全模式,包括認證、授權與稽核。
模型回滾安全
模型回滾程序的安全意涵,包括暴露窗口與狀態一致性。
模型服務安全強化
保護模型服務基礎架構的最佳實務，包括端點強化、認證、速率限制與輸出驗證。
模型版本控管安全
保護模型版本管理,包含回滾安全與版本驗證。
提示詞管理安全
保護提示詞模板、系統提示詞與提示詞管理基礎架構。
提示詞模板版本控管安全
保護提示詞模板的版本管理,抵禦未授權修改與注入。
Claude 架構安全性
Anthropic 的 Claude 架構、其訓練方法及所衍生安全特性的深入探討。
模型蒸餾的安全性分析
知識蒸餾如何影響學生模型的安全對齊與漏洞。
Gemini 架構安全性
Google Gemini 多模態架構的安全性分析及其攻擊面。
GPT-4 架構安全性
GPT-4 架構、訓練與安全特性的安全性觀點。
Phi 模型家族安全性分析
Microsoft Phi 模型家族的安全性分析,涵蓋各版本與部署樣態。
Qwen 架構安全性
阿里巴巴 Qwen 模型家族的安全性特性與漏洞。
Qwen 模型安全性分析
Qwen 系列 (含視覺與指令版本) 的安全性分析。
Yi 模型安全性評估
零一萬物 Yi 系列模型的安全性評估與漏洞觀察。
AI 安全 訓練 Program Design
Designing and delivering AI security training programs for development and security teams.
AI 安全工具廠商選擇
評估與選擇 AI 安全測試工具與服務的框架。
LLM 安全檢查清單
LLM 驅動應用程式的完整安全檢查清單，涵蓋輸入驗證、提示詞強化、輸出過濾、工具安全、RAG 管線與事件應變。
模型 API 安全參考
主要模型 API 的安全參考,包含認證、速率限制與安全功能。
AI 紅隊進階 OPSEC
AI 紅隊委託的進階作業安全實務，包括流量混淆、歸因防範與隱蔽測試。
模型合併安全分析(訓練管道)
模型合併技術的安全分析,以及漏洞透過合併模型的傳播。
RLHF 安全攻擊
針對 RLHF 管道的安全攻擊:獎勵模型操弄、偏好資料投毒、對齊繞過。
遷移學習安全分析
遷移學習的安全意涵,包括繼承漏洞與跨領域攻擊轉移。
模型 Hub Supply Chain 攻擊
攻擊ing the ML model supply chain through hub repositories like Hugging Face, including typosquatting, model poisoning, and repository manipulation techniques.
模型 Serialization RCE
Remote code execution through malicious model files using pickle deserialization, safetensors manipulation, and other model serialization format vulnerabilities.
沙箱化工具執行
於隔離沙箱中執行 LLM 工具呼叫的逐步演練，涵蓋以容器為基礎的隔離、資源限制、網路限制與輸出清理。
會話隔離模式
於 LLM 應用中隔離使用者會話的逐步演練，防止使用者之間的上下文、記憶與權限互相污染。
AI Security Threat Intelligence
Build a threat intelligence pipeline for staying current with AI security threats and attack techniques.
Full 演練: AI Code Assistant
End-to-end engagement for assessing an AI-powered code assistant with repository access.
Full 演練: AI Security Copilot
Red team engagement of an AI security copilot with access to SIEM, vulnerability scanners, and threat intelligence.
AI 安全指標框架
以量化指標衡量與回報 AI 安全態勢的框架。
AI 安全工具競品分析
針對紅隊作戰用途評估並比較 AI 安全工具的方法論。
AI 安全桌上推演
設計並主持以 AI 安全事件情境為主題的桌上推演。
MCP 安全稽核工具
建立工具,對 MCP 伺服器實作進行常見安全漏洞與設定錯誤稽核。