# tools
標記為「tools」的 54 篇文章
AI 系統的鑑識工具
AI 系統鑑識所需工具的總覽,包括日誌分析器、模型比對工具與證據保存平台。
工具熟練度模擬測驗
模擬測驗涵蓋Garak、PyRIT、Promptfoo、HarmBench、custom harness development。
自動化紅隊演練評估
評估 of automated 攻擊 generation tools包括 PAIR、TAP、GCG、custom harness development。
工具熟練度評量
以 9 道中級題目測試你對 AI 紅隊工具、框架、自動化平台以及它們在安全評估中之適當應用的知識。
技能驗證: 自動化紅隊演練
Practical verification of automated 攻擊 generation using Garak、PyRIT、Promptfoo。
技能驗證: 工具熟練度
針對以下的實作驗證:proficiency與Garak、PyRIT、Promptfoo、custom tooling。
2026 年 3 月：代理利用挑戰
經提示注入與工具濫用破壞多工具代理系統，以升級之難度與分數值完成多個目標。
社群工具聚光燈系列
每月聚焦社群開發的 AI 紅隊工具及其用法。
工具打造黑客松:防禦工具包
協作黑客松,為 LLM 應用打造開源防禦工具,包括護欄、過濾器與監控元件。
工具打造黑客松:鑑識套件
社群黑客松打造 AI 事件調查鑑識分析工具,包括日誌解析器、時間軸重建與歸因輔助。
工具打造黑客松:安全掃描器
社群黑客松聚焦於為 LLM 應用打造自動化安全掃描工具,具新穎偵測能力者有獎。
Burp Suite 與 AI 安全擴充
以 Burp Suite 進行 AI API 安全測試：攔截 LLM API 呼叫、AI 特定擴充、對 AI 端點模糊測試、以 HTTP 測試提示注入，以及將 Web 資安方法論與 AI 紅隊整合。
自訂 Harness 樣式
為 LLM 漏洞評估打造自訂測試 harness 的設計樣式,涵蓋目標抽象、載荷傳遞、結果收集與 CI 整合。
Garak：LLM 漏洞掃描器
深入 NVIDIA 之 Garak LLM 漏洞掃描器：架構、探測、生成器、評估器、自訂探測開發，與自動化安全掃描之 CI/CD 整合。
實作：工具比較——同一目標，4 個工具
對同一目標模型比較 Garak、PyRIT、promptfoo 與 Inspect AI 之實作。評估各工具之覆蓋、速度、發現品質與實務取捨。
promptfoo 用於紅隊
promptfoo 用於 AI 紅隊的深入解析：YAML 組態、以斷言為基礎的測試、紅隊外掛、自製評估器，以及 LLM 安全的回歸測試流程。
PyRIT：紅隊協作編排
深入探討 Microsoft PyRIT（Python Risk Identification Toolkit）：orchestrator、scorer、converter、target、多輪活動，以及進階紅隊組態。
報告工具開發
打造自動化報告工具,將原始測試結果轉換為具可重現發現的專業評估報告。
代理架構與工具使用模式
ReAct、Plan-and-Execute 與 LangGraph 代理模式如何運作——工具定義、呼叫與結果處理——以及注入於每個架構中發生之處。
AI 合規工具概觀
用以維持 AI 合規的工具、方法論與框架概觀，包括風險評估、稽核方法論，以及持續性合規監控。
實作：設置你的紅隊環境
設置完整 AI 紅隊環境之逐步指南——Python、API 客戶端、掃描工具與本地模型。
實作：以 Garak 掃描
安裝並對本地模型執行 Garak LLM 漏洞掃描器。學習組態 probe、generator 與 evaluator 以進行完整掃描。
建置 AI 紅隊實驗室環境
設計與建置 AI 紅隊測試實驗室環境的實務指南,從硬體選擇到工具組態。
Developing Custom AI 紅隊 工具s
指南 to designing, building, and maintaining custom tools for AI red team engagements.
Evaluating AI 安全 Vendors and 工具s
Framework for assessing, comparing, and selecting AI security vendors, tools, and services for organizational needs.
工具採購策略
評估、採購與維護 AI 安全測試工具的策略方法,包含成本效益分析與廠商評估。
繪製模型能力
有系統地發掘並繪製 AI 系統完整能力面的做法，涵蓋工具、整合、權限與隱藏功能。
參考資料與速查
AI 紅隊演練的速查表、快速參考、目錄、檢核清單與比較矩陣的完整集合，涵蓋攻擊技術、防禦繞過、工具、框架與合規。
自動化紅隊工具比較
自動化 AI 紅隊工具的完整比較,包含 PyRIT、Garak、DeepTeam、AutoRedTeamer、HarmBench 與 ART,附詳細能力矩陣、優勢分析與使用案例建議。
紅隊工具比較矩陣
AI 紅隊工具的並列比較——Garak、PyRIT、promptfoo、Inspect AI 與 HarmBench——涵蓋能力、使用案例與整合選項。
紅隊工具比較
主要 AI 紅隊工具的比較——Garak、PyRIT、promptfoo 與 Inspect AI——涵蓋能力、強項、侷限與用途。
AI 紅隊的工具選擇
依據目標架構、委託範圍與團隊能力，為 AI 紅隊委託選擇並配置工具的框架。
逐步導覽
涵蓋紅隊工具、案件方法論、防禦實作、平台特定測試與完整案件工作流程的逐步引導式導覽。
LangChain Application 安全 Testing
End-to-end walkthrough for security testing LangChain applications: chain enumeration, prompt injection through chains, tool and agent exploitation, retrieval augmented generation attacks, and memory manipulation.
安全基準測試執行器開發
建立基準測試執行器,用於跨模型與配置標準化評估 LLM 安全。
建立攻擊重播工具
建立能錄製並重播攻擊序列的工具,供回歸測試與防禦驗證使用。
建立自訂載荷變異引擎
開發透過遺傳演算法演化提示詞注入載荷的變異引擎。
建立自訂 Garak 探測器(工具詳解)
為 NVIDIA Garak 開發自訂探測模組,以測試領域特定漏洞。
HarmBench 自訂行為集
以自訂行為規格擴充 HarmBench,進行領域特定的漏洞測試。
工具導覽
必備 AI 紅隊演練工具的端對端實務導覽，涵蓋安裝、設定、執行與結果詮釋。
建立 LLM 流量分析工具
建立基於代理伺服器的 LLM 流量分析工具,攔截並分析 API 通訊。
Promptfoo CI/CD 整合
將 Promptfoo 整合至 CI/CD 管線,進行持續的 LLM 安全回歸測試。
PyRIT 自訂評分整合
將自訂評分指標整合至 PyRIT,用於組織特定的紅隊評估標準。
代理安全掃描器開發
為 AI 代理系統建立自動化安全掃描器,測試工具使用、記憶與工作流程漏洞。
自動化紅隊報告生成
以測試資料與發現為輸入,自動生成結構化紅隊報告的系統。
建立 LLM 攻擊代理伺服器
為 LLM API 流量建立攔截式代理伺服器,支援載荷注入、回應分析與日誌記錄。
防禦基準測試工具開發
建立工具以標準化攻擊套件對防禦措施的成效進行基準測試。
建立嵌入層攻擊工具組
建立用以進行嵌入層攻擊的工具組,含反演、投毒與操縱。
越獄資料集整理工具
建立用以整理、組織與測試越獄提示詞資料集的工具,並追蹤成效。
LLM 流量分析工具
建立工具分析並視覺化 LLM API 流量樣態,辨識攻擊指標。
MCP 安全稽核工具
建立工具,對 MCP 伺服器實作進行常見安全漏洞與設定錯誤稽核。
多模型測試骨架建置
建立統一測試骨架,跨 OpenAI、Anthropic、Google 與本地模型端點執行攻擊。
載荷變異框架開發
建立具文法式、語意式與對抗式變異策略的載荷變異框架。
RAG 安全測試框架
為 RAG 應用建立系統性安全測試框架,含投毒與資料外洩。