# automation
標記為「automation」的 50 篇文章
自動化 AI 事件分類
使用基於規則的引擎、異常偵測與 LLM 輔助分類,建構 AI 資安事件的自動化分類系統。
模擬測驗 3:專家紅隊
涵蓋研究技巧、自動化、微調攻擊、供應鏈安全與事件回應的 25 題專家級模擬測驗。
工具熟練度評量
以 9 道中級題目測試你對 AI 紅隊工具、框架、自動化平台以及它們在安全評估中之適當應用的知識。
技能驗證: 紅隊 Automation
Practical verification of 紅隊自動化 skills using Garak、PyRIT、custom tooling。
進階主題學習指南
面向進階從業者的學習指南,涵蓋 AI 安全研究方法、自動化、鑑識、新興攻擊向量與工具開發。
總結專案:建置完整的 AI 紅隊演練平台
設計並實作全面的 AI 紅隊演練平台,具備自動化攻擊編排、漏洞追蹤與協作式報告能力。
頂石專案:打造 AI 安全掃描器
設計並實作自動化 AI 安全測試工具,支援提示詞注入偵測、越獄測試與輸出分析。
雲端 AI 合規自動化
運用雲原生工具與 policy-as-code 方法自動化 AI 合規檢查與安全評估。
雲端 AI 機密輪替
在 AI 部署中實作自動化機密與憑證輪替,降低遭入侵影響範圍。
CI/CD 管線 AI 風險
將 AI 整合至 CI/CD 管線的安全意涵——涵蓋建構中的 AI 驅動程式碼生成、自動化測試風險、部署決策操控與管線強化。
LLM 安全測試自動化
運用 CI/CD 整合與持續掃描,為 LLM 應用建構自動化安全測試管線。
攻擊自動化框架
打造端對端攻擊自動化框架,編排偵察、載荷產生、執行與結果分析。
紅隊自動化
大規模自動化 AI 紅隊的框架與工具，涵蓋 CART 管線、越獄模糊測試、回歸測試與持續監控。
打造自訂紅隊工具
打造自訂 AI 紅隊工具之指南，含目標特定 harness、結果分析管線，與與現有安全工作流程之整合。
漏洞利用鏈建構器
打造工具自動發掘與串接多個漏洞,形成複雜 LLM 系統的完整利用路徑。
AI 利用開發概覽
為 AI 紅隊演練開發利用程式與工具的介紹，涵蓋建構對機率性系統之可靠攻擊的獨特挑戰。
紅隊報告自動化
從紅隊測試資料與發現自動產生報告。
持續自動化紅隊（CART）
為持續 AI 安全驗證設計 CART 管線：架構、測試套件、遙測、警報、回歸偵測與 CI/CD 整合。
紅隊基礎設施與工具
AI 紅隊 C2 框架、自動化攻擊管線、自製掃描器開發，以及與 Cobalt Strike、Mythic、Sliver 的整合。
報告工具開發
打造自動化報告工具,將原始測試結果轉換為具可重現發現的專業評估報告。
Continuous Compliance Monitoring
Automated compliance monitoring for AI systems including continuous compliance checks, drift detection, regulatory change tracking, and integration with red team testing pipelines.
Building Evaluation Harnesses
Design and implement evaluation harnesses for AI red teaming: architecture patterns, judge model selection, prompt dataset management, scoring pipelines, and reproducible evaluation infrastructure.
礦業與資源開採 AI 安全
礦業 AI 的安全,包含自主設備、地質建模與安全系統。
ML 管線 CI/CD 攻擊
針對 ML CI/CD 管線的攻擊,包含建置注入、Artifact 篡改與部署劫持。
自動化越獄流水線
運用 PAIR、TAP、AutoDAN 及自訂流水線架構建構自動化越獄系統,以進行系統化的 AI 安全評估。
注入研究
提示詞注入、越獄自動化與多模態攻擊向量的進階研究，涵蓋超越標準注入方法的尖端技術。
越獄研究與自動化
越獄原語的分類法、漸強攻擊、many-shot 越獄，以及以 TAP 和 PAIR 進行自動化越獄產生。
實作：紅隊編排
建構 an orchestration system that coordinates multiple attack strategies simultaneously, managing parallel attack campaigns and synthesizing results into comprehensive risk assessments.
Lab: Safety Regression Testing at Scale
建構 automated pipelines that detect safety degradation across model versions, ensuring that updates and 微調 do not introduce new vulnerabilities or weaken existing protections.
實作：建構簡單測試框架
建構 a reusable Python test harness that automates sending test prompts, recording results, and calculating attack success metrics.
Lab: Build Jailbreak Automation
建構 an automated 越獄 testing framework that generates, mutates, and evaluates attack prompts at scale. Covers prompt mutation engines, success classifiers, and campaign management for systematic red team testing.
實驗室:自動化紅隊流水線
動手實驗室,主題為building a continuous AI red team testing pipeline using promptfoo,GitHub Actions,automated attack generation to catch safety regressions before deployment.
實驗室: Building an LLM Judge Evaluator
動手實驗室,主題為building an LLM-based evaluator to score red team attack outputs,compare model vulnerability,lay the foundation for automated attack campaigns.
Simulation: 防禦 in Depth
專家-level defense simulation implementing a full defense stack including input filter, output monitor, rate limiter, anomaly detector, and circuit breaker, then measuring effectiveness against automated attacks.
ML CI/CD 安全
ML 持續整合與部署管線的安全概觀：ML CI/CD 與傳統 CI/CD 的差異、訓練工作流程中的獨特攻擊面，以及自動化模型建構與部署的安全意涵。
Developing Custom AI 紅隊 工具s
指南 to designing, building, and maintaining custom tools for AI red team engagements.
正式環境 AI 系統的持續紅隊演練
為正式環境中的 AI 系統實施持續、自動化的紅隊演練計畫。
紅隊自動化策略
AI 紅隊演練何時與如何自動化:工具選擇、CI/CD 整合、持續自動化紅隊演練(CART)、人機迴圈設計,以及透過自動化擴展評估覆蓋率。
注入鏈自動化
自動化發掘並鏈結多種注入技術，建立對強化目標的可靠多步攻擊序列。
系統提示擷取技術
針對 LLM 應用之系統提示擷取方法的目錄：直接攻擊、間接技術、多輪策略與規避偵測。
Continuous 紅隊演練 Programs
Designing and operating ongoing AI red team programs with automated testing pipelines, metrics dashboards, KPI frameworks, alert-driven assessments, and integration with CI/CD and model deployment workflows.
Automated 防禦 Testing Pipeline
Build an automated pipeline that continuously tests defensive measures against evolving attack techniques.
Setting Up Continuous AI 紅隊ing Pipelines
導覽 for building continuous AI red teaming pipelines that automatically test LLM applications on every deployment, covering automated scan configuration, CI/CD integration, alert thresholds, regression testing, and dashboard reporting.
Developing Comprehensive AI 安全 Test Plans
Step-by-step guide to developing structured test plans for AI red team engagements, covering test case design, automation strategy, coverage mapping, and execution scheduling.
Counterfit 導覽
Complete walkthrough of Microsoft's Counterfit adversarial ML testing framework: installation, target configuration, running attacks against ML models, interpreting results, and automating adversarial robustness assessments.
Integrating Garak into CI/CD Pipelines
中階 walkthrough on automating garak vulnerability scans within CI/CD pipelines, including GitHub Actions, Git實驗室 CI, threshold-based gating, result caching, and cost management strategies.
Garak End-to-End 導覽
Complete walkthrough of NVIDIA's garak LLM vulnerability scanner: installation, configuration, running probes against local and hosted models, interpreting results, writing custom probes, and CI/CD integration.
Automating 紅隊 Evaluations with Promptfoo
Complete walkthrough for setting up automated red team evaluation pipelines using Promptfoo, covering configuration, custom evaluators, adversarial dataset generation, CI integration, and result analysis.
Python 紅隊 Automation
Building custom AI red team automation with Python: test harnesses with httpx and aiohttp, result collection and analysis, automated reporting, and integration with existing tools like promptfoo and garak.
自動化紅隊報告生成
以測試資料與發現為輸入,自動生成結構化紅隊報告的系統。