# promptfoo
標記為「promptfoo」的 18 篇文章
Capstone:以 Promptfoo 進行持續測試
將 Promptfoo 整合進 CI/CD 管道實現持續 AI 安全測試,用於自動化迴歸測試與安全驗證。
promptfoo 用於紅隊
promptfoo 用於 AI 紅隊的深入解析：YAML 組態、以斷言為基礎的測試、紅隊外掛、自製評估器，以及 LLM 安全的回歸測試流程。
Promptfoo Red Team Test Suite Development
Build完整的 red team test suites in Promptfoo with custom graders與multi-model targeting.
Setting Up Promptfoo for LLM Evaluation
配置 Promptfoo to create automated test suites for evaluating LLM safety and robustness.
Lab: Promptfoo Setup and First Eval
Install and configure promptfoo for systematic LLM evaluation, then run your first red team evaluation to test model safety boundaries.
實驗室:自動化紅隊流水線
動手實驗室,主題為building a continuous AI red team testing pipeline using promptfoo,GitHub Actions,automated attack generation to catch safety regressions before deployment.
實驗室: Automated Red Team 測試
Set up promptfoo for continuous automated 安全測試 of AI applications,with custom evaluators與CI/CD integration.
實驗室: Regression 測試 with promptfoo
動手實驗室,主題為setting up promptfoo to run automated regression tests 對抗 LLM applications,ensuring that safety properties hold across model updates與prompt changes.
Promptfoo 組態指南
為 LLM 安全測試組態 Promptfoo 的詳細指南,包含供應商設定、測試斷言與 CI/CD 整合。
紅隊工具比較矩陣
AI 紅隊工具的並列比較——Garak、PyRIT、promptfoo、Inspect AI 與 HarmBench——涵蓋能力、使用案例與整合選項。
紅隊工具比較
主要 AI 紅隊工具的比較——Garak、PyRIT、promptfoo 與 Inspect AI——涵蓋能力、強項、侷限與用途。
工具導覽
必備 AI 紅隊演練工具的端對端實務導覽，涵蓋安裝、設定、執行與結果詮釋。
Promptfoo CI/CD 整合
將 Promptfoo 整合至 CI/CD 管線,進行持續的 LLM 安全回歸測試。
Running Your First Promptfoo Evaluation
初階 walkthrough for running your first promptfoo evaluation from scratch, covering installation, configuration, test case creation, assertion writing, and result interpretation.
Automating 紅隊 Evaluations with Promptfoo
Complete walkthrough for setting up automated red team evaluation pipelines using Promptfoo, covering configuration, custom evaluators, adversarial dataset generation, CI integration, and result analysis.
Promptfoo 紅隊評測
配置 Promptfoo 進行完整紅隊評測,含自訂斷言與評分器。
Promptfoo End-to-End 導覽
Complete walkthrough of promptfoo for AI red teaming: configuration files, provider setup, running evaluations, red team plugins, assertion-based scoring, reporting, and CI/CD integration.
Promptfoo CI/CD 整合(工具詳解)
將 Promptfoo 紅隊評測整合至 CI/CD 管線,進行自動化安全回歸測試。