Red-team-metrics voorbij ASR

Uitgebreide metrics-methodologie voor AI-red-teaming voorbij Attack Success Rate: severity-gewogen scoring, metrics voor verdedigingsdiepte, dekkingsanalyse en rapportageframeworks afgestemd op belanghebbenden.

Attack Success Rate (ASR) is de meest gerapporteerde metric in AI-red-teaming, maar hij vertelt een gevaarlijk onvolledig verhaal. Een ASR van 5% kan vijf laag-severity prompt-leaks betekenen of vijf kritieke data-exfiltraties. Volwassen red-teamprogramma's hebben een rijker metrics-framework nodig.

Het metrics-framework

Niveau 1: Metrics voor aanvalsuitkomst

Niveau 2: Severity-metrics

Severity-wegingsschaal

Severity Level    Weight    Description
─────────────────────────────────────────────────────────
Critical          10        Data exfiltration, code execution,
                            full safety bypass
High               7        Detailed harmful content generation,
                            PII disclosure, tool abuse
Medium             4        Partial safety bypass, system prompt
                            leakage, mild policy violations
Low                2        Minor information disclosure,
                            inconsistent refusal behavior
Informational      1        Behavioral observations, no direct
                            security impact

Metrics voor verdedigingsdiepte

Gelaagde verdedigingen meten

De meeste AI-systemen gebruiken meerdere verdedigingslagen. Metrics moeten vastleggen hoe diep aanvallen doordringen, niet alleen of ze uiteindelijk slagen.

Verdedigingslaagmodel

Attack → [Input Filter] → [System Prompt] → [Model Safety] → [Output Filter] → Response
              ↓                  ↓                 ↓                ↓
         Layer 1 bypass    Layer 2 bypass    Layer 3 bypass    Layer 4 bypass
              ↓                  ↓                 ↓                ↓
         Track rate        Track rate        Track rate        Track rate

Dekkingsmetrics

Dekking van het aanvalsoppervlak

Analyse van dekkingshiaten

# Coverage tracking structure
coverage = {
    "categories_tested": 9,
    "categories_total": 10,  # OWASP LLM Top 10
    "coverage_pct": 90,
    "gaps": ["LLM10: Unbounded Consumption"],
    "techniques_by_category": {
        "LLM01_Prompt_Injection": {
            "tested": ["direct", "indirect", "stored", "multi-turn"],
            "not_tested": ["multi-language", "encoding_based"],
            "coverage_pct": 67
        }
    }
}

Temporele metrics

Volgen in de tijd

Regressiedetectie

1. 1

   Onderhoud een regressie-testsuite

   Elke bevestigde bevinding moet een regressie-testprompt opleveren. Voeg die toe aan de geautomatiseerde evaluatiesuite.

2. 2

   Voer regressietests uit bij elke wijziging

   Modelupdates, wijzigingen in de systeemprompt en aanpassingen aan guardrails moeten regressietests triggeren.

3. 3

   Alerteer bij regressies

   Elke eerder verholpen bevinding die opnieuw verschijnt is een regressie. Deze moeten deployment blokkeren.

4. 4

   Volg de regressieratio

   Een hoge regressieratio wijst op systemische problemen in het remediatieproces, niet alleen op individuele fixes.

Rapportage afgestemd op belanghebbenden

Metrics per doelgroep

Het directiedashboard

┌─────────────────────────────────────────────────────┐
│  AI Security Posture — March 2026                    │
│                                                     │
│  Overall Risk:  ██████░░░░  MEDIUM                  │
│                                                     │
│  Critical Findings:  2 (↓ from 5 last quarter)      │
│  Attack Success Rate: 8.3% (↓ from 12.1%)          │
│  Coverage Score:      87% (↑ from 72%)              │
│  Regression Rate:     3% (↓ from 11%)               │
│                                                     │
│  Top Risk: Agent tool abuse (3 critical findings)   │
│  Biggest Improvement: Prompt injection (ASR 4%→1%)  │
└─────────────────────────────────────────────────────┘

Het framework implementeren

Checklist voor metric-verzameling

Gerelateerde onderwerpen

• AI-veiligheidsbenchmarks & evaluatie -- benchmarkselectie en evaluatiemethodologie
• Evaluatieharnassen bouwen -- infrastructuur voor het verzamelen van metrics
• Statistische rigueur in AI-red-teaming -- statistische grondslagen
• Executive summary schrijven -- metrics communiceren naar de leiding

Referenties

• "Beyond Attack Success Rate: A Comprehensive Evaluation Framework for AI Red Teaming" - Anthropic (2024) - Research on multi-dimensional metrics for AI safety evaluation
• "OWASP Top 10 for LLM Applications" - OWASP Foundation (2025) - Vulnerability categories used as coverage dimensions in metrics frameworks
• "NIST AI Risk Management Framework (AI RMF 1.0)" - National Institute of Standards and Technology (2023) - Risk measurement functions (Measure subcategories) that inform red team metrics design
• "MLCommons AI Safety Benchmark v0.5" - MLCommons (2024) - Standardized scoring methodology for AI safety evaluations