AI-loggingarchitectuur

Wat je vastlegt in de logs van AI-systemen — prompts, completions, latency, tokens, tool-aanroepen — samen met opslagstrategieën, bewaarbeleid en privacyoverwegingen.

Waarom AI-logging anders is

Het loggen van AI-systemen gaat verder dan traditionele applicatielogging. In een standaard webapplicatie log je HTTP-requests, -responses en -fouten. In een AI-applicatie is de "request" een genuanceerde prompt in natuurlijke taal die gevoelige informatie kan bevatten, en de "response" is gegenereerde tekst die PII, gehallucineerde inhoud of veiligheidsschendingen kan bevatten. De inhoud van AI-logs verschilt kwalitatief van traditionele applicatielogs, en dit verandert alles aan hoe je ze vastlegt, opslaat en behandelt.

Wat je vastlegt

Kerngegevens van de interactie

Elke AI-interactie zou deze velden moeten vastleggen:

Beslissingsgegevens van guardrails

Tool-aanroepgegevens

Voor agentic systemen vereisen tool-aanroepen gedetailleerde logging:

Ophaalgegevens (RAG-systemen)

Loggingarchitectuur

Architectuurpatroon: dubbele pipeline

De aanbevolen architectuur gebruikt twee parallelle pipelines — één voor operationele realtimegegevens en één voor het loggen van volledige gesprekken:

┌─────────────────┐
│  AI Application  │
└────────┬────────┘
         │
    ┌────┴────┐
    │         │
    ▼         ▼
┌────────┐ ┌──────────────┐
│ Real-  │ │ Full Content │
│ time   │ │ Pipeline     │
│Pipeline│ │              │
│        │ │ Prompts +    │
│Metrics,│ │ Completions  │
│Counts, │ │ + Tool Calls │
│Latency │ │              │
│        │ │ ┌──────────┐ │
│        │ │ │PII Redact│ │
│        │ │ └────┬─────┘ │
│        │ │      │       │
└───┬────┘ └──────┼───────┘
    │             │
    ▼             ▼
┌────────┐  ┌──────────┐
│Metrics │  │Encrypted │
│Store   │  │Log Store │
│(Prom.) │  │(S3/GCS)  │
└────────┘  └──────────┘

Realtime pipeline

De realtime pipeline legt gestructureerde metrics vast die met lage latency bevraagd kunnen worden:

• Time-seriesdatabase (Prometheus, InfluxDB, Datadog) voor numerieke metrics
• Streamingprocessor (Kafka, Kinesis) voor realtime patroondetectie
• Alerting-engine (Alertmanager, PagerDuty) voor onmiddellijke meldingen
• Bewaring: 30-90 dagen op volledige resolutie, 1 jaar geaggregeerd

Pipeline voor volledige inhoud

De contentpipeline legt de volledige tekst van interacties vast voor forensisch onderzoek:

• Voorbewerking: PII-detectie en optionele redactie vóór opslag
• Versleuteling: Alle gespreksgegevens versleuteld in rust en tijdens transport
• Toegangscontrole: Strikte rolgebaseerde toegang tot gespreksinhoud
• Bewaring: Volgens beleid, doorgaans 30 dagen tot 7 jaar afhankelijk van regelgevende vereisten

Opslagstrategieën

Gelaagde opslag

Gebruik opslaglagen om kosten en toegangssnelheid in balans te brengen:

Schemaontwerp

Ontwerp logschema's met het oog op bevraagbaarheid. Veelvoorkomende querypatronen in AI-securityonderzoeken:

-- Find all interactions where the guardrail was triggered
-- but the user eventually received a response
SELECT request_id, user_id, user_prompt, completion
FROM ai_interactions
WHERE guardrail_triggered = true
  AND response_delivered = true
  AND timestamp > NOW() - INTERVAL '7 days';
 
-- Find users with unusually high refusal rates
-- (may indicate active jailbreak attempts)
SELECT user_id,
       COUNT(*) as total_requests,
       SUM(CASE WHEN finish_reason = 'content_filter' THEN 1 ELSE 0 END) as filtered,
       ROUND(100.0 * SUM(CASE WHEN finish_reason = 'content_filter' THEN 1 ELSE 0 END)
             / COUNT(*), 2) as filter_rate
FROM ai_interactions
WHERE timestamp > NOW() - INTERVAL '24 hours'
GROUP BY user_id
HAVING filter_rate > 20
ORDER BY filter_rate DESC;

Privacyoverwegingen

AI-logs zijn uitzonderlijk gevoelig omdat ze de volledige tekst bevatten van menselijke gesprekken met AI-systemen. De omgang met privacy is niet optioneel — het is een wettelijke en ethische vereiste.

Gegevensclassificatie

Strategieën voor de omgang met PII

1. 1

   Detecteer PII vóór opslag

   Voer PII-detectie (NER + regex) uit op alle prompts en completions voordat ze de contentpipeline binnenkomen. Markeer interacties die PII bevatten voor verbeterde behandeling.

2. 2

   Beslis: redacteren, pseudonimiseren of behouden

   Op basis van je beleid voor gegevensbehandeling kun je PII redacteren (vervangen door [REDACTED]), pseudonimiseren (vervangen door consistente nepwaarden) of behouden met verbeterde toegangscontroles.

3. 3

   Versleutel en beperk toegang

   Versleutel alle gesprekslogs in rust. Implementeer strikte rolgebaseerde toegangscontroles. Vereis een rechtvaardiging voor toegang tot gespreksinhoud (break-glass-procedure).

4. 4

   Audit toegang

   Log alle toegang tot gespreksinhoud. Neem op wie het bekeek, wanneer, waarom (rechtvaardiging) en wat ze zagen.

Regelgevende vereisten

Logging voor incidentrespons

Wanneer er een security-incident plaatsvindt, moeten je logs deze vragen binnen enkele minuten beantwoorden:

1. Wat is er gebeurd? — Volledige tekst van de vijandige interactie
2. Wanneer is het gebeurd? — Nauwkeurige tijdstempels
3. Wie heeft het gedaan? — Gebruikersidentificatie en authenticatiedetails
4. Hoe omzeilde het de controles? — Beslissingen en scores van guardrails
5. Wat was de impact? — Welke gegevens werden blootgesteld of welke schadelijke inhoud werd gegenereerd
6. Is het nog gaande? — Zijn er andere gebruikers die vergelijkbare patronen vertonen

Queries voor incidentrespons

Bouw vooraf geschreven queries voor veelvoorkomende incidenttypes:

• Extractie van de system prompt: Zoek naar completions die bekende fragmenten van de system prompt bevatten
• Lekken van PII: Zoek naar completions die door PII-detectie gemarkeerd zijn
• Jailbreak-campagne: Aggregeer patronen van guardrail-triggers per gebruiker, tijdvenster en techniek
• Toolmisbruik: Zoek naar ongebruikelijke patronen van tool-aanroepen (onverwachte tools, risicovolle argumenten)
• Data-exfiltratie: Zoek naar interacties met hoge aantallen outputtokens en extractiegerelateerde patronen

Anti-patronen om te vermijden

Gerelateerde onderwerpen

• AI-monitoring en observability — de bredere monitoringcontext
• Anomaliedetectie — patronen detecteren in gelogde gegevens
• Runtime monitoring — monitoring gebruiken als securitycontrole
• Veilige levenscyclus van AI-ontwikkeling — waar logging past in de ontwikkellevenscyclus

Referenties

• "Logging and Monitoring for ML Systems" - Google SRE (2024) - Comprehensive guide to logging and monitoring practices for production ML systems
• "Privacy-Preserving Machine Learning Logging" - Tramèr et al. (2024) - Research on techniques for logging ML system behavior while minimizing privacy impact
• "GDPR Compliance for AI Systems" - European Data Protection Board (2025) - Guidelines on applying GDPR requirements to AI systems including data logging and retention
• "Building Secure and Observable LLM Applications" - OWASP (2025) - Security-focused guidance on LLM application logging and observability