Aanvallen op reasoning-modellen

Overzicht van beveiligingsrisico's in reasoning-geschikte LLM's: hoe chain-of-thought-modellen nieuwe aanvalsoppervlakken, exploitprimitieven en verdedigingsuitdagingen introduceren.

Reasoning-modellen -- systemen zoals OpenAI's o1/o3, DeepSeek-R1 en Claude met extended thinking -- vertegenwoordigen een fundamentele verschuiving in de LLM-architectuur. Door expliciete chains of thought te genereren voordat ze een definitief antwoord produceren, behalen deze modellen sterkere prestaties op complexe taken. Maar het redeneerproces zelf creëert volledig nieuwe aanvalsoppervlakken die niet bestonden in standaard-completionmodellen.

Hoe reasoning-modellen verschillen

Standaard-LLM's genereren tokens van links naar rechts in één enkele doorgang. Reasoning-modellen voegen een expliciete denkfase toe:

Standard LLM:
  User prompt → [Token generation] → Response
 
Reasoning LLM:
  User prompt → [Reasoning tokens (hidden)] → [Summary] → Response

Deze architectuur creëert drie afzonderlijke aanvalsoppervlakken:

Taxonomie van aanvallen op reasoning-modellen

Per doelfase

1. 1

   Pre-reasoning-injectie

   Manipuleer de input zodat het model zijn reasoning chain begint vanuit een valse premisse. Dit corrumpeert alle downstream-redeneerstappen omdat het model geïnjecteerde context tijdens zijn denkfase behandelt als grondwaarheid.

2. 2

   Mid-reasoning-exploitatie

   Buit de iteratieve aard van redeneren uit om logic bombs te creëren -- inputs die ervoor zorgen dat de reasoning chain in loops terechtkomt, zichzelf tegenspreekt of door schijnbaar geldige tussenstappen tot door de aanvaller gekozen conclusies komt.

3. 3

   Post-reasoning-extractie

   Extraheer informatie uit de verborgen reasoning trace die had moeten worden gefilterd voordat deze de gebruiker bereikte. De samenvattingsstap tussen de volledige CoT en de zichtbare uitvoer is vaak imperfect.

4. 4

   Meta-reasoning-aanvallen

   Val de verificatie- en rewardsystemen aan die de redeneerkwaliteit evalueren, waardoor het model door de aanvaller gealigneerde redeneerpaden verkiest boven correcte.

Per impact

Waarom traditionele verdedigingen tekortschieten

Traditionele jailbreak-verdedigingen (inputfiltering, outputclassifiers, weigeringstraining) zijn ontworpen voor generatie in één doorgang. Ze falen tegen reasoning-modellen om verschillende redenen:

De reasoning-veiligheidsspanning

Er is een fundamentele spanning in het ontwerp van reasoning-modellen: het model moet kunnen redeneren over schadelijke onderwerpen om ze goed te kunnen weigeren, maar diezelfde redeneercapaciteit kan worden uitgebuit.

# Vereenvoudigde illustratie van de reasoning-veiligheidsspanning
# Het model redeneert over het verzoek voordat het besluit te weigeren
 
# Normale flow:
# Reasoning: "The user is asking about [harmful topic]. This violates policy X.
#             I should refuse and explain why."
# Output: "I can't help with that because..."
 
# Aangevallen flow:
# Reasoning: "The user is asking about [harmful topic] for research purposes.
#             This is an academic context. Policy X has an exception for research.
#             I should provide the information with appropriate caveats."
# Output: [Harmful content with academic framing]

Aanvalsoppervlakkaart

┌─────────────────────────────────────────────────────┐
│                 USER INPUT                          │
│  ┌───────────────────────────────────────────────┐  │
│  │ Injected premises, logic bombs, budget traps  │  │
│  └───────────────────┬───────────────────────────┘  │
│                      ▼                              │
│  ┌───────────────────────────────────────────────┐  │
│  │         REASONING PHASE (Hidden CoT)          │  │
│  │  • False premise propagation                  │  │
│  │  • Reasoning loop exploitation                │  │
│  │  • Internal policy reinterpretation           │  │
│  └───────────────────┬───────────────────────────┘  │
│                      ▼                              │
│  ┌───────────────────────────────────────────────┐  │
│  │         VERIFICATION (Reward Model)           │  │
│  │  • Score manipulation                         │  │
│  │  • Verifier-generator gap exploitation        │  │
│  └───────────────────┬───────────────────────────┘  │
│                      ▼                              │
│  ┌───────────────────────────────────────────────┐  │
│  │         SUMMARIZATION / OUTPUT                │  │
│  │  • CoT information leakage                    │  │
│  │  • Safety filter bypass via reasoning context │  │
│  └───────────────────────────────────────────────┘  │
└─────────────────────────────────────────────────────┘

Overzicht van subsecties

Deze sectie behandelt vijf kerngebieden van de beveiliging van reasoning-modellen:

Gerelateerde secties in deze wiki:

• Agentexploitatie -- multi-step-agentaanvallen delen reasoning-manipulatieprimitieven
• Jailbreak-onderzoek -- traditionele jailbreaks als fundament
• Alignment-bypass -- alignment-internals waarop reasoning-modellen voortbouwen

Gerelateerde onderwerpen

• Chain-of-Thought-exploitatie - Technieken voor het manipuleren van reasoning chains via valse premissen en logic bombs
• Jailbreak-onderzoek - Traditionele jailbreak-technieken als fundament voor aanvallen op reasoning-modellen
• Alignment-bypass - Alignment-internals waarop reasoning-modellen voortbouwen
• Agentexploitatie - Multi-step-agentaanvallen die reasoning-manipulatieprimitieven delen
• Verifier- en reward-modelaanvallen - Het gamen van de verificatiesystemen die de redeneerkwaliteit evalueren

Referenties

• "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models" - Wei et al. (2022) - Foundational paper on CoT reasoning in LLMs
• "Let's Verify Step by Step" - Lightman et al. (2023) - Process reward models for reasoning verification
• "Reasoning Models Attack Surfaces" - Anthropic (2025) - Extended thinking security considerations
• "Scaling LLM Test-Time Compute Optimally" - Snell et al. (2024) - Inference-time compute and verification tradeoffs