Regelgevings- & normenlandschap 2026
Uitgebreide mapping van het AI-regelgevingslandschap van 2026, waaronder EU AI Act-artikel 55, NIST AI RMF, MITRE ATLAS en OWASP Top 10 voor LLM's, met compliance-checklists, sanctiestructuren en regelgevingstijdlijnen.
Overzicht
Het AI-regelgevingslandschap is in 2026 verschoven van aspirationele richtsnoeren naar afdwingbare vereisten. De gefaseerde implementatie van de EU AI Act is nu van kracht met financiële sancties bij niet-naleving. NIST is overgegaan van zijn vrijwillige AI Risk Management Framework naar het meer prescriptieve AI 600-1 GenAI-profiel. MITRE ATLAS is uitgebreid tot 15 tactieken en 66 technieken en heeft zich gevestigd als het de facto dreigingsmodel voor AI-systemen. En OWASP heeft zijn bijgewerkte Top 10 voor LLM-applicaties (editie 2025) uitgebracht, die twee jaar aan aanvalsgegevens uit de praktijk weerspiegelt.
Voor red-team-beoefenaars creëert deze regelgevingsomgeving zowel verplichtingen als kansen. Verplichtingen omdat veel frameworks nu adversarial testen van AI-systemen voorafgaand aan deployment voorschrijven. Kansen omdat regelgevingseisen organisatorische vraag en budget creëren voor red-teamactiviteiten die anders zouden worden gedeprioriteerd. Het regelgevingslandschap begrijpen is essentieel, niet alleen voor compliance maar ook om red-teamen te positioneren als een bedrijfskritische functie.
De hier behandelde frameworks zijn niet onafhankelijk — ze overlappen, vullen elkaar aan en zijn soms tegenstrijdig. De EU AI Act schrijft risicobeoordeling voor; NIST AI RMF biedt de methodologie; MITRE ATLAS biedt het dreigingsmodel; OWASP biedt de kwetsbaarheidstaxonomie. Een goed ontworpen red-teamprogramma mapt activiteiten over alle vier de frameworks om compliancedekking te maximaliseren en gedupliceerde inspanning te minimaliseren.
EU AI Act — Artikel 55 en verder
Overzicht
De EU AI Act, die in augustus 2024 in werking trad met gefaseerde implementatie tot 2027, vestigt 's werelds eerste uitgebreide juridische framework voor AI-systemen. Artikel 55 behandelt specifiek transparantieverplichtingen voor algemene AI-modellen, maar de impact van de Act op red-teamen reikt veel verder dan dit ene artikel.
Belangrijkste bepalingen relevant voor red-teamen
Risicoclassificatie (Artikelen 6-7): AI-systemen worden geclassificeerd in vier risiconiveaus — onaanvaardbaar, hoog risico, beperkt risico en minimaal risico. Systemen met hoog risico (waaronder die welke worden gebruikt in kritieke infrastructuur, werkgelegenheid, rechtshandhaving en onderwijs) krijgen te maken met de strengste vereisten, waaronder verplichte conformiteitsbeoordelingen die adversarial testen zouden moeten omvatten.
Artikel 9 — Risicobeheersysteem: Aanbieders van AI met hoog risico moeten een risicobeheersysteem implementeren dat bekende en redelijkerwijs voorzienbare risico's identificeert en analyseert, die risico's inschat door middel van testen "met het oog op het identificeren van de meest passende en gerichte risicobeheermaatregelen" en testen onder adversarial condities omvat.
Artikel 55 — Transparantie voor algemene AI: Aanbieders van algemene AI-modellen moeten gedetailleerde technische documentatie beschikbaar stellen, voldoen aan het auteursrecht en een voldoende gedetailleerde samenvatting van de inhoud van de trainingsdata publiceren. Voor modellen met systeemrisico (gedefinieerd als modellen die zijn getraind met meer dan 10^25 FLOPs) omvatten aanvullende verplichtingen adversarial testen en periodieke herbeoordeling.
Artikel 15 — Nauwkeurigheid, robuustheid en cyberbeveiliging: AI-systemen met hoog risico moeten zo zijn ontworpen dat ze "een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging" bereiken en gedurende hun hele levenscyclus consistent presteren. Dit schrijft rechtstreeks het soort robuustheidstesten voor dat red-teamen biedt.
Sanctiestructuur
| Overtredingscategorie | Maximale sanctie | Voorbeelden |
|---|---|---|
| Verboden AI-praktijken (Artikel 5) | EUR 35 miljoen of 7% van de wereldwijde jaaromzet | Inzet van social-scoring-systemen, real-time biometrische identificatie zonder autorisatie |
| Niet-naleving bij hoog risico (Artikelen 6-49) | EUR 15 miljoen of 3% van de wereldwijde jaaromzet | Geen conformiteitsbeoordeling uitvoeren, inadequaat risicobeheer, onvoldoende robuustheidstesten |
| Onjuiste informatie (Artikel 72) | EUR 7,5 miljoen of 1% van de wereldwijde jaaromzet | Misleidende documentatie verstrekken, ernstige incidenten niet rapporteren |
| Sanctievermindering voor mkb | Verlaagd tot het laagste van het vaste bedrag of het omzetpercentage | Automatische vermindering voor kleine en middelgrote ondernemingen |
NIST AI Risk Management Framework
Overzicht
Het NIST AI RMF biedt een vrijwillig, flexibel framework voor het beheren van AI-risico's. Bijgewerkt met het AI 600-1 GenAI-profiel (uitgebracht in juli 2024) bevat het nu specifieke richtsnoeren voor generatieve AI-systemen. Het framework is georganiseerd rond vier kernfuncties: Govern, Map, Measure en Manage.
RMF-functies mappen op red-teamen
| RMF-functie | Subfunctie | Red-teamactiviteit |
|---|---|---|
| GOVERN | Beleid en processen | Stel het charter van het red-teamprogramma op, definieer scope en rules of engagement |
| GOVERN | Verantwoordingsstructuren | Wijs red-teambevindingen toe aan verantwoordelijke partijen, volg remediatie |
| MAP | Context en use cases | Dreigingsmodelleer de deploymentcontext van het AI-systeem, identificeer aanvalsoppervlakken |
| MAP | Risico-identificatie | Inventariseer potentiële aanvallen met MITRE ATLAS en OWASP Top 10 |
| MEASURE | Risico's kwantificeren | Voer red-teambeoordelingen uit, meet attack success rates, benchmark tegen HarmBench |
| MEASURE | Effectiviteit monitoren | Continu red-teamen in CI/CD, regressietesten na modelupdates |
| MANAGE | Risico's prioriteren | Classificeer bevindingen op severity, map op bedrijfsimpact |
| MANAGE | Risico's mitigeren | Beveel verdedigingsmaatregelen aan en verifieer ze, hertest na mitigatie |
AI 600-1 GenAI-specifieke risico's
Het GenAI-profiel identificeert twaalf risicogebieden die specifiek zijn voor generatieve AI, waarvan er verschillende rechtstreeks mappen op red-teamactiviteiten:
- CBRN-informatie — Test of het model gevaarlijke informatie verstrekt over chemische, biologische, radiologische en nucleaire dreigingen
- Confabulation — Beoordeel hallucinatieratio's en hun potentieel voor schade
- Data Privacy — Test op extractie van trainingsdata en PII-lekkage
- Environmental Impact — Niet direct een red-teamzorg maar relevant voor de compliancescope
- Harmful Bias — Test op discriminerende output over demografische groepen heen
- Homogenization — Beoordeel monocultuurrisico's door wijdverbreide deployment
- Information Integrity — Test op het genereren en versterken van misinformatie
- Information Security — Kern-red-teamscope: prompt-injectie, jailbreaken, modelextractie
- Intellectual Property — Test op reproductie van auteursrechtelijk beschermde content
- Obscene Content — Test contentveiligheidsfilters op CSAM en andere verboden content
- Value Chain — Beoordeel supply-chain-risico's (behandeld in de sectie Infrastructuur)
- Dangerous Capability — Test op emergente gevaarlijke capaciteiten in frontier-modellen
MITRE ATLAS — 15 tactieken, 66 technieken
Overzicht
MITRE ATLAS (Adversarial Threat Landscape for AI Systems) breidt het ATT&CK-framework uit naar AI-specifieke dreigingen. Per 2025 documenteert ATLAS 15 tactieken en 66 technieken georganiseerd langs een AI-specifieke aanvalslevenscyclus. Voor red teamers dient ATLAS als een uitgebreide checklist voor adversarial beoordeling en een gedeeld vocabulaire voor het rapporteren van bevindingen.
Tactiekoverzicht
| # | Tactiek | Beschrijving | Voorbeeldtechnieken |
|---|---|---|---|
| 1 | Reconnaissance | Informatie verzamelen over het AI-systeem | AML.T0000 - Discover ML Model Family, AML.T0013 - Discover ML Artifacts |
| 2 | Resource Development | Resources opzetten voor de aanval | AML.T0017 - Develop Adversarial ML Attacks, AML.T0039 - Acquire ML Artifacts |
| 3 | Initial Access | Initiële toegang tot het ML-systeem verkrijgen | AML.T0051 - LLM Prompt Injection |
| 4 | ML Model Access | Toegang verkrijgen tot het model zelf | AML.T0040 - ML Model Inference API Access, AML.T0041 - Full ML Model Access |
| 5 | Execution | Adversarial technieken uitvoeren | AML.T0054 - LLM Jailbreak, AML.T0044 - Full ML Model Replication |
| 6 | Persistence | Toegang tot het ML-systeem behouden | AML.T0020 - Poison Training Data |
| 7 | Privilege Escalation | Toegang op hoger niveau verkrijgen | AML.T0051.001 - Direct Prompt Injection for tool abuse |
| 8 | Defense Evasion | Detectiemechanismen vermijden | AML.T0015 - Evade ML Model, AML.T0043 - Craft Adversarial Data |
| 9 | Credential Access | Credentials stelen via AI-systemen | LLM-based credential extraction from conversation context |
| 10 | Discovery | Leren over de doelomgeving | AML.T0014 - Discover ML Model Ontology |
| 11 | Lateral Movement | Tussen systemen bewegen via AI | Agent-to-agent propagation, tool chain exploitation |
| 12 | Collection | Gegevens verzamelen uit AI-systemen | AML.T0024 - Infer Training Data, AML.T0025 - Exfiltration via ML Model |
| 13 | ML Attack Staging | ML-specifieke aanvalscomponenten voorbereiden | AML.T0043 - Craft Adversarial Data |
| 14 | Exfiltration | Gegevens onttrekken aan AI-systemen | Training data extraction, system prompt extraction |
| 15 | Impact | AI-systeemoutput verstoren of manipuleren | AML.T0048 - Denial of ML Service |
ATLAS gebruiken voor red-team-scoping
ATLAS biedt een gestructureerde benadering voor het scopen van red-teambeoordelingen. Map voor elk engagement de architectuur van het doelsysteem op ATLAS-tactieken en identificeer welke technieken binnen scope vallen:
Assessment Scope Example — Customer-Facing Chatbot:
In Scope:
[x] Reconnaissance — model identification, API fingerprinting
[x] Initial Access — prompt injection via user inputs
[x] Execution — jailbreak attempts, safety bypass
[x] Defense Evasion — filter bypass, encoding attacks
[x] Collection — system prompt extraction, PII extraction
[x] Exfiltration — training data extraction attempts
[x] Impact — output manipulation, misinformation
Out of Scope:
[ ] ML Model Access — no direct model access (API only)
[ ] Persistence — no training pipeline access
[ ] Resource Dev — pre-engagement (not billable)OWASP Top 10 voor LLM-applicaties (2025)
Overzicht
De OWASP Top 10 voor LLM-applicaties, bijgewerkt in 2025, weerspiegelt aanvalsgegevens uit de praktijk en kwetsbaarheidsrapporten. Het biedt een geprioriteerde lijst van de meest kritieke beveiligingsrisico's voor op LLM gebaseerde applicaties en dient zowel als kwetsbaarheidstaxonomie als als red-teamchecklist.
De Top 10 van 2025
| Rang | Kwetsbaarheid | Red-teamprioriteit | Veelvoorkomende aanvalsvector |
|---|---|---|---|
| LLM01 | Prompt Injection | Kritiek | Directe en indirecte injectie via gebruikersinvoer en externe data |
| LLM02 | Sensitive Information Disclosure | Hoog | Extractie van trainingsdata, system-promptlekkage, PII in output |
| LLM03 | Supply Chain Vulnerabilities | Hoog | Kwaadaardige modellen, vergiftigde trainingsdata, gecompromitteerde plugins |
| LLM04 | Data and Model Poisoning | Gemiddeld | Manipulatie van trainingsdata, fine-tuning-aanvallen |
| LLM05 | Improper Output Handling | Hoog | XSS via LLM-output, SQL-injectie via gegenereerde code |
| LLM06 | Excessive Agency | Kritiek | Tool-misbruik, ongeautoriseerde acties, privilege-escalatie via agents |
| LLM07 | System Prompt Leakage | Gemiddeld | Extractietechnieken, indirecte openbaarmaking |
| LLM08 | Vector and Embedding Weaknesses | Gemiddeld | Embedding-inversie, vergiftiging van vectordatabase |
| LLM09 | Misinformation | Gemiddeld | Exploitatie van hallucinatie, manipulatie van confidence |
| LLM10 | Unbounded Consumption | Laag-Gemiddeld | Resource-uitputting, denial of service, kostenaanvallen |
Cross-framework-mapping
De volgende mapping toont hoe activiteiten in het ene framework aan vereisten in andere voldoen, wat efficiënte multi-frameworkcompliance mogelijk maakt:
| Red-teamactiviteit | EU AI Act | NIST AI RMF | MITRE ATLAS | OWASP LLM |
|---|---|---|---|---|
| Prompt-injectietesten | Art. 15 (robuustheid) | MEASURE (risicokwantificering) | AML.T0051 | LLM01 |
| Extractie van trainingsdata | Art. 55 (transparantie) | MAP (risico-identificatie) | AML.T0024 | LLM02 |
| Bypass van veiligheidsfilter | Art. 9 (risicobeheer) | MEASURE (adversarial testen) | AML.T0054 | LLM01 |
| Supply-chain-audit | Art. 15 (cyberbeveiliging) | MAP (contextbeoordeling) | AML.T0039 | LLM03 |
| Agent/tool-misbruik-testen | Art. 9 (risicobeheer) | MEASURE (capaciteitstesten) | AML.T0051.001 | LLM06 |
| Bias-/eerlijkheidstesten | Art. 10 (datagovernance) | MEASURE (bias-beoordeling) | — | LLM09 |
| Output-sanitisatie-testen | Art. 15 (cyberbeveiliging) | MANAGE (mitigatieverificatie) | AML.T0015 | LLM05 |
Compliance-checklist
Classificeer het risiconiveau van je AI-systeem
Bepaal of je systeem onder de categorieën hoog risico, beperkt risico of minimaal risico van de EU AI Act valt. Classificatie als hoog risico activeert verplichte conformiteitsbeoordeling, waaronder adversarial testen. Map je systeem tegen de categorieën van Bijlage III.
Stel een risicobeheersysteem op afgestemd op NIST AI RMF
Implementeer de vier RMF-functies (Govern, Map, Measure, Manage) als de operationele ruggengraat van je complianceprogramma. Documenteer beleid, verantwoordingsstructuren, risico-identificatieprocedures en mitigatieworkflows.
Dreigingsmodelleer met MITRE ATLAS
Map de architectuur en deploymentcontext van je systeem op ATLAS-tactieken. Identificeer welke van de 66 technieken op je specifieke systeem van toepassing zijn en prioriteer op waarschijnlijkheid en impact. Dit wordt het scope-document voor red-teamactiviteiten.
Voer een red-teambeoordeling uit die de OWASP Top 10 dekt
Voer adversarial testen uit tegen alle toepasselijke OWASP LLM Top 10-categorieën. Gebruik geautomatiseerde tools (Garak, PyRIT) voor brede dekking en handmatig testen voor diepgang. Documenteer bevindingen met ATLAS-techniekreferenties.
Produceer multi-frameworkcompliancedocumentatie
Map elke red-teambevinding op de toepasselijke frameworkvereisten. Eén bevinding (bijv. een geslaagde prompt-injectie) mapt op EU AI Act Art. 15, NIST MEASURE, ATLAS AML.T0051 en OWASP LLM01. Deze cross-referentie toont compliance over frameworks heen aan met één testactiviteit.
Stel continue monitoring en herbeoordeling op
Implementeer in CI/CD geïntegreerde veiligheidstesten voor doorlopende compliance. De EU AI Act vereist periodieke herbeoordeling; de MEASURE-functie van NIST RMF vraagt om continue monitoring. Geautomatiseerd regressietesten voldoet gelijktijdig aan beide vereisten.
Regelgevingstijdlijn
| Datum | Mijlpaal | Impact |
|---|---|---|
| Aug 2024 | EU AI Act treedt in werking | 24-maands implementatieperiode begint |
| Feb 2025 | Verboden AI-praktijken worden van kracht | Social scoring, manipulatieve AI-systemen verboden; sancties afdwingbaar |
| Aug 2025 | Verplichtingen voor algemene AI-modellen | Art. 55-transparantievereisten; systeemrisicomodellen vereisen adversarial testen |
| Aug 2026 | Vereisten voor AI-systemen met hoog risico | Volledige conformiteitsbeoordeling vereist; robuustheid en cyberbeveiliging verplicht |
| Aug 2027 | Resterende bepalingen van toepassing | Volledige handhaving van alle EU AI Act-bepalingen |
| Doorlopend | NIST AI RMF-updates | Periodieke updates van het AI 600-1 GenAI-profiel op basis van opkomende risico's |
| Doorlopend | MITRE ATLAS-uitbreiding | Kwartaaltoevoegingen van technieken naarmate nieuwe aanvalsvectoren worden gedocumenteerd |
| 2025 | OWASP LLM Top 10 v2 | Bijgewerkt op basis van aanvalsgegevens uit de praktijk van 2024-2025 |
Belangrijke overwegingen
Regelgevingsconvergentie versnelt. De EU AI Act, NIST-frameworks en OWASP-normen convergeren naar gemeenschappelijke vereisten rond adversarial testen, risicobeheer en transparantie. Organisaties die investeren in een uitgebreid red-teamprogramma dat is afgestemd op één framework, zullen aanzienlijke overlap met de andere vinden, wat de incrementele kosten van multi-frameworkcompliance verlaagt.
Red-teamen is niet langer optioneel voor systemen met hoog risico. De EU AI Act schrijft expliciet adversarial testen voor voor systemen met hoog risico en algemene modellen met systeemrisico. Organisaties die red-teamen als best practice hebben behandeld, moeten het nu behandelen als een regelgevingseis met financiële sancties bij niet-naleving.
Documentatie is even belangrijk als testen. Toezichthouders vereisen bewijs van compliance, niet alleen compliance zelf. Red-teamprogramma's moeten gestructureerde, auditeerbare rapporten produceren die bevindingen mappen op specifieke regelgevingseisen. De cross-framework-mapping in dit artikel biedt een template voor deze documentatie.
Referenties
- European Commission, "Regulation (EU) 2024/1689 — Artificial Intelligence Act" (2024) — Full text of the EU AI Act
- NIST, "AI Risk Management Framework (AI RMF 1.0)" (2023) — Core RMF document and companion resources
- NIST, "AI 600-1: Artificial Intelligence Risk Management Framework: Generative AI Profile" (2024) — GenAI-specific risk profile
- MITRE, "ATLAS — Adversarial Threat Landscape for AI Systems" — AI threat framework with tactic and technique catalog
- OWASP, "Top 10 for LLM Applications" (2025) — LLM vulnerability taxonomy
Als een red-teamengagement een prompt-injectiekwetsbaarheid ontdekt in een AI-systeem met hoog risico, op welke regelgevingsframeworkvereisten mapt deze ene bevinding?