EU AI Act-compliancetests
EU AI Act-risicocategorieën, testvereisten voor AI-systemen met hoog risico, conformiteitsbeoordelingsprocedures en hoe red-teamen de EU AI Act-compliance ondersteunt.
De EU AI Act is wereldwijd de meest uitgebreide AI-verordening en creëert bindende testvereisten die rechtstreeks van invloed zijn op de praktijk van AI-red-teaming. Deze vereisten begrijpen is essentieel voor red teamers die klanten bedienen die AI inzetten op de EU-markt.
Risicoclassificatiesysteem
De vier niveaus
| Niveau | Risiconiveau | Regulatoire benadering | Voorbeelden |
|---|---|---|---|
| Titel II | Onaanvaardbaar | Verboden | Social scoring door overheden, ongerichte gezichtsherkenning, emotieherkenning op de werkvloer/op scholen, manipulatieve AI |
| Bijlage III | Hoog | Verplichte eisen + conformiteitsbeoordeling | AI bij werving, kredietscoring, rechtshandhaving, kritieke infrastructuur, onderwijs, migratie |
| Artikel 50 | Beperkt | Transparantieverplichtingen | Chatbots (moeten het AI-karakter bekendmaken), deepfake-generatoren (moeten labelen), emotieherkenning |
| Ongereguleerd | Minimaal | Geen specifieke eisen | Spamfilters, AI in videogames, voorraadbeheer |
Criteria voor classificatie als hoog risico
Een AI-systeem heeft een hoog risico als het in een van de categorieën van Bijlage III valt:
| Gebied uit Bijlage III | Voorbeelden | Red-teamfocus |
|---|---|---|
| Biometrie | Gezichtsherkenning, emotiedetectie | Nauwkeurigheid, bias, adversarial robuustheid |
| Kritieke infrastructuur | Beheer van het energienet, waterbehandeling, verkeersregeling | Veiligheid, betrouwbaarheid, adversarial veerkracht |
| Onderwijs | Geautomatiseerde beoordeling, toelatingsbeslissingen | Eerlijkheid, bias, manipulatiebestendigheid |
| Werkgelegenheid | Cv-screening, sollicitatieanalyse, prestatiemonitoring | Bias, eerlijkheid, beveiliging van de systeemprompt |
| Essentiële diensten | Kredietscoring, verzekeringsprijsstelling, noodhulpdispatching | Discriminatietesten, nauwkeurigheidsvalidatie |
| Rechtshandhaving | Voorspellend politiewerk, bewijsanalyse | Bias, nauwkeurigheid, adversarial manipulatie |
| Migratie | Visumverwerking, grenscontrole | Eerlijkheid, nauwkeurigheid, adversarial robuustheid |
| Justitie | Aanbevelingen voor strafmaat, recidivevoorspelling | Bias, eerlijkheid, manipulatiebestendigheid |
Testvereisten per risiconiveau
Systemen met hoog risico (Artikel 9 - Risicobeheer)
Aanbieders van AI met hoog risico moeten een risicobeheersysteem implementeren dat het volgende omvat:
| Vereiste | Artikel | Relevantie voor red-teamen |
|---|---|---|
| Identificatie van bekende en voorzienbare risico's | Art. 9(2)(a) | Dreigingsmodellering en beoordeling van kwetsbaarheden |
| Testen met "voorheen onbekende invoer" | Art. 9(6) | Adversarial testen, fuzzing, verkenning van randgevallen |
| Evaluatie van redelijkerwijs voorzienbaar misbruik | Art. 9(2)(b) | Red-teamen voor misbruikscenario's |
| Beoordeling van restrisico | Art. 9(2)(d) | Validatietesten na mitigatie |
| Testen op impact op gezondheid, veiligheid, rechten | Art. 9(7) | Veiligheidsgericht red-teamen |
Systemen met hoog risico (Artikel 15 - Nauwkeurigheid, robuustheid, cyberbeveiliging)
| Vereiste | Wat het betekent | Testbenadering |
|---|---|---|
| Passende nauwkeurigheidsniveaus | Het systeem presteert zoals bedoeld | Nauwkeurigheidsbenchmarking onder normale en adversarial condities |
| Bestendigheid tegen fouten | Het systeem gaat soepel om met onverwachte invoer | Fuzzing, grenstesten, foutinjectie |
| Bestendigheid tegen ongeautoriseerde toegang | Het systeem weerstaat aanvallen | Security red-teaming, prompt-injectie, data-extractie |
| Adversarial robuustheid | Het systeem weerstaat adversarial manipulatie | Testen met adversarial voorbeelden, ontwijkingsaanvallen |
| Cyberbeveiligingsmaatregelen | Het systeem heeft passende beveiligingscontroles | Beoordeling van infrastructuurbeveiliging, API-beveiliging |
Testen volgens Artikel 15 in de praktijk
Artikel 15 is het meest direct bruikbare artikel voor red teamers. Het vereist dat AI-systemen met hoog risico "passende niveaus van nauwkeurigheid, robuustheid en cyberbeveiliging" bereiken en gedurende hun hele levenscyclus consistent presteren. Zo structureer je een testplan tegen de vereisten van Artikel 15:
| Lid van Art. 15 | Vereiste | Red-team-testgevallen |
|---|---|---|
| 15(1) | Nauwkeurigheid passend bij het doel | Benchmarken op een representatieve testset, degradatie meten onder adversarial condities |
| 15(2) | Bestendigheid tegen fouten en gebreken | Invoervalidatietesten, afhandeling van misvormde data, soepele degradatie |
| 15(3) | Bestendigheid tegen pogingen van ongeautoriseerde derden | Prompt-injectie, data-exfiltratie, modelextractie, jailbreaken |
| 15(4) | Technische redundantieoplossingen | Failover-testen, validatie van back-upmodel, werking in gedegradeerde modus |
| 15(5) | Cyberbeveiliging gedurende de levenscyclus | Beoordeling van API-beveiliging, dependency-scanning, beveiliging van de CI/CD-pijplijn |
Algemene AI-modellen (GPAI) met systeemrisico
Modellen die 10^25 FLOPs overschrijden (of die door het AI Office worden aangewezen) hebben aanvullende verplichtingen onder de Artikelen 51-55. Begin 2026 omvat deze drempel frontier-modellen van grote AI-labs. Het AI Office kan ook modellen onder deze drempel aanwijzen als zij vergelijkbare systeemrisico's vormen.
Adversarial testen
Voer adversarial tests uit, waaronder red-teamen, om systeemrisico's te identificeren en te mitigeren. Dit is een expliciet red-teammandaat onder Artikel 55(1)(a).
Modelevaluatie
Evalueer het model tegen gestandaardiseerde benchmarks en state-of-the-art evaluatie-instrumenten. Artikel 55(1)(b) vereist evaluatie tegen EU-geharmoniseerde benchmarks zodra die beschikbaar zijn.
Beoordeling van systeemrisico
Beoordeel en mitigeer systeemrisico's, waaronder die met betrekking tot de capaciteiten en beperkingen van het model.
Incidentrapportage
Rapporteer ernstige incidenten binnen 30 dagen aan het AI Office en de relevante nationale autoriteiten.
Cyberbeveiliging
Zorg voor adequate cyberbeveiliging van het model en zijn gewichten. Dit omvat bescherming tegen modeldiefstal, ongeautoriseerde toegang en adversarial manipulatie.
Wat "adversarial testen, waaronder red-teamen" betekent
De EU AI Act definieert geen specifieke red-teammethodologie, maar de ondersteunende richtsnoeren van CEN/CENELEC en het AI Office wijzen op verschillende verwachtingen:
| Verwachting | Wat het voor red teams impliceert |
|---|---|
| "State of the art"-testmethoden | Gebruik actuele technieken (GCG-aanvallen, multi-step-jailbreaks, indirecte injectie), niet alleen basale prompttests |
| Dekking van systeemrisico's | Test op het genereren van CBRN-content, desinformatiecapaciteiten, cyberaanvalcapaciteiten en discriminatie |
| Gedocumenteerde methodologie | Houd gedetailleerde testlogs, tool-configuraties en reproduceerbare testgevallen bij |
| Regelmatige cadans | Testen is geen eenmalige gebeurtenis; het moet worden herhaald naarmate het model wordt bijgewerkt |
| Onafhankelijke evaluatie | Hoewel zelfbeoordeling de standaard is, kan het AI Office beoordelingen door derden verzoeken |
GPAI-transparantieverplichtingen (alle GPAI-modellen)
Zelfs GPAI-modellen zonder systeemrisico moeten voldoen aan de transparantievereisten van Artikel 53:
| Verplichting | Beschrijving | Relevantie voor red-teamen |
|---|---|---|
| Technische documentatie | Gedetailleerde modeldocumentatie conform Bijlage XI | Red-teamrapporten dragen bij aan deze documentatie |
| Samenvatting van trainingsdata | Samenvatting van de trainingsdata, inclusief auteursrechtelijk beschermd materiaal | Heeft betrekking op data-extractietesten |
| Samenwerking met het EU AI Office | Informatie verstrekken op verzoek | Red-teambevindingen kunnen worden opgevraagd |
| Notificatie van downstream | Downstream-aanbieders informeren over capaciteiten en beperkingen | Bevindingen over modelbeperkingen voeden dit |
Conformiteitsbeoordeling
Zelfbeoordeling vs. beoordeling door derden
| Type systeem | Type beoordeling | Wie voert het uit |
|---|---|---|
| De meeste AI met hoog risico (Bijlage III) | Zelfbeoordeling (intern) | De aanbieder, volgens de procedures van Bijlage VI |
| Biometrische AI (Bijlage III, punt 1) | Beoordeling door derden | Aangemelde instantie (behalve bij gebruik door rechtshandhaving) |
| GPAI met systeemrisico | Modelevaluatie + praktijkcodes | Aanbieder + toezicht van het AI Office |
Wat een conformiteitsbeoordeling vereist
Voor zelfbeoordeling onder Bijlage VI moeten aanbieders het volgende documenteren:
| Documentatie-element | Bijdrage van het red team |
|---|---|
| Technische documentatie (Bijlage IV) | Red-teammethodologie, testgevallen, resultaten |
| Kwaliteitsmanagementsysteem | Testprocessen, toolvalidatie, teamkwalificaties |
| Documentatie van het risicobeheersysteem | Dreigingsmodellen, beoordelingen van kwetsbaarheden, risicoclassificaties |
| Test- en validatieresultaten | Red-teambevindingen, benchmarks, metrics |
| Genomen corrigerende maatregelen | Remediatiebewijs, hertestresultaten |
Implementatietijdlijn
| Datum | Mijlpaal | Red-teamimpact |
|---|---|---|
| Aug 2024 | AI Act treedt in werking | Begin met het voorbereiden van testmethodologieën |
| Feb 2025 | Verboden praktijken zijn van toepassing | Zorg dat de AI van klanten niet in verboden categorieën valt |
| Aug 2025 | GPAI-verplichtingen zijn van toepassing | Testen van systeemrisicomodellen vereist |
| Aug 2026 | Verplichtingen voor hoog risico (Bijlage III) zijn van toepassing | Volledige conformiteitsbeoordelingstests vereist |
| Aug 2027 | Resterende verplichtingen (Bijlage I) zijn van toepassing | Volledig framework van kracht |
Sancties en handhaving
De EU AI Act omvat aanzienlijke sancties die investeringen in compliance motiveren:
| Overtreding | Maximale boete | Van toepassing op |
|---|---|---|
| Verboden AI-praktijken (Titel II) | 35 miljoen EUR of 7% van de wereldwijde jaaromzet | Inzet van verboden AI-systemen |
| Niet-naleving bij hoog risico | 15 miljoen EUR of 3% van de wereldwijde jaaromzet | Niet voldoen aan de eisen voor hoog risico |
| Onjuiste informatie aan autoriteiten | 7,5 miljoen EUR of 1% van de wereldwijde jaaromzet | Onjuiste gegevens verstrekken bij conformiteitsbeoordelingen |
| GPAI-niet-naleving | Tot 15 miljoen EUR of 3% van de wereldwijde jaaromzet | Niet voldoen aan GPAI-verplichtingen |
Wisselwerking met andere regelgeving
De EU AI Act staat niet op zichzelf. Red teamers die EU-klanten bedienen, moeten begrijpen hoe deze samenwerkt met bestaande regelgeving:
| Regelgeving | Wisselwerking met EU AI Act | Red-teamimpact |
|---|---|---|
| AVG | AI die persoonsgegevens verwerkt, moet aan beide voldoen | Data-extractietesten moeten rekening houden met de principes van AVG-artikel 5 |
| NIS2-richtlijn | AI in kritieke infrastructuur valt onder beide cyberbeveiligingsframeworks | De scope van de infrastructuurbeveiligingsbeoordeling breidt uit |
| Richtlijn productveiligheid | AI in producten moet aan beide veiligheidsnormen voldoen | Het testen van veiligheidskritieke AI vereist domeinexpertise |
| Sectorregelgeving | Financiële diensten (MiFID II), medische hulpmiddelen (MDR), enz. | Sectorspecifieke testvereisten komen erbovenop |
| Auteursrechtrichtlijn | Naleving van auteursrecht op trainingsdata | Het extraheren van trainingsdata heeft auteursrechtelijke implicaties |
Compliancegerichte rapporten structureren
Wanneer je red-teamen uitvoert voor EU AI Act-compliance, structureer je rapport dan zodat het rechtstreeks aansluit op de regelgevingseisen:
| Rapportsectie | Sluit aan op | Inhoud |
|---|---|---|
| Systeembeschrijving | Bijlage IV (Technische documentatie) | Architectuur, beoogd gebruik, rechtvaardiging van risicoclassificatie |
| Dreigingsmodel | Art. 9(2)(a) (Bekende/voorzienbare risico's) | Op ATLAS gemapte dreigingen, OWASP-categorieën |
| Testmethodologie | Art. 9(6) (Testen met onbekende invoer) | Aanvalscategorieën, tools, procedures |
| Bevindingen | Art. 9(2)(b) (Evaluatie van misbruik) | Kwetsbaarheden met severity, exploiteerbaarheid, OWASP-mapping |
| Risicobeoordeling | Art. 9(2)(d) (Restrisico) | Risicoclassificaties met waarschijnlijkheid en impact |
| Remediatie-aanbevelingen | Art. 9(4) (Passende risicomaatregelen) | Specifieke mitigaties met prioriteit |
| Hertestresultaten | Art. 15 (Nauwkeurigheid/robuustheid) | Validatie na remediatie |
Voorbeeld van een rapportbevinding gemapt op de EU AI Act
Finding: Adversarial Robustness Failure in Hiring AI System
EU AI Act Reference: Article 15(3) - High-risk AI system
is not resilient to attempts by unauthorized third parties
to alter its use, outputs or performance
Risk Classification: High-Risk (Annex III, Area 4 - Employment)
OWASP LLM Mapping: LLM01 (Prompt Injection)
ATLAS Mapping: AML.T0051 (Prompt Injection)
Description: The AI-powered CV screening system is susceptible
to adversarial prompt injection via specially crafted text in
resume fields. An applicant embedding specific instruction
strings in white-on-white text within a PDF resume can
manipulate the scoring algorithm.
Conformity Assessment Impact: This finding indicates
non-compliance with Article 15(3) robustness requirements.
The system cannot demonstrate resilience to foreseeable misuse
as required by Article 9(2)(b).
Remediation: Implement input sanitization for resume text
extraction, add adversarial robustness testing to the CI/CD
pipeline, and document the residual risk per Article 9(2)(d).Gerelateerde onderwerpen
- Internationaal recht inzake AI-beveiliging -- bredere internationale regelgevingscontext
- NIST AI RMF & ISO 42001 -- complementaire risicobeheerframeworks
- Cross-framework-mappingreferentie -- EU AI Act gemapt op OWASP en ATLAS
- Overzicht van AI-beveiligingsframeworks -- hoe de EU AI Act past in het frameworklandschap
Referenties
- "Regulation (EU) 2024/1689: Artificial Intelligence Act" - European Parliament and Council (2024) - Full text of the EU AI Act including Articles 9, 15, and 55 on adversarial testing requirements
- "EU AI Act Compliance Checker" - European Commission (2025) - Official tool for determining AI system risk classification under the EU AI Act
- "Harmonised Standards for AI: Technical Documentation and Conformity Assessment" - European Committee for Standardization (CEN/CENELEC) (2025) - Standards supporting EU AI Act conformity assessment
- "Guidelines on High-Risk AI System Classification" - European AI Office (2025) - Official guidance on determining whether AI systems fall under Annex III high-risk categories
Welke AI-systemen zijn onder de EU AI Act expliciet verplicht om adversarial tests, waaronder red-teamen, te ondergaan?