Juridische kaders voor AI-red teaming

Het juridische landschap voor AI-beveiligingstesten: implicaties van de CFAA, AI-specifieke regelgeving, internationale verschillen en de grenzen tussen rechtmatig onderzoek en ongeautoriseerde toegang.

AI-red teaming bevindt zich in een juridisch complexe ruimte. Anders dan bij traditionele penetratietests, waar decennia aan jurisprudentie verduidelijken wat geautoriseerde toegang inhoudt, omvat AI-beveiligingstesten nieuwe aanvalsoppervlakken -- prompt-injectie, modelextractie, alignment-omzeiling -- die bestaande wetgeving nooit was bedoeld aan te pakken.

De Computer Fraud and Abuse Act (CFAA)

De CFAA blijft het belangrijkste juridische risico voor AI-red teamers die opereren in of zich richten op systemen in de Verenigde Staten.

Belangrijke bepalingen relevant voor AI-testen

Het probleem van "Exceeds Authorized Access"

De uitspraak van het Supreme Court uit 2021 in Van Buren v. United States versmalde de bepaling "exceeds authorized access" van de CFAA, met de uitspraak dat deze alleen van toepassing is wanneer iemand zich toegang verschaft tot delen van een computer waartoe diegene geen recht heeft, niet wanneer diegene informatie misbruikt waartoe diegene wél recht heeft. Dit heeft directe implicaties voor AI-red teaming.

CFAA safe harbors voor onderzoek

De beleidswijziging van het DOJ uit 2022 instrueerde federale aanklagers om geen CFAA-aanklachten in te dienen tegen beveiligingsonderzoekers te goeder trouw. Het beleid identificeert verschillende factoren die op goede trouw wijzen:

1. 1

   Geautoriseerde scope

   Testen wordt uitgevoerd binnen de grenzen van een bug bounty-programma of een geautoriseerde opdracht.

2. 2

   Disclosure van kwetsbaarheden

   Ontdekte kwetsbaarheden worden gemeld aan de systeemeigenaar, niet uitgebuit voor persoonlijk gewin.

3. 3

   Minimale schade

   Testen veroorzaakt geen onnodige schade, data-exfiltratie of dienstverstoring.

4. 4

   Geen afpersing

   Bevindingen worden niet gebruikt om de systeemeigenaar te bedreigen of af te persen.

AI-specifieke regelgeving

Verschillende jurisdicties hebben AI-specifieke wetten ingevoerd of voorgesteld die nieuwe juridische verplichtingen -- en nieuwe juridische risico's -- creëren voor beveiligingsonderzoekers.

Verenigde Staten: Executive Order 14110

De Executive Order uit 2023 over Safe, Secure, and Trustworthy AI introduceerde verschillende bepalingen die relevant zijn voor red teaming:

• Rapportage over dual-use foundation models: Ontwikkelaars van modellen die aan de compute-drempels voldoen, moeten red team-resultaten aan de overheid rapporteren
• Vereisten voor red team-testen: Federale instanties moeten red team-testen uitvoeren voordat ze AI-systemen inzetten
• Alignment met NIST AI RMF: Testen moet aansluiten op de richtlijnen van het NIST AI Risk Management Framework

EU AI Act

De EU AI Act creëert een risicogebaseerd classificatiesysteem met specifieke testvereisten voor AI-systemen met hoog risico. Zie de speciale pagina over nalevingstesten voor de EU AI Act voor een gedetailleerde analyse.

AI-wetten op staatsniveau

Verschillende Amerikaanse staten hebben AI-specifieke wetgeving ingevoerd:

Wanneer testen legaal is vs. illegaal

De rechtmatigheid van AI-red teaming hangt af van verschillende factoren die op complexe manieren op elkaar inwerken.

Doorgaans rechtmatig (met voorbehouden)

• Het testen van je eigen AI-systemen of modellen die je beheert
• Testen onder een ondertekende autorisatieovereenkomst (met beperkte scope)
• Deelnemen aan officiële bug bounty-programma's binnen de gestelde regels
• Academisch onderzoek naar open-sourcemodellen met gepubliceerde gewichten
• Prompt-injectietesten op publieke API's binnen de gebruiksvoorwaarden

Juridische grijze gebieden

• Het jailbreaken van commerciële AI-diensten zonder expliciete autorisatie
• Het extraheren van system prompts uit AI-assistenten in productie
• Het testen op bias- of veiligheidskwesties in publieke AI-systemen zonder toestemming
• Geautomatiseerd grootschalig testen dat een denial of service zou kunnen vormen
• Het omzeilen van AI-veiligheidsfilters (mogelijke implicaties van DMCA 1201)

Doorgaans onrechtmatig

• Het extraheren van eigendomsrechtelijke modelgewichten zonder autorisatie
• Het exfiltreren van trainingsdata met PII of bedrijfsgeheimen
• Het testen van systemen nadat je expliciet is verteld te stoppen
• Het gebruiken van ontdekte kwetsbaarheden voor persoonlijk gewin
• Het verkrijgen van toegang tot interne API's of infrastructuur voorbij de AI-interface

Overwegingen rond gebruiksvoorwaarden

De meeste AI-dienstaanbieders nemen bepalingen op in hun gebruiksvoorwaarden die red teaming-activiteiten beïnvloeden.

Een juridische basis opbouwen

Voordat je een AI-red teaming-opdracht aangaat, stel je je juridische positie vast.

1. 1

   Verkrijg schriftelijke autorisatie

   Zorg voor een ondertekende opdrachtbrief die scope, methoden, tijdlijn en gegevensverwerking specificeert. Zie de pagina over autorisatie en contracten voor sjablonen.

2. 2

   Toets de toepasselijke wetten

   Identificeer alle betrokken jurisdicties (locatie van de tester, locatie van het systeem, locatie van de gegevens) en toets de relevante wetten. Zie internationale AI-beveiligingswetgeving.

3. 3

   Controleer het beleid van de aanbieder

   Toets de gebruiksvoorwaarden, het bug bounty-programma en het beleid voor verantwoorde disclosure van de AI-aanbieder.

4. 4

   Documenteer alles

   Houd gedetailleerde logs bij van alle testactiviteiten, communicatie en bevindingen. Documentatie is je primaire verdediging als de rechtmatigheid in twijfel wordt getrokken.

5. 5

   Sluit passende verzekering af

   Een beroepsaansprakelijkheidsverzekering is essentieel voor commerciële red teaming. Zie vereisten voor verzekering en naleving.

Gerelateerde onderwerpen

• Autorisatie, contracten & aansprakelijkheid -- praktische contractsjablonen en aansprakelijkheidsbeschermingen
• Internationale AI-beveiligingswetgeving -- jurisdictiespecifieke juridische analyse
• Ethiek & verantwoorde disclosure -- ethische kaders die juridische naleving aanvullen
• NIST AI RMF & ISO 42001 -- risicomanagementkaders die juridische verplichtingen informeren

Referenties

• "Computer Fraud and Abuse Act (CFAA)" - U.S. Congress, 18 U.S.C. § 1030 - Federal statute governing unauthorized access to computer systems, as narrowed by Van Buren v. United States (2021)
• "Executive Order 14110 on Safe, Secure, and Trustworthy AI" - The White House (2023) - Presidential directive establishing AI safety testing requirements for federal agencies and critical infrastructure
• "EU Artificial Intelligence Act" - European Parliament (2024) - Comprehensive AI regulation including adversarial testing requirements for high-risk AI systems
• "NIST AI Risk Management Framework (AI RMF 1.0)" - National Institute of Standards and Technology (2023) - Voluntary framework for managing AI risks, referenced by regulators and courts
• "Authorized Access and the CFAA: A Research-Oriented Perspective" - Electronic Frontier Foundation (2021) - Analysis of CFAA implications for security researchers post-Van Buren