Incident Response-playbook voor data-exfiltratie
Playbook voor AI-gemedieerde data-exfiltratie: blootgestelde data identificeren, de omvang van exfiltratie bepalen, dataclassificatie, procedures voor inbreukmelding en remediëring.
Incident Response-playbook voor data-exfiltratie
Dit playbook behandelt incidenten waarbij een AI-systeem data heeft onthuld, gelekt of geëxfiltreerd die niet toegankelijk had mogen zijn voor de verzoekende gebruiker. Dit omvat extractie van trainingsdata, RAG-datalekkage over autorisatiegrenzen heen, openbaarmaking van een system prompt die gevoelige informatie bevat, openbaarmaking van PII en agent-gemedieerde data-exfiltratie via toolaanroepen.
Triggercriteria
Activeer dit playbook wanneer:
- Modeluitvoer data bevat die boven het autorisatieniveau van de gebruiker is geclassificeerd
- Modeluitvoer PII, PHI, financiële data of bedrijfsgeheimen bevat
- Een system prompt die gevoelige informatie bevat (API-sleutels, interne URL's, credentials) wordt onthuld
- Een RAG-systeem documenten teruggeeft van een andere tenant of ongeautoriseerde collectie
- Toolaanroepen van agents data ophalen of verzenden buiten geautoriseerde grenzen
- Extractie van trainingsdata is bevestigd (model reproduceert gememoriseerde privédata)
Onmiddellijke acties (eerste 30 minuten)
Bevestig en wijs toe
Incident ID: AI-IR-[YYYY]-[NNNN] Type: Data Exfiltration Detected: [UTC timestamp] IC: [Name] AI Investigator: [Name] Evidence Custodian: [Name] Legal Contact: [Name] ← Required for data exfiltration incidentsBewaar bewijs met chain of custody
Incidenten met data-exfiltratie kunnen bewijs vereisen voor gerechtelijke procedures of regelgevende respons. Pas vanaf het begin strikte chain of custody toe:
- Leg de complete conversatie vast met alle modeluitvoer die blootgestelde data bevat
- Registreer hashes van alle bewijsbestanden
- Log de identiteit van de persoon die bewijs verzamelt en de verzamelmethode
- Bewaar in een sabotagebestendige, toegangsgecontroleerde bewijsrepository
- Leg de gebruikersidentiteit en sessiemetadata van de verzoeker vast
- Bewaar de modelversie, system prompt en configuratie die op dat moment actief waren
- Als RAG betrokken is, leg de ophaallogs en de status van de documentindex vast
- Als tools betrokken zijn, leg alle toolaanroeplogs vast met parameters en resultaten
Stop de bloeding
Voorkom onmiddellijk verdere exfiltratie:
Exfiltratiekanaal Inperkingsactie Modeluitvoer Voeg een uitvoerclassifier toe voor het datatype; overweeg de gebruiker te blokkeren System prompt in uitvoer Roteer onmiddellijk alle credentials in de system prompt; werk de prompt bij RAG-lekkage tussen tenants Schakel gedeeld ophalen uit of voeg strikte tenantfiltering toe Exfiltratie via toolaanroepen Beperk toegang tot tools; blokkeer uitgaand netwerk voor de agent Extractie van trainingsdata Voeg een uitvoerfilter toe voor bekende trainingsdatapatronen; rate limit Initiële dataclassificatie
Classificeer de blootgestelde data onmiddellijk om de urgentie van melding te bepalen:
Datatype Classificatie Meldingsklok PII (namen, e-mails, BSN's, enz.) Gereguleerd (AVG/CCPA/HIPAA) Start nu -- 72 u voor AVG PHI (gezondheidsinformatie) HIPAA-gereguleerd Start nu -- deadline van 60 dagen Financiële data (rekeningen, kaarten) PCI/financiële regelgeving Start nu Credentials (API-sleutels, wachtwoorden) Intern -- credentialrotatie nodig Onmiddellijke rotatie Bedrijfsgeheimen Intern -- juridische beoordeling nodig Juridische beoordeling vereist Systeemconfiguratie (URL's, architectuur) Intern -- beveiligingsbeoordeling nodig Risicobeoordeling vereist
Onderzoek (uur 1-4)
Bepaling van de omvang
De cruciale vraag is: hoeveel data is blootgesteld en aan wie?
Identificeer alle exfiltratie-instanties
Doorzoek logs op alle instanties waar het geïdentificeerde datatype is blootgesteld:
-- Search for PII patterns in model outputs SELECT session_id, user_id, timestamp, output_content, model_version FROM prompt_completion_logs WHERE ( output_content ~ '\b\d{3}-\d{2}-\d{4}\b' -- SSN pattern OR output_content ~ '\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}\b' -- Email OR output_content ~ '\b\d{4}[\s-]?\d{4}[\s-]?\d{4}[\s-]?\d{4}\b' -- Credit card -- Add patterns specific to your data types ) AND timestamp > '[incident_window_start]' AND timestamp < '[incident_window_end]' ORDER BY timestamp;Bepaal de databron
Identificeer hoe het model de blootgestelde data verkreeg:
Bron Hoe te verifiëren Implicatie Memorisatie van trainingsdata Test met extractieprompts op een verse modelinstantie Treft alle conversaties; probleem op modelniveau RAG-ophaling Controleer ophaallogs op de teruggegeven documenten Treft gebruikers die specifieke ophalingen kunnen triggeren Content van system prompt Beoordeel de system prompt op ingebedde gevoelige data Treft alle gebruikers van dit endpoint Resultaten van toolaanroepen Controleer toolaanroeplogs op datatoegang Hangt af van toegangscontroles op tools Conversatiegeschiedenis Controleer op contextlekkage tussen gebruikers Multi-tenancyprobleem op architectuurniveau Kwantificeer de blootstelling
Bouw een complete blootstellingsinventaris:
## Exposure Inventory ### Data Types Exposed - [ ] PII: [types, count of records] - [ ] PHI: [types, count of records] - [ ] Financial: [types, count of records] - [ ] Credentials: [types, count] - [ ] Trade secrets: [description] - [ ] System configuration: [description] ### Individuals Affected - Count: [number] - Jurisdictions: [list of applicable jurisdictions] - Data subjects: [customers / employees / third parties] ### Exposure Recipients - Who received the data: [user IDs, count] - Were they authorized to access this data: [yes/no] - Is any recipient a known threat actor: [yes/no/unknown] ### Exposure Duration - First known exposure: [timestamp] - Last known exposure: [timestamp] - Total duration: [duration]Beoordeel downstream-verspreiding
Bepaal of de blootgestelde data zich heeft verspreid buiten de initiële openbaarmaking:
- Heeft de gebruiker de uitvoer van het model gedeeld, gekopieerd of doorgestuurd?
- Is de uitvoer van het model in een downstream-systeem ingevoerd?
- Is de conversatiedata toegankelijk voor andere gebruikers of systemen?
- Is de data verschenen op publieke fora of paste-sites?
Inperking en remediëring
Onmiddellijke remediëring
| Actie | Wanneer | Eigenaar |
|---|---|---|
| Roteer blootgestelde credentials | Onmiddellijk bij identificatie | Beveiligingsteam |
| Voeg uitvoerfilter toe voor datatype | Binnen 1 uur | AI-team |
| Herstel RAG-toegangscontroles | Binnen 1 uur als RAG de bron is | Data engineering |
| Werk system prompt bij | Binnen 1 uur als de prompt gevoelige data bevatte | Applicatieteam |
| Blokkeer bevestigde aanvaller | Onmiddellijk | Beveiligingsteam |
Remediëring van de hoofdoorzaak
| Hoofdoorzaak | Remediëring | Tijdlijn |
|---|---|---|
| Memorisatie van trainingsdata | Datadeduplicatie, unlearning-technieken, uitvoerfiltering | Dagen tot weken |
| Falen van RAG-toegangscontrole | Implementeer documentfiltering per gebruiker, tenantisolatie | Dagen |
| Gevoelige system prompt | Verwijder gevoelige data uit de prompt; gebruik backend-configuratie | Uren |
| Falen van toegangscontrole op tools | Implementeer least-privilege-toegang tot tools, parametervalidatie | Dagen |
| Multi-tenant contextlekkage | Architectuurbeoordeling, sessie-isolatie | Weken |
Beslissingsframework voor melding
Stap 1: Is dit een meldingsplichtige inbreuk?
| Factor | Beoordeling |
|---|---|
| Is persoonlijke data van identificeerbare personen blootgesteld? | Zo ja, waarschijnlijk meldingsplichtig |
| Was de data versleuteld op het moment van blootstelling? | Indien versleuteld en sleutel niet gecompromitteerd, kan de meldingsomvang verminderen |
| Was de blootstelling beperkt tot de interne verwerking van het AI-model? | Als data in de context van het model zat maar niet in de uitvoer, is het mogelijk geen blootstelling |
| Was de ontvanger geautoriseerd om deze data te benaderen? | Indien geautoriseerd, is het mogelijk geen inbreuk |
| Is de data hersteld of bevestigd verwijderd? | Kan de meldingsverplichting verminderen maar niet elimineren |
Stap 2: Meldingsvereisten
| Jurisdictie / Regelgeving | Drempel | Tijdlijn | Ontvanger |
|---|---|---|---|
| AVG | Elke ongeautoriseerde openbaarmaking van persoonlijke data | 72 uur (autoriteit), zonder onnodige vertraging (individuen) | Toezichthoudende autoriteit + getroffen individuen bij hoog risico |
| CCPA/CPRA | Ongeautoriseerde toegang tot onversleutelde persoonlijke informatie | Voortvarend | California AG + getroffen individuen |
| HIPAA | Ongeautoriseerde openbaarmaking van PHI | 60 dagen (individuen), jaarlijks (HHS bij <500), 60 dagen (HHS bij >=500) | HHS OCR + getroffen individuen |
| Statelijke inbreukwetten | Varieert per staat | Varieert (30-90 dagen typisch) | State AG + getroffen individuen |
| SEC-regels | Materieel cyberbeveiligingsincident | 4 werkdagen | SEC (Form 8-K) |
Stap 3: Inhoud van de melding
Juridisch adviseur zou alle externe meldingen moeten opstellen. Voorzie hen van:
- Exacte blootgestelde datatypen en aantallen records
- Aantal getroffen individuen en hun jurisdicties
- Tijdlijn van blootstelling (eerste tot laatst bekende instantie)
- Genomen inperkingsacties
- Geplande remediëringsstappen
- Of de blootstelling aan een enkele gebruiker of meerdere partijen was
Verificatie
| Controle | Procedure | Slaagcriteria |
|---|---|---|
| Exfiltratiekanaal gesloten | Probeer de oorspronkelijke exfiltratietechniek 50 keer | 0% slaagpercentage |
| Filter voor datatype effectief | Test de uitvoerfilter met bekende datapatronen | Alle patronen gevangen |
| Toegangscontroles afgedwongen | Test toegang over grenzen heen (RAG, tools) | Alle ongeautoriseerde toegang geblokkeerd |
| Credentials geroteerd | Verifieer dat oude credentials niet meer werken | Bevestigd ingetrokken |
| Geen false positives | Test legitieme query's die vergelijkbare patronen gebruiken | Normale functionaliteit behouden |
Post-mortem-checklist
| # | Item | Status |
|---|---|---|
| 1 | Complete blootstellingsinventaris gedocumenteerd | |
| 2 | Alle getroffen individuen geïdentificeerd | |
| 3 | Meldingsbeslissingen gedocumenteerd met juridische beoordeling | |
| 4 | Alle meldingen verzonden binnen de vereiste tijdlijnen | |
| 5 | Hoofdoorzaak geïdentificeerd en bevestigd | |
| 6 | Remediëring gedeployed en geverifieerd | |
| 7 | Dataclassificatie van AI-trainingsdata beoordeeld | |
| 8 | RAG-toegangscontroles geaudit | |
| 9 | System prompts beoordeeld op gevoelige content | |
| 10 | Toegangscontroles op tools geaudit | |
| 11 | Monitoring voor het datatype toegevoegd aan productie |
Gerelateerde onderwerpen
- Incident Classification -- classificatie van datalek-incidenten
- Escalation Paths -- procedures voor regelgevende melding
- Tool Call Forensics -- onderzoeken van tool-gemedieerde exfiltratie
- Conversation Preservation -- exfiltratiebewijs bewaren
- Governance, Legal & Compliance -- regelgevend landschap voor AI-data-incidenten
Referenties
- "GDPR Article 33: Notification of a Personal Data Breach" - European Parliament (2016) - 72-hour notification requirement
- "NIST SP 800-122: Guide to Protecting PII" - NIST (2010) - PII handling and breach response
- "AI-Mediated Data Breaches: Legal and Technical Analysis" - Berkman Klein Center (2025) - Legal analysis of AI-specific data breach scenarios
- "OWASP Top 10 for LLM Applications: LLM06 - Sensitive Information Disclosure" - OWASP Foundation (2025)
Een AI-chatbot onthulde 3 e-mailadressen van EU-klanten als reactie op een gemaakte prompt. AVG-melding aan de toezichthoudende autoriteit wordt getriggerd. Wanneer start de klok van 72 uur?