Incident Response-playbook voor modelcompromittering

Playbook voor het reageren op een gecompromitteerd AI-model: isolatieprocedures, vervangingsstrategieën, onderzoek van de toeleveringsketen, overwegingen voor hertraining en integriteitsherstel.

Incident Response-playbook voor modelcompromittering

Dit playbook behandelt incidenten waarbij het AI-model zelf -- zijn gewichten, adapters, tokenizer of trainingspipeline -- is gecompromitteerd. Modelcompromittering behoort tot de meest ernstige AI-incidenten, omdat het model het kerncomponent is dat wordt vertrouwd om veilige, nauwkeurige uitvoer te produceren. Een gecompromitteerd model kan elke gebruiker en elke conversatie treffen totdat het wordt vervangen.

Triggercriteria

Activeer dit playbook wanneer:

• Gedragsanalyse modelveranderingen toont die niet worden verklaard door configuratie in de applicatielaag
• Integriteitscontroles van bestanden ongeautoriseerde wijzigingen aan modelartefacten onthullen
• Een toeleveringsketen-alert wijst op compromittering van een modelaanbieder, hostingplatform of distributiekanaal
• Backdoor-gedrag wordt gedetecteerd via triggerscanning of activatieanalyse
• Een onderzoek naar de herkomst van een model van derden manipulatie onthult

Onmiddellijke acties (eerste 30 minuten)

1. 1

   Bevestig en wijs toe met een uitgebreid team

   Modelcompromittering vereist doorgaans een breder responsteam dan andere AI-incidenten:

   Incident ID: AI-IR-[YYYY]-[NNNN]
   Type: Model Compromise
   Detected: [UTC timestamp]
   IC: [Name]
   AI Investigator: [Name] ← ML engineer with model internals expertise
   Infrastructure Lead: [Name] ← For deployment and isolation
   Supply Chain Investigator: [Name] ← For provenance investigation
   Evidence Custodian: [Name]
   

2. 2

   Bewaar het gecompromitteerde model

   Voordat je isoleert of vervangt, bewaar het gecompromitteerde model als bewijs:

   • Maak een snapshot van alle modelgewichtsbestanden met SHA-256-checksums
   • Leg alle adapterbestanden vast (LoRA, QLoRA)
   • Leg tokenizerbestanden en configuratie vast
   • Registreer de model-serving-configuratie (kwantisatie, batching, enz.)
   • Leg het deployment-manifest vast dat toont wanneer deze modelversie is gedeployed
   • Registreer de herkomst van het model: waar het is verkregen, wanneer, door wie
   • Bewaar fine-tuning-logs en verwijzingen naar trainingsdata indien van toepassing
   • Bewaar alles in geïsoleerde, alleen-lezen bewijsopslag

   # Preserve model artifacts
   EVIDENCE_DIR="/evidence/AI-IR-$(date +%Y)-NNNN/model"
   mkdir -p "$EVIDENCE_DIR"
    
   # Copy model files with integrity verification
   cp -r /models/production/current/* "$EVIDENCE_DIR/"
   sha256sum "$EVIDENCE_DIR"/* > "$EVIDENCE_DIR/checksums.sha256"
    
   # Record deployment state
   kubectl get deployment model-service -o yaml > "$EVIDENCE_DIR/deployment.yaml"
   kubectl describe pod -l app=model-service > "$EVIDENCE_DIR/pod_describe.txt"

3. 3

   Isoleer het gecompromitteerde model

   Verwijder het gecompromitteerde model uit productie terwijl je de service waar mogelijk in stand houdt:

   Isolatiestrategie	Wanneer te gebruiken	Impact
   Hot swap naar fallback-model	Fallback-model beschikbaar en getest	Minimale downtime; fallback kan andere capaciteiten hebben
   Terugrollen naar vorige versie	Vorige versie bekend-goed en beschikbaar	Vereist dat de versie is gecached; kan legitieme updates verliezen
   Gecontroleerde shutdown	Geen fallback beschikbaar; ernst rechtvaardigt downtime	Serviceonderbreking; duidelijke inperking
   Feature flag uitschakelen	AI-features kunnen worden uitgeschakeld terwijl niet-AI-features doorgaan	Gedeeltelijke serviceonderbreking

   Beslissingsframework:

   • Als het model actief schadelijke uitvoer produceert → onmiddellijke shutdown of swap
   • Als het model een backdoor heeft die nog niet is getriggerd → swap met urgentie maar plan de overgang
   • Als compromittering wordt vermoed maar niet bevestigd → schakel verbeterde monitoring in tijdens het onderzoek
4. 4

   Beoordeel de impactradius

   Bepaal de omvang van de impact:

   Vraag	Onderzoeksmethode	Implicatie
   Hoe lang was het gecompromitteerde model in productie?	Deployment-logs, versiegeschiedenis	Definieert het onderzoekstijdvenster
   Hoeveel gebruikers interacteerden ermee?	Verzoeklogs, gebruikersaantallen	Definieert de getroffen populatie
   Heeft het model schadelijke acties ondernomen?	Toolaanroeplogs, uitvoerbeoordeling	Bepaalt of de schade verder reikt dan het model
   Werd modeluitvoer gebruikt door downstream-systemen?	Integratielogs, dataflowkaarten	Mogelijk moeten downstream-uitvoeren worden teruggeroepen
   Wordt hetzelfde gecompromitteerde artefact door andere systemen gebruikt?	Deployment-inventaris	Andere systemen kunnen ook getroffen zijn

Onderzoek

Onderzoek van de toeleveringsketen

1. 1

   Breng de herkomstketen van het model in kaart

   Documenteer elke stap van de creatie van het model tot jouw deployment:

   ## Model Provenance Chain
    
   1. **Base model**: [provider, model name, version, release date]
      - Source: [URL or registry]
      - Downloaded by: [person/system]
      - Downloaded on: [date]
      - Original checksums verified: [yes/no]
    
   2. **Fine-tuning**: [if applicable]
      - Training data: [source, description]
      - Training infrastructure: [platform, who had access]
      - Training job ID: [ID]
      - Output checksums: [hashes]
    
   3. **Post-processing**: [quantization, conversion, etc.]
      - Process: [description]
      - Tools used: [versions]
      - Who performed: [person/system]
      - Output checksums: [hashes]
    
   4. **Deployment**:
      - Deployed by: [person/CI system]
      - Deployed on: [date]
      - Deployment method: [description]
      - Runtime configuration: [description]

2. 2

   Identificeer het punt van compromittering

   Vergelijk checksums bij elke stap van de herkomstketen om te identificeren waar de wijziging plaatsvond:

   Punt van compromittering	Indicatoren	Onderzoeksfocus
   Compromittering van aanbieder	Checksums komen niet overeen met de bron	Neem contact op met de aanbieder; controleer op bredere industriële impact
   Manipulatie tijdens download	Checksums komen overeen met de bron maar niet met je opgeslagen kopie	Onderzoek netwerkbeveiliging, man-in-the-middle
   Compromittering tijdens fine-tuning	Checksums vóór fine-tuning OK, na fine-tuning anders dan verwacht	Onderzoek trainingsdata en trainingsinfrastructuur
   Manipulatie tijdens post-processing	Wijziging na kwantisatie of formaatconversie	Onderzoek toegangscontroles van de verwerkingspipeline
   Compromittering tijdens deployment	Opgeslagen model is schoon, gedeployd model verschilt	Onderzoek deployment-pipeline, containerbeveiliging
   Wijziging tijdens runtime	Gedeployd model veranderd na deployment	Onderzoek hostbeveiliging, schrijftoegang tot modelbestanden

3. 3

   Onderzoek de compromitteringsvector

   Op basis van het punt van compromittering, onderzoek de specifieke aanvalsvector:

   Vector	Onderzoeksstappen
   Kwaadaardige trainingsdata	Audit trainingsdata op vergiftigde voorbeelden; controleer de integriteit van de databron
   Gecompromitteerde fine-tuning-pipeline	Beoordeel toegangslogs van de pipeline; controleer op ongeautoriseerde wijzigingen
   Kwaadaardige adapter	Inspecteer herkomst, rank en doelmodules van de adapter
   Gecompromitteerd modelregister	Audit registertoegang; controleer op ongeautoriseerde pushes
   Containercompromittering	Onderzoek de geschiedenis van de container-image; scan op malware
   Interne dreiging	Beoordeel toegangslogs voor modelbestanden en trainingsinfrastructuur

Gedragsforensiek

Voer tijdens het onderzoek van de toeleveringsketen gedragsanalyse uit van het gecompromitteerde model.

Remediëring

Beslissingsmatrix voor modelvervanging

Overwegingen voor hertraining

Als hertraining vereist is:

Verificatie

Integriteitsverificatie

Gedragsverificatie

Post-mortem-checklist

Gerelateerde onderwerpen

• Model Forensics -- gedetailleerde technieken voor modelonderzoek
• Backdoor Detection -- procedures voor backdoor-scanning
• Tampering Detection -- verificatie van bestandsintegriteit
• Model Snapshots -- modelbewijs bewaren
• Infrastructure & Supply Chain -- aanvalsvectoren in de toeleveringsketen

Referenties

• "Model Supply Chain Security" - MITRE ATLAS (2025) - AI supply chain attack framework
• "Securing the ML Pipeline" - Google (2024) - ML pipeline security best practices
• "SLSA: Supply-chain Levels for Software Artifacts" - OpenSSF (2024) - Supply chain security framework applicable to model artifacts
• "Backdoor Attacks and Defenses in Deep Learning" - IEEE S&P (2025) - Comprehensive backdoor attack and defense survey