Oefenexamen 3: Expert Red Team
Oefenexamen van 25 vragen op expertniveau over onderzoekstechnieken, automatisering, fine-tuning-aanvallen, toeleveringsketenbeveiliging en incidentrespons.
Oefenexamen 3: Expert Red Team
Dit examen is bedoeld voor senior beoefenaars en onderzoekers. Het behandelt geavanceerde onderwerpen en vereist diepgaand technisch inzicht, operationele ervaring en het vermogen om te redeneren over nieuwe aanvalsscenario's. Je zou Proficient of hoger gescoord moeten hebben op zowel Oefenexamen 1 als 2 voordat je hieraan begint.
Sectie A: Onderzoekstechnieken (Vragen 1-5)
1. Wat is de methodologische standaard die vereist is om een nieuwe aanvalstechniek tegen een LLM als rigoureus te beschouwen?
2. Wat is de rol van ablatiestudies in AI red team-onderzoek?
3. Hoe moet een red team-onderzoeker de uitdaging benaderen van het vergelijken van slagingspercentages van aanvallen over verschillende modelproviders heen, wanneer elke provider andere safety-evaluatiecriteria gebruikt?
4. Wat is 'gradient-based adversarial prompt optimization' en waarom is het alleen toepasbaar op white-box- of open-weight-modellen?
5. Hoe beïnvloedt het concept 'transferability' in adversarial AI-onderzoek praktisch red teaming tegen closed-source-modellen?
Sectie B: Automatisering (Vragen 6-10)
6. Wat is het belangrijkste voordeel van het gebruik van LLM-aangedreven fuzzing voor geautomatiseerde jailbreak-ontdekking?
7. Wat is bij het ontwerpen van een geautomatiseerde red team-pijplijn die in CI/CD draait, de cruciale ontwerpoverweging voor het omgaan met niet-deterministische resultaten?
8. Wat is de rol van een geautomatiseerd 'judge model' in red team-evaluatiepijplijnen?
9. Hoe moet een geautomatiseerd red team-systeem omgaan met de ontdekking van een nieuwe kwetsbaarheid met hoge ernst tijdens een onbemande CI/CD-run?
10. Wat is het doel van 'attack tree'-datastructuren in geautomatiseerd red teaming?
Sectie C: Fine-tuning-aanvallen (Vragen 11-15)
11. Hoeveel adversarial fine-tuning-voorbeelden zijn doorgaans voldoende om de safety-training van een model significant te degraderen?
12. Wat is een LoRA (Low-Rank Adaptation) poisoning-aanval?
13. Hoe kan een aanvaller fine-tuning-as-a-service-platforms uitbuiten om een safety-gestript model te creëren?
14. Wat is 'catastrophic forgetting' in de context van safety-alignment, en hoe wordt het uitgebuit?
15. Hoe moet een red teamer de effectiviteit van de safety-guardrails van een fine-tuning-platform evalueren?
Sectie D: Toeleveringsketenbeveiliging (Vragen 16-20)
16. Wat zijn de belangrijkste aanvalsoppervlakken in de AI-modeltoeleveringsketen?
17. Hoe moeten organisaties de integriteit verifiëren van een model dat is gedownload van een openbare model-hub?
18. Wat is 'dependency confusion' in de context van ML-pijplijnen, en hoe maakt het toeleveringsketenaanvallen mogelijk?
19. Waarom is het bijhouden van modelprovenance complexer dan traditionele softwareprovenance?
20. Welk specifiek risico vormen door de community bijgedragen modeladapters (LoRA, QLoRA) voor de AI-toeleveringsketen?
Sectie E: Incidentrespons (Vragen 21-25)
21. Wat is de juiste volgorde van handelingen wanneer is bevestigd dat een AI-systeem schadelijke outputs produceert als gevolg van een vermoedelijke prompt-injectiecampagne?
22. Hoe verschilt incidenttriage voor AI-systemen vergeleken met traditionele softwaresystemen?
23. Wat is tijdens een AI-incident het doel van het inzetten van een 'canary prompt' op het getroffen systeem?
24. Wat is het meest uitdagende aspect van root cause-analyse voor AI-incidenten waarbij prompt-injectie betrokken is?
25. Hoe moet een organisatie communiceren over een AI-incident naar getroffen gebruikers terwijl transparantie en security in balans worden gehouden?