Modeltypes en hun aanvalsoppervlakken

Hoe tekst-, vision-, multimodale, embedding- en codegeneratiemodellen elk unieke kwetsbaarheden en aanvalsoppervlakken voor redteamers met zich meebrengen.

Waarom het modeltype ertoe doet

Niet alle AI-modellen zijn vanuit beveiligingsoogpunt gelijk. Een tekst-only chatbot, een vision-classifier, een codegeneratietool en een embeddingmodel gebruiken allemaal neurale netwerken, maar hun invoer, uitvoer en faalwijzen verschillen drastisch. Het modeltype begrijpen vertelt je welke aanvallen mogelijk zijn, welke waarschijnlijk slagen en welke irrelevant zijn.

Tekstgeneratiemodellen

Tekstgeneratiemodellen (GPT-4, Claude, Llama, Mistral) accepteren tekstinvoer en produceren tekstuitvoer. Ze zijn het meest voorkomende doelwit voor AI-redteaming.

Aanvalsoppervlak

Unieke kenmerken

Tekstmodellen worden getraind op tekstdata op internetschaal, wat betekent dat ze een enorme hoeveelheid informatie hebben gememoriseerd — inclusief mogelijk gevoelige, auteursrechtelijk beschermde en persoonlijke data. Hun natuurlijke-taalinterface maakt ze toegankelijk voor aanvallers zonder technische expertise, en hun generieke karakter betekent dat guardrails een enorm scala aan mogelijke schadelijke uitvoer moeten afdekken.

Vision-modellen

Vision-modellen verwerken beelden als invoer. Hieronder vallen beeldclassifiers (ResNet, ViT), object detectors (YOLO) en beeldbegrijpende modellen die tekstuele beschrijvingen van beelden genereren.

Aanvalsoppervlak

Unieke kenmerken

Vision-modellen werken in een continue invoerruimte (pixelwaarden) in plaats van een discrete (tokens), wat gradient-gebaseerde adversarial verstoringsaanvallen mogelijk maakt die geen directe tegenhanger hebben in tekstmodellen. Ook de toepasbaarheid in de fysieke wereld verschilt — adversarial patches op stopborden of medische beelden kunnen veiligheidskritieke gevolgen hebben.

Multimodale modellen

Multimodale modellen (GPT-4V, Gemini, Claude met vision) accepteren meerdere invoertypen — tekst en beelden, of tekst, beelden en audio. Ze vormen de frontier van zowel capaciteit als aanvalsoppervlak.

Aanvalsoppervlak

Multimodale modellen erven de aanvalsoppervlakken van elke modaliteit die ze ondersteunen, plus volledig nieuwe cross-modale aanvalsvectoren:

Unieke kenmerken

Het cross-modale aanvalsoppervlak is de bepalende beveiligingsuitdaging van multimodale modellen. Elke modaliteit heeft zijn eigen voorverwerkingspijplijn, en de fusielaag waar modaliteiten worden gecombineerd is een doelwit met hoge waarde. Aanvallen die de kloof misbruiken tussen hoe verschillende modaliteiten worden gefilterd, zijn bijzonder effectief, omdat guardrail-systemen modaliteiten vaak inconsistent afdekken.

Embeddingmodellen

Embeddingmodellen (text-embedding-3, voyage-3, BGE) zetten tekst (of andere data) om in dichte numerieke vectoren. Ze genereren geen tekst — ze produceren vectoren met een vaste dimensie die gebruikt worden voor search, classificatie en RAG.

Aanvalsoppervlak

Unieke kenmerken

Embeddingmodellen vormen het fundament van RAG-systemen. Als een aanvaller kan manipuleren wat er wordt opgehaald, kan hij de uitvoer van het generatieve model beïnvloeden zonder het ooit direct aan te vallen. Embeddingaanvallen zijn indirect maar zeer effectief, omdat ze het vertrouwen misbruiken dat generatieve modellen in opgehaalde content stellen.

Codegeneratiemodellen

Codegeneratiemodellen (Codex, CodeLlama, StarCoder, Copilot) zijn getraind om uitvoerbare code te produceren. Dit creëert een fundamenteel ander risicoprofiel dan tekstgeneratie.

Aanvalsoppervlak

Unieke kenmerken

Het cruciale verschil met codegeneratiemodellen is dat hun uitvoer vaak wordt uitgevoerd. Schadelijke tekstuitvoer is zorgwekkend; schadelijke code die wordt uitgevoerd is een actieve exploit. Codegeneratiemodellen kampen ook met de unieke uitdaging van package-hallucinatie — het genereren van import-statements voor packages die niet bestaan, die aanvallers kunnen registreren en vullen met malware.

Gespecialiseerde en domeinspecifieke modellen

Verschillende categorieën gespecialiseerde modellen brengen unieke aanvalsoppervlakken met zich mee:

Spraak- en audiomodellen

Modellen als Whisper (speech-to-text) en text-to-speech-systemen kampen met adversarial audio-aanvallen, spoofing van sprekers en injectie van verborgen commando's in audiostromen.

Beeldgeneratiemodellen

Modellen als DALL-E, Stable Diffusion en Midjourney kunnen worden gemanipuleerd om schadelijke beelden te genereren, contentfilters te omzeilen via geobfusqueerde prompts, of auteursrechtelijk beschermd materiaal te reproduceren. Aanvallen richten zich op promptobfuscatie en het ontwijken van classifiers.

Aanbevelingsmodellen

Modellen die content, producten of acties aanbevelen, kunnen worden gemanipuleerd via interactievergiftiging (strategische kliks of beoordelingen), voorkeursinjectie en misbruik van de filterbubbel.

Classificatiemodellen

Binaire of multiclass-classifiers die gebruikt worden voor contentmoderatie, spamdetectie of veiligheidsfiltering zijn doelwitten voor ontwijkingsaanvallen. Technieken zijn onder meer adversarial verstoring, misbruik van beslisgrenzen en manipulatie van trainingsdata.

Je aanvalsstrategie kiezen op basis van het modeltype

Gerelateerde onderwerpen

• Het AI-landschap — het bredere ecosysteem waarin deze modellen opereren
• Deploymentpatronen — hoe deployment de modeltype-specifieke risico's beïnvloedt
• Adversarial ML: kernconcepten — de theoretische grondslagen van adversarial aanvallen
• Hoe LLM's werken — diepere duik in de binnenkant van tekstgeneratiemodellen

Bronnen

• "Adversarial Examples in the Physical World" - Kurakin et al. (2017) - Baanbrekend werk dat adversarial verstoringen demonstreert die overdraagbaar zijn naar vision-systemen in de fysieke wereld
• "Visual Adversarial Examples Jailbreak Aligned Large Language Models" - Qi et al. (2023) - Onderzoek naar cross-modale aanvallen op multimodale taalmodellen
• "Poisoning Language Models During Instruction Tuning" - Wan et al. (2023) - Technieken om backdoors in te bedden in fine-tuned taalmodellen
• "Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions" - Pearce et al. (2022) - Systematische evaluatie van beveiligingskwetsbaarheden in AI-gegenereerde code