# vlm
12 artikelengetagd met “vlm”
Oefenexamen multimodale beveiliging
Oefenexamen over beeldinjectie, audio-aanvallen, cross-modale transfer en exploitatie van documentparsing.
Multimodale beveiliging
Beveiligingsbeoordeling van multimodale AI-systemen die afbeeldingen, audio, video en cross-modale invoer verwerken, met vision-language-modellen, spraaksystemen, video-analyse en cross-modale aanvalstechnieken.
Benchmarking van multimodale modelveiligheid
Het ontwerpen en implementeren van safety-benchmarks voor multimodale AI-modellen die afbeeldingen, audio en video naast tekst verwerken, met evaluatie van cross-modale aanvallen, consistentietests en aggregatie van veiligheidsscores.
Aanvallen op vision-language-modellen
Uitgebreide technieken voor het aanvallen van vision-language-modellen waaronder GPT-4V, Claude vision en Gemini, met adversariële afbeeldingen, typografische exploits en multimodale jailbreaks.
Adversariële afbeeldingsvoorbeelden voor VLM's
Verstoringen op pixelniveau die VLM-gedrag veranderen, waaronder PGD-aanvallen op vision-encoders, overdraagbare adversariële afbeeldingen en patch-aanvallen.
VLM-architectuur & vision-language-alignment
Diepgaande verkenning van VLM-architecturen waaronder CLIP, SigLIP en vision-transformers. Hoe afbeeldingspatches tokens worden, alignment-training en waar misalignment uitbuitbare gaten creëert.
Op afbeeldingen gebaseerde prompt-injectie
Technieken om tekstinstructies in afbeeldingen in te bedden om VLM's te manipuleren, waaronder steganografische injectie, zichtbare-tekstaanvallen en QR-code-exploitatie.
Aanvallen op vision-language-modellen
Uitgebreid overzicht van het VLM-aanvalsoppervlak, hoe vision-encoders verbinding maken met taalmodellen, en waarom multimodale systemen nieuwe injectievectoren creëren.
Lab: Op afbeeldingen gebaseerde injecties vervaardigen
Praktisch lab voor het maken van op afbeeldingen gebaseerde prompt-injecties, testen tegen VLM's en het meten van slagingspercentages over verschillende injectietechnieken.
OCR- & typografische aanvallen
OCR-capaciteiten in VLM's uitbuiten via typografische aanvallen, fontmanipulatie, adversariële tekst-overlays en exploits van tekstweergave.
Typografische adversariële aanvallen
Hoe tekst gerenderd in afbeeldingen VLM-gedrag beïnvloedt: adversariële typografie, op fonts gebaseerde prompt-injectie, visuele instructiekaping en verdedigingen tegen typografische manipulatie.
VLM-specifiek jailbreaken
Jailbreak-technieken die de vision-modaliteit uitbuiten, waaronder afbeelding-tekst-inconsistentie-aanvallen, visuele veiligheidsbypass en cross-modale jailbreak-strategieën.