Fuzzen van veiligheidsgrenzen van LLM's

Grammatica-gebaseerde fuzzers bouwen, evolutionair zoeken naar jailbreaks, ASR-meting en geautomatiseerde mapping van veiligheidsgrenzen.

Fuzzen van veiligheidsgrenzen van LLM's

Fuzzen toegepast op LLM-veiligheid genereert systematisch promptvarianten om te ontdekken waar modellen overgaan van compliance naar weigering. Het identificeert invoer die op onverwachte manieren veiligheidsgrenzen overschrijdt, waardoor het een kerntechniek is voor grondige red team-beoordelingen.

Grammatica-gebaseerd fuzzen

Grammatica-gebaseerd fuzzen genereert gestructureerde prompts volgens een formele grammatica die de ruimte van mogelijke jailbreak-pogingen definieert. Elke prompt wordt samengesteld uit onderling uitwisselbare componenten.

Promptgrammatica-structuur

De fuzzer bouwen

1. Definieer productieregels -- elk grammaticasymbool mapt naar een lijst van mogelijke expansies
2. Voeg gewichten toe om te biasen richting historisch effectieve patronen
3. Implementeer recursieve expansie -- vervang \{SYMBOL\}-placeholders door willekeurige keuzes tot er alleen terminale strings overblijven
4. Genereer in batches -- produceer 100+ unieke prompts, dedupliceer om verspilde API-aanroepen te voorkomen

class PromptGrammar:
    def __init__(self):
        self.rules = {}
 
    def add_rule(self, symbol, expansions, weights=None):
        self.rules[symbol] = (expansions, weights)
 
    def generate(self, topic, start="START", max_depth=10):
        return self._expand(start, topic, 0, max_depth)
 
    def generate_batch(self, topic, n=100):
        return list({self.generate(topic) for _ in range(n * 10)})[:n]

Mutatie-gebaseerd fuzzen

Mutatie breidt de grammaticadekking uit door willekeurige transformaties toe te passen op bestaande prompts en ontdekt grensvoorwaarden die de grammatica alleen zou kunnen missen.

Mutatie-operatoren

Mutatiemethodologie

1. Begin met een seed-prompt (door grammatica gegenereerd of handmatig opgesteld)
2. Pas 1-3 willekeurige mutaties per variant toe
3. Genereer 50+ mutanten per seed
4. Test alle mutanten en behoud die welke het compliance-gedrag van het model veranderen
5. Gebruik succesvolle mutanten als nieuwe seeds voor de volgende ronde (dit voedt evolutionair zoeken)

Evolutionair zoeken naar jailbreaks

Evolutionair zoeken behandelt prompts als organismen die concurreren om fitness (aanvalssucces), waarbij de meest effectieve patronen via crossover en mutatie over generaties worden gecombineerd.

Stappen van het evolutionaire algoritme

1. 1

   Initialiseer populatie

   Genereer 50+ prompts met grammatica-gebaseerde generatie en gemuteerde seed-prompts. Diversiteit in de initiële populatie is cruciaal.

2. 2

   Evalueer fitness

   Stuur elke prompt naar het doelmodel en scoor het antwoord (0.0 = volledige weigering, 1.0 = volledige compliance). Gebruik een LLM-judge voor nauwkeurigheid.

3. 3

   Tournament-selectie

   Selecteer de top-performers via tournament-selectie (sample willekeurig 3, behoud de beste). Dit behoudt diversiteit beter dan pure top-N-selectie.

4. 4

   Crossover en mutatie

   Combineer met 70% kans twee ouders via single-point crossover. Muteer met 30% kans een enkele ouder. Dit balanceert exploitation en exploration.

5. 5

   Elitisme

   Draag altijd het beste individu van de vorige generatie over naar de volgende (voorkomt regressie).

6. 6

   Herhaal tot doelfitness of generatielimiet

   Typische runs: 50-100 generaties. Volg de beste-ooit en gemiddelde fitness per generatie.

# Hoofdloop van evolutionair zoeken
for gen in range(max_generations):
    scores = [evaluate(p, target_model) for p in population]
    if max(scores) >= target_fitness: break
    selected = tournament_select(population, scores)
    population = [crossover(a, b) if random() < 0.7
                  else mutate(a) for a, b in pairs(selected)]
    population[0] = best_of(previous_gen)  # elitisme

Attack Success Rate (ASR) meten

Rigoureus ASR-meten vereist zorgvuldig experimenteel ontwerp, niet alleen succes tellen.

ASR-meetchecklist

1. Definieer aanvalsset -- lijst van prompt-templates met \{TARGET\}-placeholders
2. Definieer gedragsset -- lijst van doel-schadelijke gedragingen die veiligheidscategorieën beslaan
3. Voer meerdere proeven uit -- minstens 3 proeven per aanvals-gedragspaar (temperatuur > 0 voor variatie)
4. Beoordeel elk antwoord -- binaire classificatie (weigering vs. compliance)
5. Rapporteer drie metrics: algemene ASR, per-aanval ASR en per-gedrag ASR

Veiligheidsgrens-mapping

Grens-mapping vindt het exacte overgangspunt tussen compliance en weigering voor een gegeven onderwerp door te interpoleren tussen veilige en onveilige prompts.

Grens-mapping-methodologie

1. Begin met een paar -- één prompt die compliance krijgt, één die weigering krijgt
2. Interpoleer -- creëer 20 tussenliggende prompts door geleidelijk woorden uit de veilige prompt te vervangen door woorden uit de onveilige prompt
3. Test elk bij temperatuur 0 voor deterministisch gedrag
4. Vind de overgang -- identificeer de exacte verhouding waar gedrag omslaat van compliance naar weigering
5. Analyseer de grens -- welke specifieke woorden of frasen triggerden de overgang?

Lab: Bouw en draai een veiligheidsfuzzer

1. 1

   Implementeer grammatica

   Bouw een prompt-grammatica met minstens 50 productieregels die alle zes jailbreak-primitieven dekken.

2. 2

   Voeg mutatie-operatoren toe

   Implementeer alle mutatietypes uit de tabel hierboven. Verifieer dat elke operator syntactisch geldige prompts produceert.

3. 3

   Voer grammatica-fuzzen uit

   Genereer 1000+ prompts en meet ASR tegen een doelmodel.

4. 4

   Voer evolutionair zoeken uit

   50+ generaties, populatiegrootte 50. Vergelijk ASR met de grammatica-only baseline.

5. 5

   Map grenzen

   Kies 5 onderwerpcategorieën en map de veiligheidsgrens voor elk. Identificeer welke woorden weigeringsovergangen triggeren.

6. 6

   Genereer rapport

   Documenteer algemene ASR, per-categorie ASR, grenskaarten en de meest effectieve promptpatronen die ontdekt zijn.

Gerelateerde onderwerpen

• Jailbreak-onderzoek en -automatisering -- Jailbreak-primitieven en geautomatiseerde ontdekking die fuzzen systematiseert
• AI exploit-ontwikkeling -- Bredere exploit-ontwikkeling inclusief WAF-ontwijking en GCG
• Adversarial suffix-generatie -- Gradient-gebaseerd complement op black-box-fuzzen
• CART-pipelines -- Fuzzer-ontdekkingen integreren in continu testen

Referenties

• Perez et al., "Red Teaming Language Models with Language Models" (2022)
• Lapid et al., "Open Sesame! Universal Black Box Jailbreaking of Large Language Models" (2023)
• Yu et al., "GPTFUZZER: Red Teaming Large Language Models with Auto-Generated Jailbreak Prompts" (2023)
• Zhu et al., "AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models" (2023)
• Liu et al., "AutoDAN: Interpretable Gradient-Based Adversarial Attacks on Large Language Models" (2024)