Risico's van synthetische data

Modelinstorting door trainen op synthetische data, kwaliteitsdegradatie over generaties, distributievernauwing, uitwissing van minderheden, en strategieën voor veilig gebruik van synthetische data in LLM-training.

De AI-industrie raakt door haar voorraad hoogwaardige, door mensen gegenereerde trainingsdata heen. De reactie hierop is om modellen te trainen op data die door andere modellen is gegenereerd -- synthetische data. Deze aanpak werkt op de korte termijn, maar brengt systemische risico's met zich mee die in de loop van de tijd cumuleren. Wanneer modellen trainen op synthetische data van modellen die zelf op synthetische data zijn getraind, degradeert de kwaliteit, vernauwen de distributies en verdwijnt zeldzame kennis. Dit is modelinstorting, en het gebeurt al.

De synthetische-datafeedbackloop

Generation 0: Model trained on human data
    ↓ generates synthetic data
Generation 1: Model trained on Gen 0's synthetic data
    ↓ generates synthetic data
Generation 2: Model trained on Gen 1's synthetic data
    ↓ ...
Generation N: Significant quality degradation

Elke generatie introduceert twee cumulerende effecten:

1. Statistische schattingsfout: De synthetische data is een steekproef uit de geleerde distributie van het model, niet uit de echte datadistributie. Elke generatie laat deze steekproeffout cumuleren.

2. Modusversterking: De meest zelfverzekerde outputs van het model (distributiemodi) zijn oververtegenwoordigd in synthetische data, terwijl outputs met lage waarschijnlijkheid (distributiestaarten) ondervertegenwoordigd zijn. Elke generatie versterkt deze bias.

Instorting meten

import numpy as np
from collections import Counter
 
def measure_distribution_collapse(
    generation_outputs: dict,  # {gen_number: [list of text outputs]}
    vocabulary_sample_size: int = 10000
):
    """Meet distributie-instorting over modelgeneraties."""
    metrics = {}
 
    for gen, outputs in generation_outputs.items():
        all_tokens = []
        for text in outputs[:vocabulary_sample_size]:
            all_tokens.extend(text.lower().split())
 
        token_counts = Counter(all_tokens)
        total_tokens = len(all_tokens)
        unique_tokens = len(token_counts)
 
        # Type-token ratio (TTR) -- neemt af bij instorting
        ttr = unique_tokens / total_tokens if total_tokens > 0 else 0
 
        # Entropie -- neemt af bij instorting
        probs = np.array([c / total_tokens for c in token_counts.values()])
        entropy = -np.sum(probs * np.log2(probs + 1e-10))
 
        # Hapax legomena-ratio -- zeldzame woorden, verdwijnen als eerste
        hapax = sum(1 for c in token_counts.values() if c == 1)
        hapax_ratio = hapax / unique_tokens if unique_tokens > 0 else 0
 
        # Variantie van de gemiddelde outputlengte -- neemt af naarmate outputs homogeniseren
        lengths = [len(text.split()) for text in outputs]
        length_variance = np.var(lengths)
 
        metrics[gen] = {
            "unique_tokens": unique_tokens,
            "type_token_ratio": ttr,
            "entropy": entropy,
            "hapax_ratio": hapax_ratio,
            "length_variance": float(length_variance),
            "avg_length": float(np.mean(lengths))
        }
 
    return metrics

Stadia van kwaliteitsdegradatie

Onderzoek heeft duidelijke stadia in het instortingsproces geïdentificeerd:

Stadium 1: Vroege verdunning (generaties 1-2)

De zeldzaamste kennis begint te verdwijnen. Obscure feiten, ongebruikelijke formuleringen en minderheidsperspectieven zijn ondervertegenwoordigd in synthetische data en beginnen weg te vallen. De algemene kwaliteit lijkt onveranderd.

Detectiesignalen: Verminderde prestaties op long-tail-kennisbenchmarks, verminderde vocabulairediversiteit, minder ongebruikelijke woordkeuzes.

Stadium 2: Homogenisering (generaties 3-5)

Outputs worden steeds generieker en formulematiger. De "stem" van het model wordt vlakker. De diversiteit in stijl, perspectief en inhoud neemt merkbaar af.

Detectiesignalen: Verminderde outputvariantie, toegenomen herhaling van veelvoorkomende frases, lagere perplexiteit (het model wordt voorspelbaarder).

Stadium 3: Kennisverlies (generaties 5-10)

Feitelijke kennis begint te degraderen. Het model "vergeet" informatie die aanwezig was in de oorspronkelijke menselijke trainingsdata, maar niet goed vertegenwoordigd was in synthetische generaties.

Detectiesignalen: Toenemende foutpercentages bij feitelijke QA, toename van het hallucinatiepercentage, het model produceert zelfverzekerde maar foute antwoorden.

Stadium 4: Functionele instorting (generaties 10+)

De outputs van het model convergeren naar een nauwe distributie. Het produceert ongeveer dezelfde output voor uiteenlopende inputs. Het model is functioneel kapot voor de meeste taken.

Detectiesignalen: Zeer lage outputentropie, hoge gelijkenis tussen outputs voor verschillende prompts, catastrofale prestatiedalingen over benchmarks heen.

Uitwissing van minderheden

Een van de meest zorgwekkende effecten van synthetische-data-instorting is de systematische uitwissing van minderheidsperspectieven en zeldzame kennis.

Waarom minderheden als eerste worden uitgewist

Taalmodellen genereren tekst evenredig aan de frequentie ervan in de trainingsdata. Minderheidsperspectieven, zeldzame talen en ongebruikelijke culturele kennis komen minder vaak voor. Wanneer synthetische data wordt gegenereerd, worden deze items met lage frequentie ondergesampeld. Elke generatie laat deze ondersampling cumuleren totdat de kennis weg is.

def measure_minority_erasure(
    model_generations: dict,
    minority_topics: list,
    majority_topics: list,
    prompt_template: str = "Tell me about {topic}."
):
    """Meet hoe kennis over minderheidsonderwerpen degradeert over generaties."""
    results = {}
 
    for gen_name, model in model_generations.items():
        minority_scores = []
        majority_scores = []
 
        for topic in minority_topics:
            prompt = prompt_template.format(topic=topic)
            response = model.generate(prompt)
            score = evaluate_factual_accuracy(response, topic)
            minority_scores.append(score)
 
        for topic in majority_topics:
            prompt = prompt_template.format(topic=topic)
            response = model.generate(prompt)
            score = evaluate_factual_accuracy(response, topic)
            majority_scores.append(score)
 
        results[gen_name] = {
            "minority_avg": np.mean(minority_scores),
            "majority_avg": np.mean(majority_scores),
            "gap": np.mean(majority_scores) - np.mean(minority_scores),
            "minority_zero_count": sum(1 for s in minority_scores if s == 0)
        }
 
    return results

Voorbeeld: Degradatie van taaldekking

Talen met weinig hulpbronnen worden als eerste uitgewist, omdat ze het minst bijdragen aan de synthetische-datadistributie.

Risico's in productiepipelines

Risico 1: Niet-getraceerde dataherkomst

Organisaties weten mogelijk niet of hun trainingsdata synthetische inhoud bevat. Van het web gescrapete data bevat steeds vaker AI-gegenereerde tekst. Zonder herkomsttracering is synthetische contaminatie onzichtbaar.

def estimate_synthetic_contamination(
    dataset,
    synthetic_detector,
    sample_size: int = 10000
):
    """Schat de fractie synthetische inhoud in een dataset."""
    import random
    sample = random.sample(list(dataset), min(sample_size, len(dataset)))
 
    synthetic_count = 0
    uncertain_count = 0
 
    for item in sample:
        prediction = synthetic_detector.classify(item["text"])
        if prediction["label"] == "synthetic" and prediction["confidence"] > 0.8:
            synthetic_count += 1
        elif prediction["confidence"] < 0.6:
            uncertain_count += 1
 
    return {
        "estimated_synthetic_fraction": synthetic_count / len(sample),
        "uncertain_fraction": uncertain_count / len(sample),
        "sample_size": len(sample),
        "warning": "high" if synthetic_count / len(sample) > 0.3 else "low"
    }

Risico 2: Zelfconsumerende trainingsloops

Wanneer de outputs van een model openbaar worden geplaatst (bijv. AI-gegenereerde artikelen, social media-berichten, code), komen ze in de web-crawl terecht en kunnen ze worden opgenomen in toekomstige trainingsdata. Het model traint onbedoeld op zijn eigen outputs.

Risico 3: Benchmarkcontaminatie

Synthetische-datageneratoren kunnen inhoud produceren die overlapt met evaluatiebenchmarks, wat de prestatiecijfers opblaast terwijl de werkelijke capaciteiten van het model degraderen.

Risico 4: Synthetische RLHF-data

Het gebruik van synthetische voorkeursdata voor RLHF verergert het probleem: niet alleen is de basis-trainingsdata synthetisch, maar ook het alignment-signaal wordt door een model gegenereerd, wat leidt tot reward hacking op synthetische voorkeuren die mogelijk niet de werkelijke menselijke waarden weerspiegelen.

Mitigatiestrategieën

Mitigaties op dataniveau

1. Detectie en labeling van synthetische data: Classificeer trainingsdata als menselijk of synthetisch. Traceer de herkomst door de hele pipeline heen.

2. Mengverhoudingen: Handhaaf een minimumfractie geverifieerde menselijke data. Onderzoek suggereert dat synthetische data onder de 50% van de totale trainingsdata moet blijven om significante instortingseffecten te vermijden.

3. Kwaliteitsfiltering: Pas strenge kwaliteitsfilters toe op synthetische data. Verwijder outputs die generiek of repetitief zijn of feitelijke onderbouwing missen.

4. Diversiteitsbewuste sampling: Oversample bij het genereren van synthetische data prompts die betrekking hebben op zeldzame onderwerpen, minderheidsperspectieven en ondervertegenwoordigde domeinen.

Mitigaties op architectuurniveau

1. Ensemblegeneratie: Gebruik meerdere diverse modellen om synthetische data te genereren. Het combineren van outputs van modellen met verschillende architecturen en trainingsdata vermindert het modusversterkingseffect.

2. Human-in-the-loop-curatie: Laat menselijke annotators synthetische data beoordelen en filteren voordat deze de trainingspipeline binnenkomt. Dit is duur maar effectief.

3. Continue monitoring: Volg distributiemetrieken (entropie, TTR, dekking van minderheidsonderwerpen) over trainingscheckpoints heen. Stel alerts in voor degradatietrends.

Organisatorische mitigaties

Red team-beoordeling voor synthetische-datarisico's

1. 1

   Beoordeel de dataherkomst

   Bepaal of de trainingsdata van het doelmodel synthetische inhoud bevat en of de herkomst wordt getraceerd. Vraag welke fractie van de trainingsdata AI-gegenereerd is.

2. 2

   Test de staartkennis

   Evalueer het model op zeldzame, obscure en minderheidsdomeinkennis. Vergelijk de prestaties met modellen waarvan bekend is dat ze alleen op menselijke data zijn getraind. Significante gaten wijzen op mogelijke instortingseffecten.

3. 3

   Meet de outputdiversiteit

   Genereer grote steekproeven voor uiteenlopende prompts en meet entropie, TTR en outputvariantie. Lage diversiteit ten opzichte van vergelijkbare modellen suggereert homogenisering door synthetische data.

4. 4

   Test op uitwissing van minderheden

   Evalueer de kennis van het model over ondervertegenwoordigde talen, culturen en domeinen. Vergelijk met de gedocumenteerde capaciteiten van het basismodel (vóór mogelijke training op synthetische data).

5. 5

   Documenteer en rapporteer

   Rapporteer bevindingen als een datakwaliteitsrisico in plaats van een traditionele kwetsbaarheid. Neem aanbevelingen op voor herkomsttracering, aanpassing van de mengverhouding en diversiteitsmonitoring.

Samenvatting

Synthetische data is een noodzakelijk onderdeel van moderne LLM-training, maar brengt systemische risico's met zich mee die cumuleren over modelgeneraties. Modelinstorting, uitwissing van minderheden en kwaliteitsdegradatie zijn geleidelijke processen die moeilijk te detecteren zijn met standaardevaluaties. Effectieve mitigatie vereist tracering van dataherkomst, beheer van de mengverhouding, diversiteitsbewuste sampling en continue monitoring. Organisaties die sterk leunen op synthetische data zonder deze waarborgen, lopen het risico van progressieve capaciteitsdegradatie die mogelijk niet zichtbaar is totdat er aanzienlijke schade is aangericht.