Deep Supply Chain Analysis

Uitgebreide analyse van de dependencyboom van de AI-supplychain, met aandacht voor modelgewichten, tokenizers, datasets, bibliotheken en infrastructuurcomponenten, inclusief auditmethodologie.

Deep Supply Chain Analysis

De AI-supplychain is dieper en minder zichtbaar dan traditionele software-supplychains. Een productie-AI-systeem is afhankelijk van modelgewichten (ondoorzichtige binaire blobs), tokenizerconfiguraties (uitvoerbare codepaden), trainingsdatasets (op schaal niet te auditen), orkestratiebibliotheken (snelle releases met minimale review) en infrastructuurcomponenten (GPU-drivers, container runtimes, serving-frameworks). Het compromitteren van één enkele laag kan het hele systeem ondermijnen.

De AI-dependencyboom

Een typisch productie-AI-systeem heeft zes dependency-lagen, elk met verschillende vertrouwensaannames en aanvalsvectoren.

Analyse van modelgewichten

Verificatie van herkomst

1. 1

   Verifieer de bronrepository

   Bevestig dat het model is gedownload van de officiële repository. Controleer de verificatiebadge van de HuggingFace-organisatie, de commitgeschiedenis en de model card. Let op getyposquatte repositorynamen.

2. 2

   Controleer het bestandsformaat

   Verifieer dat de gewichten het safetensors-formaat gebruiken in plaats van pickle-gebaseerde formaten (.pt, .bin, .pkl). Als er pickle-bestanden aanwezig zijn, moeten ze worden geaudit voordat ze worden geladen.

3. 3

   Valideer checksums

   Vergelijk de SHA-256-hashes van de gedownloade bestanden met de gepubliceerde checksums. Verifieer voor HuggingFace-modellen tegen de commit-hash in de model card.

4. 4

   Scan op custom code

   Controleer op custom modeling-code (modeling_*.py, configuration_*.py). Als trust_remote_code=True vereist is, audit dan elk custom bestand voordat je laadt.

5. 5

   Test op backdoors

   Voer gedragstests uit met bekende triggerpatronen. Een backdoored model produceert afwijkende outputs bij trigger-inputs, terwijl het zich anders normaal gedraagt.

Beoordeling van gewichtsintegriteit

Tokenizerbeveiliging

Tokenizers worden vaak over het hoofd gezien in beveiligingsaudits omdat ze worden gezien als eenvoudige tekstverwerkers. In werkelijkheid kunnen tokenizerconfiguraties uitvoerbare code bevatten, en kunnen vocabulairemanipulaties het modelgedrag subtiel veranderen.

Dataset-supplychain

Matrix voor risicobeoordeling

Audit van de datapijplijn

import hashlib
from datasets import load_dataset
 
def audit_dataset(dataset_name, expected_hash=None):
    """Basic dataset integrity audit."""
    ds = load_dataset(dataset_name, split="train")
 
    audit_results = {
        "name": dataset_name,
        "num_samples": len(ds),
        "columns": ds.column_names,
        "sample_hash": hashlib.sha256(
            str(ds[:100]).encode()
        ).hexdigest(),
    }
 
    # Controleer op verdachte patronen in tekstvelden
    text_cols = [c for c in ds.column_names if ds.features[c].dtype == "string"]
    for col in text_cols:
        samples = ds[col][:1000]
        injection_patterns = [
            "ignore previous", "system prompt", "IMPORTANT:",
            "<script", "javascript:", "eval(",
        ]
        for pattern in injection_patterns:
            matches = sum(1 for s in samples if pattern.lower() in s.lower())
            if matches > 0:
                audit_results[f"suspicious_{col}_{pattern}"] = matches
 
    if expected_hash and audit_results["sample_hash"] != expected_hash:
        audit_results["integrity_warning"] = "Hash mismatch!"
 
    return audit_results

Analyse van bibliotheek-dependencies

ML-specifieke dependency-risico's

SBOM voor AI-systemen

Een standaard SBOM dekt softwarebibliotheken, maar mist AI-specifieke componenten. Een AI-uitgebreide SBOM zou moeten omvatten:

1. Model Bill of Materials (MBOM) -- Modelnaam, versie, bron, formaat, checksum, herkomst van trainingsdata
2. Data Bill of Materials (DBOM) -- Datasetnamen, versies, bronnen, preprocessing-scripts, licenties
3. Standaard SBOM -- Alle Python-/systeempakketten met versies en hashes
4. Infrastructure BOM -- GPU-drivers, CUDA-versie, container base images, serving-frameworkversies

Methodologie voor supplychain-audit

1. 1

   Inventariseer alle componenten

   Lijst elke dependency over alle zes lagen heen op. Gebruik pip freeze, inspectie van container images, review van model cards en infrastructuurdocumentatie. Het doel is een volledige bill of materials.

2. 2

   Beoordeel de herkomst voor elk component

   Beantwoord voor elk component: waar kwam het vandaan, wie heeft het gepubliceerd, hoe werd het geleverd, en is de integriteit geverifieerd? Markeer componenten met onduidelijke of niet-geverifieerde herkomst.

3. 3

   Identificeer kritieke paden

   Breng in kaart welke componenten zich op het kritieke pad van input naar output bevinden. Een gecompromitteerde tokenizer treft elk verzoek; een gecompromitteerde evaluatiedataset treft alleen de modelselectie.

4. 4

   Test op bekende aanvalspatronen

   Controleer op pickle-bestanden in modelartefacten, trust_remote_code=True in laadcode, ongepinde dependencies in requirements-bestanden, en blootgestelde secrets in configuratie.

5. 5

   Genereer hardening-aanbevelingen

   Prioriteer op risico (positie op het kritieke pad maal exploiteerbaarheid) en haalbaarheid. Quick wins eerst: pin versies, schakel over naar safetensors, verwijder onnodige tools.

Gerelateerde onderwerpen

• Integration & Framework Security -- Kwetsbaarheden op frameworkniveau
• AI Supply Chain Exploitation -- Aanvalstechnieken voor modelserialisatie en dependencies
• Pickle Exploits -- Diepgaande verkenning van pickle-deserialisatie-aanvallen
• Cloud AI Infrastructure Attacks -- Beveiligingsbeoordeling op infrastructuurniveau

Referenties

• SLSA (Supply-chain Levels for Software Artifacts) -- Supply chain security framework
• OWASP Machine Learning Security Top 10 -- ML supply chain risks
• Model Cards for Model Reporting (Mitchell et al., 2019) -- Model documentation standards