Robotica & beveiliging van embodied AI

Beveiligingsuitdagingen die uniek zijn voor AI-systemen die fysieke robots en embodied agents besturen: dreigingslandschap, aanvalsoppervlakken, fysieke beperkingen en kwetsbaarheden in veiligheidsframeworks.

Wanneer een LLM een robotarm, een drone of een autonoom voertuig bestuurt, escaleren de gevolgen van een beveiligingsfalen van datalek of schadelijke tekst naar fysieke schade, letsel of vernietiging. Embodied AI breidt het AI-aanvalsoppervlak uit van het digitale naar het fysieke domein, waar de gevolgen van exploitatie onomkeerbaar zijn.

De embodied AI-stack

Moderne door LLM's bestuurde robots gebruiken een gelaagde architectuur:

┌──────────────────────────────────────────────┐
│  Layer 4: Task Planning (LLM)                │
│  "Pick up the red cup and place it on shelf" │
├──────────────────────────────────────────────┤
│  Layer 3: Action Sequencing                  │
│  move_to(cup) → grasp() → move_to(shelf)    │
│  → release()                                 │
├──────────────────────────────────────────────┤
│  Layer 2: Motion Planning                    │
│  Trajectory computation, collision avoidance │
├──────────────────────────────────────────────┤
│  Layer 1: Low-Level Control                  │
│  Motor commands, sensor feedback loops       │
├──────────────────────────────────────────────┤
│  Layer 0: Physical Hardware                  │
│  Motors, sensors, actuators, power systems   │
└──────────────────────────────────────────────┘

Elke laaggrens is een aanvalsoppervlak. De doelen met de hoogste waarde zijn lagen 3-4, waar interfaces in natuurlijke taal de uitvoering van acties ontmoeten.

Dreigingslandschap

Kaart van het aanvalsoppervlak

Impactcategorieën

Hoe LLM's robots besturen

Integratiepatronen

De LLM genereert code (Python, ROS-commando's) die vervolgens wordt uitgevoerd door het besturingssysteem van de robot.

# De LLM genereert deze code uit een instructie in natuurlijke taal:
# "Pick up the red cup and put it on the top shelf"
def task_pick_and_place():
    target = vision.detect("red cup")
    robot.move_to(target.position)
    robot.grasp(force=5.0)  # Newton
    shelf_pos = vision.detect("top shelf")
    robot.move_to(shelf_pos.place_position)
    robot.release()

Beveiligingsrisico: De LLM kan willekeurige code genereren, waaronder commando's die veiligheidslimieten uitschakelen of ongeautoriseerde systeemfuncties benaderen.

De LLM roept vooraf gedefinieerde robotactie-API's aan met parameters.

{"action": "pick_and_place",
 "params": {"object": "red cup", "destination": "top shelf",
            "grip_force": 5.0, "speed": "normal"}}

Beveiligingsrisico: Parameterinjectie kan veiligheidsgrenzen overschrijven (bijv. het instellen van grip_force op maximum of speed op onveilige niveaus).

De LLM voert besturingssignalen op motorniveau rechtstreeks uit, vaak via een aangeleerde besturingspolicy.

Beveiligingsrisico: Een minimale abstractielaag betekent dat de LLM volledige toegang heeft tot ruwe motorcommando's. Veiligheidsgrenzen moeten op hardwareniveau worden afgedwongen.

Combineert LLM-planning met aangeleerde besturingspolicy's. De LLM selecteert acties op hoog niveau; een getrainde policy handelt de uitvoering op laag niveau af.

Beveiligingsrisico: De LLM kan actiesequenties selecteren die individueel veilig lijken maar in combinatie gevaarlijke uitkomsten produceren.

Red team-methodologie voor embodied AI

1. 1

   Omgevingsbeoordeling

   Catalogiseer de fysieke capaciteiten van de robot (reikwijdte, kracht, snelheid), de omgeving waarin hij opereert (wie/wat in de buurt is) en de aanwezige veiligheidssystemen (noodstoppen, krachtlimieten, geofencing).

2. 2

   Interface-enumeratie

   Breng alle invoerkanalen in kaart: commando's in natuurlijke taal, vision-invoer, sensorfeeds, netwerk-API's. Elk daarvan is een injectie-oppervlak.

3. 3

   Testen van veiligheidsgrenzen

   Test of veiligheidsbeperkingen (krachtlimieten, snelheidscaps, verboden zones) kunnen worden overschreven via de LLM-interface. Begin met zachte beperkingen in simulatie.

4. 4

   Meerstaps aanvalsketens

   Ontwerp aanvalssequenties waarbij elk individueel commando veilig lijkt maar de sequentie een gevaarlijke toestand produceert. Test of het systeem het cumulatieve risico detecteert.

5. 5

   Simulatievalidatie

   Voer alle aanvallen uit in een physics-simulator vóór enige hardwaretest. Verifieer de effectiviteit van de aanval en meet de potentiële fysieke gevolgen.

6. 6

   Gecontroleerde hardwaretests

   Test gevalideerde aanvallen op fysieke hardware met actieve veiligheidsvergrendelingen: verminderde snelheid, krachtbeperking, fysieke barrières, menselijke veiligheidsobservator met noodstop.

Belangrijke verschillen met digitaal AI-red teaming

Verwante onderwerpen

• Robotbesturingsinjectie - Het injecteren van kwaadaardige commando's in door LLM's bestuurde robots
• Computer Use & GUI Agent-aanvallen - Verwante technieken voor exploitatie van digitale agents
• Agent-exploitatie - Algemene patronen van agent-exploitatie
• Toolmisbruik - Het uitbuiten van AI-tool-use-mogelijkheden

Referenties

• "Large Language Models for Robotics: A Survey" - Zeng et al. (2024) - Uitgebreid overzicht van LLM's in robotica
• "Do As I Can, Not As I Say: Grounding Language in Robotic Affordances" - Ahn et al. (2022) - SayCan-framework voor LLM-robot-interactie
• "Code as Policies: Language Model Programs for Embodied Control" - Liang et al. (2023) - LLM-codegeneratie voor robotbesturing
• "Jailbreaking LLM-Controlled Robots" - Robey et al. (2024) - Directe aanvallen op door LLM's bestuurde roboticasystemen

Verwante pagina's

• Robotbesturingsinjectie -- het injecteren van kwaadaardige besturingscommando's
• Bypass van fysieke beperkingen -- het omzeilen van fysieke veiligheidslimieten
• Omzeiling van veiligheidsframeworks -- het aanvallen van veiligheidssystemen
• Lab: gesimuleerde robotbesturingsexploitatie -- praktische simulatieoefeningen