機器人與具身 AI 安全

控制實體機器人與具身代理之 AI 系統特有之安全挑戰：威脅景觀、攻擊面、實體世界限制，以及安全框架漏洞。

當 LLM 控制機械手臂、無人機或自駕車時，安全失敗的代價自資料外洩或有害文字升級為實體破壞、傷害或毀損。具身 AI（Embodied AI）將 AI 攻擊面由數位擴展至實體領域——而該領域中的利用後果是不可逆的。

具身 AI 技術堆疊

現代 LLM 控制之機器人採用分層架構：

┌──────────────────────────────────────────────┐
│  層 4：任務規劃（LLM）                      │
│  「拿起紅色杯子並放到架上」                 │
├──────────────────────────────────────────────┤
│  層 3：動作排序                              │
│  move_to(cup) → grasp() → move_to(shelf)    │
│  → release()                                 │
├──────────────────────────────────────────────┤
│  層 2：運動規劃                              │
│  軌跡計算、避碰                              │
├──────────────────────────────────────────────┤
│  層 1：低階控制                              │
│  馬達指令、感測器回饋迴圈                    │
├──────────────────────────────────────────────┤
│  層 0：實體硬體                              │
│  馬達、感測器、致動器、電源系統              │
└──────────────────────────────────────────────┘

每一層邊界都是攻擊面。最高價值的目標是層 3–4，即自然語言介面與動作執行交會之處。

威脅景觀

攻擊面地圖

影響類別

LLM 如何控制機器人

整合模式

LLM 依自然語言指令產出程式碼（Python、ROS 指令），由機器人控制系統執行。

# LLM 自自然語言指令產生此程式碼：
# 「Pick up the red cup and put it on the top shelf」
def task_pick_and_place():
    target = vision.detect("red cup")
    robot.move_to(target.position)
    robot.grasp(force=5.0)  # 牛頓
    shelf_pos = vision.detect("top shelf")
    robot.move_to(shelf_pos.place_position)
    robot.release()

安全風險：LLM 可產生任意程式碼，包括停用安全限制或存取未授權系統功能之指令。

LLM 以參數呼叫預先定義之機器人動作 API。

{"action": "pick_and_place",
 "params": {"object": "red cup", "destination": "top shelf",
            "grip_force": 5.0, "speed": "normal"}}

安全風險：參數注入可覆蓋安全界限（例如將 grip_force 設為最大值或 speed 設為不安全層級）。

LLM 直接輸出馬達層級控制訊號，常經由已學習之控制政策。

安全風險：極少抽象層，意味 LLM 可完全存取原始馬達指令。安全邊界必須於硬體層強制。

結合 LLM 規劃與已學習控制政策。LLM 選擇高階動作；訓練過的政策處理低階執行。

安全風險：LLM 可能選擇看似個別安全、但組合起來產生危險結果之動作序列。

針對具身 AI 的紅隊方法論

1. 1

   環境評估

   清點機器人的實體能力（觸及範圍、力量、速度）、其所處環境（附近有誰／有什麼），以及既有安全系統（緊急停止、力量限制、地理圍欄）。

2. 2

   介面枚舉

   繪製所有輸入管道：自然語言指令、視覺輸入、感測器饋送、網路 API。每一項皆為注入面。

3. 3

   安全邊界測試

   測試安全約束（力量限制、速度上限、禁區）是否能經由 LLM 介面被覆蓋。於模擬中從軟性約束開始。

4. 4

   多步攻擊鏈

   設計攻擊序列——其中每個別指令看似安全，但序列產生危險狀態。測試系統是否偵測累積風險。

5. 5

   模擬驗證

   於任何硬體測試前，於物理模擬器中執行所有攻擊。驗證攻擊有效性並衡量潛在實體後果。

6. 6

   受控硬體測試

   對已驗證之攻擊，於具啟用安全互鎖之實體硬體上測試：降低速度、力量限制、實體屏障，並配置具緊急停止之安全觀察人員。

與數位 AI 紅隊的關鍵差異

相關主題

• 機器人控制注入 - 向 LLM 控制之機器人注入惡意指令
• Computer Use 與 GUI 代理攻擊 - 相關數位代理攻擊技術
• 代理攻擊 - 一般代理攻擊模式
• 工具濫用 - 利用 AI 工具使用能力

參考資料

• "Large Language Models for Robotics: A Survey" - Zeng et al.（2024）- LLM 於機器人中之全面綜述
• "Do As I Can, Not As I Say: Grounding Language in Robotic Affordances" - Ahn et al.（2022）- LLM—機器人互動之 SayCan 框架
• "Code as Policies: Language Model Programs for Embodied Control" - Liang et al.（2023）- LLM 程式碼生成用於機器人控制
• "Jailbreaking LLM-Controlled Robots" - Robey et al.（2024）- 對 LLM 控制之機器人系統的直接攻擊

相關頁面

• 機器人控制注入 -- 注入惡意控制指令
• 實體世界約束繞過 -- 繞過實體安全限制
• 安全框架規避 -- 攻擊安全系統
• 實作：模擬機器人控制攻擊 -- 實作模擬練習