案例研究:對自駕車感知系統的對抗攻擊

分析針對自駕車感知系統的對抗攻擊,包括停車標誌擾動、幻影物件注入與 LiDAR 欺騙,以及對安全關鍵 AI 部署的意涵。

概觀

自駕車依賴 AI 驅動感知系統詮釋物理世界:辨識路標、偵測行人、追蹤其他車輛與理解道路幾何。這些感知系統——主要基於處理攝影機、LiDAR 與雷達資料的深度神經網路——易受對抗攻擊,使其誤分類物件、未偵測障礙,或幻覺出不存在的幻影物件。

自駕車感知對抗攻擊的研究,已從數位擾動實驗進展到可在戶外環境運作的實體攻擊。研究員展示的攻擊包括:被分類為速限標誌的修改停車標誌、觸發緊急煞車的投射幻影物件、建立不存在障礙的 LiDAR 欺騙,以及誤導導航的 GPS 欺騙。雖然多數這些攻擊於受控研究環境而非公路上的生產車輛展示,它們揭露了數十億美元自駕開發所依賴的 AI 系統根本漏洞。

意義延伸至任何使用深度學習感知的安全關鍵系統:工業機器人、無人機導航、醫療影像與基礎設施監控。

時間軸

2014:Szegedy et al. 發表「Intriguing properties of neural networks」,建立影像的微小、不可察覺擾動可讓神經網路分類器自信誤分類。此基礎工作開啟對抗機器學習領域。

2016:Kurakin et al. 展示「Adversarial examples in the physical world」,顯示對抗擾動能在印於紙上並重新攝影後存活,建立實體對抗攻擊的可行性。

2017 年 8 月:Eykholt et al. 發表「Robust Physical-World Attacks on Deep Learning Models」,展示貼在停車標誌上的小貼紙讓深度學習分類器誤識為速限標誌。攻擊從多角度與距離有效。

2018-2019:多個研究團體擴展實體對抗攻擊至行人偵測,展示衣物或攜帶物件上的對抗樣式可使行人偵測器無法辨識人類。

2019:Cao et al. 發表「Adversarial Objects Against LiDAR-Based Autonomous Driving Systems」,展示 3D 列印對抗物件可愚弄基於 LiDAR 的感知系統。

2020:Nassi et al. 展示「Phantom of the ADAS」,使用可攜投影機將幻影路標與障礙投影於路面與環境結構上。Tesla 與配備 Mobileye 車輛的 ADAS 對幻影物件做出反應。

2021:Sun et al. 展示基於雷射的 LiDAR 欺騙可將幻影物件注入自駕車感知的點雲。

2022:研究員展示對多感測器融合系統(結合攝影機、LiDAR、雷達)的對抗攻擊,顯示針對任一感測器模態的攻擊可透過融合演算法級聯。

2023:Tu et al. 發表「physically realizable adversarial attacks against autonomous driving」研究,展示在不同光照、天氣與視角下有效的攻擊。

2024:UNECE 更新自駕法規(WP.29),納入感知系統網路安全測試要求,明確引用對抗攻擊韌性。

技術分析

自駕車感知架構

現代自駕車系統透過感知管道處理多個感測器輸入:攝影機影像 → CNN 物件偵測 → 2D 邊界框;LiDAR 點雲 → 3D 物件偵測 → 3D 邊界框;雷達回傳 → 訊號處理 → 距離/速度。三者送入感測器融合 → 融合物件清單 → 規劃與決策 → 車輛控制(轉向、煞車、加速)。

主要攻擊向量(以 PerceptionAttackVector 資料類別建模):

• 停車標誌對抗貼紙:目標攝影機、實體擾動、需短暫接觸標誌、已展示、衝擊為車輛未在路口停車(Eykholt et al. 2017)
• 衣物對抗 patch:目標攝影機、攻擊者穿對抗衣物、行人偵測器未偵測人(Thys et al. 2019、Xu et al. 2020)
• 幻影路標投射:目標攝影機、需對路面視線、車輛對不存在標誌做反應(Nassi et al. 2020)
• LiDAR 雷射欺騙:目標 LiDAR、需接近目標車輛、幻影物件引發緊急煞車(Sun et al. 2021、Cao et al. 2019)
• GPS 導航欺騙:目標 GPS、需 RF 傳輸範圍、車輛被誤導至錯誤位置(Zeng et al. 2018)
• LiDAR 的對抗 3D 物件:需放置物件於環境、3D 物件偵測器誤分類障礙(Cao et al. 2019)

路標的實體對抗擾動

Eykholt et al.(2017)展示策略性貼於停車標誌的貼紙可讓深度學習分類器誤識。做法是以 Expectation over Transformation(EOT)產生穩健擾動:同時優化擾動於許多實體條件——對每個(旋轉、距離、亮度)組合套用擾動、計算目標類別的分類損失、平均梯度,再用 sign-gradient 更新。加入可印刷性約束確保顏色可由印表機重現。EOT 的關鍵創新是擾動同時優化跨許多實體視角條件,攻擊因此不脆——從多角度、距離、光照條件下都有效,使其在真實路標部署可行。

幻影物件投射攻擊

Nassi et al.(2020)展示可攜投影機可建立觸發 ADAS 反應的幻影路標與障礙:

• 路面幻影停車標誌:於車輛前方路面投射停車標誌影像;對 Tesla Autopilot、Mobileye 展示;車輛減速或停車;夜間或隧道最佳。
• 路上幻影行人:將真人大小行人影像投射至車輛可見表面;車輛自動緊急煞車啟動;需高亮度投影機。
• 幻影車道標記:投射假車道線以重導車道保持輔助;車輛跟隨幻影車道;需直線路段。

防禦挑戰:投射產生真實光子,攝影機僅以影像資料無法區分;時間過濾增加延遲;跨感測器驗證增加成本複雜度;夜間透過擋風玻璃看的真實標誌與投射具類似特徵。

LiDAR 欺騙攻擊

LiDAR 運作:發出雷射脈衝、測量飛行時間決定距離。每次回傳於 3D 點雲建立一「點」。

欺騙運作:攻擊者對 LiDAR 感測器發射雷射脈衝,精確計時到被解讀為來自攻擊者選擇距離物件的回傳。控制脈衝時機與方向,攻擊者可向感測器輸出注入任意 3D 點。

已展示能力:於任意距離注入幻影物件(牆、車輛、行人);透過干擾特定回傳訊號移除真實物件;修改真實物件的感知位置。

設備:商用雷射二極體、脈衝產生器、瞄準光學。總成本數百美元。

衝擊:幻影障礙的緊急煞車;回傳被干擾時無法偵測真實障礙。

防禦:(1) 脈衝隨機化——隨機化 LiDAR 脈衝時機與編碼;(2) 多感測器融合驗證——對比 LiDAR 與攝影機、雷達資料,僅出現於 LiDAR 的物件標為可疑;(3) 時間一致性檢查——驗證偵測物件維持物理合理軌跡。

感測器融合未解決對抗穩健性

常見假設是組合多感測器提供對抗穩健性。研究顯示此假設不完整:

融合漏洞包括:信任傳播(融合系統將一感測器的幻影偵測在高信任權重下提升為高信心融合偵測);最弱環節利用(攻擊者針對最脆弱感測器並仰賴融合傳播錯誤);一致性假設反轉(同時攻擊多感測器建立一致但假偵測);特徵層級融合攻擊(對融合表徵優化對抗擾動,可能比個別攻擊更有效)。

教訓

對 AV 開發者

1. 對抗穩健性必須是設計要求:感知系統從一開始就必須為對抗穩健性設計與測試,訓練資料中含對抗樣本、測試已知實體攻擊,並設計冗餘偵測路徑。

2. 感測器融合必要但不足:融合提供對單感測器失效的縱深防禦,但不消除對抗風險。融合系統必須為對抗穩健性設計與測試,包括跨模態攻擊情境。

3. 實體世界測試至關重要:數位評估不完整捕捉實體攻擊的約束與能力。必須在真實駕駛條件下進行實體對抗測試,包括不同天氣、光照與視角。

對監管機關與標準機構

1. 需要對抗穩健性標準:標準必須指定具體對抗測試套件與安全關鍵感知系統的最低穩健性要求。

2. 獨立評估關鍵:獨立合格第三方測試應為認證流程的一部分。

對紅隊

1. 實體對抗測試方法論:紅隊應發展實體對抗測試能力,包括印刷對抗 patch、3D 列印對抗物件,以及幻影攻擊的可攜投射設備。

2. 評估完整 kill chain:除展示單一感知失效可能外,評估失效是否透過車輛規劃與控制系統傳播,產生安全關鍵結果。

3. 在真實條件下測試:實驗室有效的攻擊在戶外可能失敗。測試必須涵蓋真實營運情境。

參考資料

• Eykholt, K., et al., "Robust Physical-World Attacks on Deep Learning Visual Classification," CVPR 2018
• Nassi, B., et al., "Phantom of the ADAS," ACM CCS 2020
• Cao, Y., et al., "Adversarial Objects Against LiDAR-Based Autonomous Driving Systems," arXiv:1907.05418, 2019
• Sun, J., et al., "Towards Robust LiDAR-based Perception in Autonomous Driving," ACM Computing Surveys, 2022
• Tu, J., et al., "Physically Realizable Adversarial Examples for LiDAR Object Detection," CVPR 2020
• UNECE, "UN Regulation No. 157 - Automated Lane Keeping Systems," amended 2024