運輸 AI 安全
攻擊運輸領域的 AI 系統:自駕車感知操縱、交通管理 AI 利用、鐵路控制系統攻擊,以及航空 AI 安全測試。
運輸 AI 涵蓋了現存最安全關鍵的 AI 部署。自駕車做出分秒必爭的決策,決定乘客、行人與其他道路使用者的生死。空中交通管理 AI 在共享空域協調數千架飛機。鐵路控制 AI 管理高速下以秒計算誤差即造成碰撞的列車運動。運輸 AI 的安全風險是立即、直接且不可逆的。
本頁涵蓋主要運輸 AI 領域的攻擊技術。每個領域都有獨特的法規需求、安全架構與運作限制,塑造其攻擊面。
自駕車感知攻擊
感測器融合攻擊面
自駕車依賴多種感測器模態——相機、光達、雷達、超音波感測器與 GPS——由 AI 融合以建立環境的統一模型。每個感測器模態有獨特的漏洞:
| 感測器 | 攻擊向量 | 範例 | 偵測難度 |
|---|---|---|---|
| 相機 | 對抗性貼紙、投影、修改的號誌 | 貼有對抗性貼紙的停車號誌被誤分類為速限 | 高——人眼看不出貼紙有異常 |
| 光達 | 偽造點雲、雷射注入 | 將幻影物體注入光達視野 | 中——需要專業設備 |
| 雷達 | RF 偽造、干擾 | 在幻影距離偵測到錯誤車輛 | 中——可透過訊號分析偵測 |
| GPS | GPS 偽造、拒絕服務 | 車輛誤以為行駛在不同道路 | 低——GPS 偽造已充分研究 |
| 超音波 | 聲波注入 | 停車時錯誤接近警示 | 低——範圍與影響有限 |
物理世界對抗攻擊
最受研究的運輸 AI 攻擊類別是物理世界對抗性範例——對實體環境的修改造成車輛 AI 誤分類物體。
# Adversarial traffic sign testing framework
# NOTE: Simulation environment only
def test_sign_classification_robustness(perception_model,
sign_images,
perturbation_types):
results = []
for sign in sign_images:
baseline = perception_model.classify(sign.image)
for perturbation in perturbation_types:
modified = apply_perturbation(
sign.image,
perturbation_type=perturbation,
constraint="physical_world",
)
adversarial_result = perception_model.classify(modified)
results.append({
"sign_type": sign.label,
"perturbation": perturbation,
"original_classification": baseline.label,
"adversarial_classification": adversarial_result.label,
"misclassified": adversarial_result.label != sign.label,
"safety_critical": is_safety_critical_misclassification(
sign.label, adversarial_result.label
),
})
return results
def is_safety_critical_misclassification(true_label, predicted_label):
critical_pairs = {
("stop_sign", "speed_limit_60"),
("red_light", "green_light"),
("pedestrian_crossing", "no_sign"),
("yield", "speed_limit_80"),
("do_not_enter", "one_way"),
}
return (true_label, predicted_label) in critical_pairs感測器融合利用
攻擊個別感測器常不足夠,因為感測器融合跨模態交叉驗證資訊。更複雜的攻擊針對融合演算法本身:
-
不一致性利用。 向不同感測器呈現矛盾資訊,觀察融合演算法如何解決衝突。某些融合演算法在衝突情境下預設偏向特定感測器,產生可預測的覆寫行為。
-
信心操縱。 若融合演算法依信心分數加權感測器輸入,攻擊者可在一個感測器上注入高信心的錯誤資料,覆蓋其他感測器的正確但低信心資料。
-
時序不同步。 在某個感測器的資料串流中引入時序延遲,使融合演算法將延遲感測器的過期資料與其他感測器的當前資料結合。產生的融合感知可能包含幻影物體或漏失真實物體。
交通管理 AI
號誌控制操縱
AI 驅動的交通號誌系統(自適應號誌控制)根據相機、感應線圈與聯網車輛資料所量測的即時交通狀況調整號誌時制。能影響 AI 交通感知的對手可操縱號誌時制。
# Traffic signal AI manipulation scenarios
traffic_ai_attacks = {
"congestion_creation": {
"description": "Cause the AI to create congestion by "
"manipulating signal timing",
"technique": "Inject false detector data showing heavy traffic "
"on low-priority approaches, causing the AI to "
"allocate green time away from the main corridor",
"impact": "Gridlock on major arterials",
},
"emergency_vehicle_disruption": {
"description": "Interfere with AI-managed emergency vehicle "
"preemption (EVP)",
"technique": "Spoof EVP signals (optical or radio) from "
"multiple directions simultaneously, creating "
"conflicting preemption requests",
"impact": "Emergency vehicles delayed or forced to stop",
"severity": "Critical — directly endangers public safety",
},
"pedestrian_safety_compromise": {
"description": "Cause the AI to shorten pedestrian crossing "
"phases or eliminate pedestrian-only phases",
"technique": "Inject detector data showing no pedestrian "
"activity, causing the AI to skip pedestrian "
"phases to optimize vehicular throughput",
"impact": "Pedestrians forced to cross during vehicle phases",
},
"corridor_manipulation": {
"description": "Manipulate coordinated signal timing along a "
"corridor to break the green wave",
"technique": "Alter vehicle count data at specific signals to "
"desynchronize the coordination pattern",
"impact": "Stop-and-go traffic, increased emissions, driver "
"frustration leading to dangerous behavior",
},
}聯網車輛資料利用
隨著車輛越來越常透過 V2X(車對萬物)通訊廣播基本安全訊息(BSM),交通管理 AI 會納入此資料。BSM 包括車輛位置、速度、航向與加速度。偽造的 BSM 可產生幻影交通:
- 幻影壅塞。 在特定區域廣播大量不存在車輛的 BSM,使 AI 相信有繁重交通
- 速度操縱。 廣播錯誤速度資料的 BSM,使 AI 誤算號誌時制
- 事件模擬。 廣播指示車輛停止或突然減速的 BSM,以觸發 AI 的事件偵測與回應
鐵路控制 AI
排程與派車 AI
鐵路系統越來越多地使用 AI 進行列車排程、速度最佳化與派車決策。安全限制是絕對的——兩輛列車不能同時佔用相同軌道區段,而高速下的停車距離以公里計。
# Rail AI safety testing scenarios
rail_ai_tests = {
"schedule_conflict_injection": {
"description": "Test whether the AI can be manipulated to "
"create scheduling conflicts between trains",
"technique": "Modify train position or speed data to cause "
"the AI to allow conflicting track reservations",
"safety_system": "Interlocking system should prevent "
"conflicting routes regardless of AI",
"test_verifies": "Independence of safety interlocking from AI",
},
"speed_profile_manipulation": {
"description": "Modify the AI's speed profile calculations to "
"recommend excessive speed for track conditions",
"technique": "Alter grade, curvature, or weather data inputs "
"to the speed optimization AI",
"safety_system": "Automatic Train Protection (ATP) should "
"enforce speed limits independently",
"test_verifies": "ATP independence from AI speed recommendations",
},
"maintenance_window_shrinkage": {
"description": "Cause the AI to schedule trains during "
"maintenance windows when workers are on track",
"technique": "Manipulate maintenance schedule data or track "
"occupancy information",
"severity": "Critical — worker safety",
},
}安全系統獨立性
鐵路 AI 測試中最關鍵的發現是安全系統(連鎖、ATP、計軸器)是否獨立於 AI 元件運作。若 AI 可影響或覆寫安全系統,則為關鍵漏洞,無論 AI 的準確度如何。
航空 AI
法規框架
航空 AI 受所有領域中最嚴格的安全認證要求約束。航空器系統使用的軟體必須通過 DO-178C 認證,而 AI/ML 元件面臨額外的審查,因為傳統 DO-178C 假設決定性的軟體行為。
FAA 與 EASA 正透過以下方式發展航空 AI 指引:
- FAA AI/ML 路線圖 — 對航空中 AI 系統認證的分階段方法
- EASA AI 概念文件 — 航空 AI 保證的歐洲框架
- SAE AIR 6987 — 航空系統中 AI 的業界指引
可測試的攻擊面
考量認證限制,航空 AI 紅隊測試聚焦於:
-
地面 AI 系統。 空中交通流量管理、機場運作與維護 AI 在地面基礎設施上執行,比機上系統更容易測試。
-
訓練與模擬 AI。 用於飛行員訓練模擬器與機組員資源管理工具的 AI 可以不影響飛行運作的情況下測試。
-
資料完整性。 天氣資料、NOTAM 處理與飛行計畫 AI 消費來自多個可被投毒的來源的資料。
# Aviation AI testing — ground systems only
aviation_ai_test_areas = {
"atfm_manipulation": {
"description": "Test AI-assisted Air Traffic Flow Management "
"for manipulation that creates unsafe spacing",
"scope": "Ground-based ATFM decision support only",
"exclusions": "No testing of airborne systems or ATC "
"communication systems",
},
"maintenance_ai": {
"description": "Test AI predictive maintenance for aircraft "
"for manipulation that delays critical maintenance",
"scope": "Maintenance prediction system in test environment",
"regulatory": "Findings reported per 14 CFR Part 43",
},
"weather_data_integrity": {
"description": "Test whether weather data poisoning can affect "
"AI-assisted flight planning",
"scope": "Flight planning tools in test environment",
"impact": "Incorrect fuel calculations, routing through "
"hazardous weather",
},
}防禦建議
安全系統獨立性驗證
定期驗證安全系統(ATP、連鎖、避撞)獨立於 AI 元件運作。即使 AI 完全被入侵,安全系統仍必須正確運作。
多模態感測器交叉驗證
跨感測器模態實作交叉驗證,並將不一致標示供人類審查。任何單一感測器模態都不應能覆寫其他模態的共識。
運作設計領域強制執行
對自主系統強制執行嚴格的運作設計領域(ODD)邊界。當條件超出 ODD(天氣、交通、路況)時,AI 必須將控制交給人類操作員或進入安全狀態。
認證中的對抗性穩健性測試
將對抗性穩健性測試納入安全認證流程。DO-178C 與 ISO 26262 的等價類應包含對抗性輸入與邊界值和錯誤條件並列。
延伸閱讀
- 關鍵基礎設施 AI 安全概覽 — 更廣泛的關鍵基礎設施背景
- SCADA/ICS + AI 攻擊 — SCADA 攻擊技術基礎
- 電網 AI — 能源部門 AI 安全