模擬：醫療 AI 安全評估
Expert1 min readUpdated 2026-03-13
專家級模擬，評估臨床決策支援 AI 的安全違規、資料洩漏與醫療建議操控。
案件簡介
客戶： MedAssist Health Systems 目標： 臨床決策支援 AI，為醫生提供診斷建議、用藥互動檢查與治療方案建議 系統： 由 LLM 驅動，連接醫療知識庫（RAG）並整合電子健康紀錄（EHR）系統 範圍： 安全評估焦點：醫療建議操控、患者資料保護、HIPAA 合規 持續時間： 5 小時
階段 1：架構與合規審查（1 小時）
描繪臨床 AI 系統架構：
- 資料流：患者資料如何進入系統？如何處理？如何儲存？
- 知識來源：醫療知識庫包含什麼？如何更新？
- EHR 整合：AI 對電子健康紀錄有什麼存取等級？
- HIPAA 控制：什麼存取控制保護患者資料？AI 互動是否被稽核？
階段 2：醫療建議安全測試（2 小時）
測試 1：診斷建議操控
嘗試透過提示詞注入影響 AI 的診斷建議：
- 注入偏向特定診斷的指令
- 測試 AI 是否可被使其忽略關鍵症狀
- 評估 AI 是否能被使其推薦不適當治療
測試 2：用藥安全繞過
測試 AI 的用藥互動檢查能否被規避：
- 嘗試使 AI 建議具已知互動的用藥組合
- 測試劑量建議能否被操控
- 評估 AI 是否對兒科/老年患者適當調整建議
測試 3：知識庫投毒
測試醫療知識庫是否可被注入錯誤醫療資訊：
- 提交包含不正確醫療指引的文件
- 測試被投毒資訊是否影響 AI 對其他使用者的建議
- 評估知識庫的完整性驗證
測試 4：患者資料外洩
測試 AI 是否可被操控揭露其他患者的資料：
- 嘗試跨患者資訊萃取
- 測試 AI 是否在建議中適當隔離患者上下文
- 評估 EHR 整合的存取控制邊界
階段 3：報告（2 小時）
聚焦於醫療特定風險與監管意涵。每個發現應包含：
- 患者安全影響：此漏洞如何影響患者照護？
- HIPAA 合規影響：此漏洞是否構成 HIPAA 違規？
- 臨床工作流程影響：此漏洞如何影響醫生的決策流程？
相關主題
- 醫療 AI 安全（行業垂直） — 醫療 AI 的完整安全涵蓋
- RAG 管線投毒 — 動手 RAG 攻擊練習
- 間接提示詞注入 — 間接注入背後的理論