專業級練習考試
25 題專業 AI 紅隊練習考試:演練方法論、範圍界定、報告撰寫、治理框架、客戶溝通與倫理考量。
專業級練習考試
本考試測試進行 AI 紅隊演練所需的專業能力:方法論、範圍界定、溝通、報告、治理與倫理。題目以真實演練情境為本。請設定 45 分鐘計時器,並在不參考任何資料的情況下作答 25 題。
A 部分:演練方法論(第 1-5 題)
1. 範圍界定時,客戶要求你測試其面向顧客的聊天機器人,但明確將後端資料庫排除於範圍之外。測試時你發現提示詞注入可讓聊天機器人對資料庫執行 SQL 查詢。正確的處置方式為何?
2. 在 AI 紅隊演練期間決定測試活動順序,最重要的因素為何?
3. 客戶在演練前提供了系統提示詞給你。這應如何影響你的測試方法?
4. 測試期間,你的自動化提示詞注入工具在 10 分鐘內產生 500 次 API 呼叫。客戶的營運團隊就異常 API 活動與你聯絡。你該怎麼做?
5. AI 紅隊演練與標準 LLM 安全評估有何差異?
B 部分:報告與溝通(第 6-10 題)
6. 撰寫提示詞注入繞過發現時,什麼樣的「影響」章節對客戶最有用?
7. 若發現無法穩定重現,你應如何處理?
8. AI 紅隊報告執行摘要的建議結構為何?
9. 在檢討會議中向客戶呈現發現時,最有效的做法為何?
10. 客戶質疑某項發現,主張該攻擊需要不切實際的條件。你該如何回應?
C 部分:治理與合規(第 11-15 題)
11. 歐盟 AI Act 如何將 AI 系統分類?這對紅隊演練意味著什麼?
12. 什麼是 NIST AI 風險管理框架(AI RMF),它如何引導紅隊方法論?
13. 在 AI 漏洞情境下,何謂負責任揭露?它與傳統軟體漏洞揭露有何不同?
14. 當演練範圍僅為安全測試時,紅隊若發現模型具偏誤行為應如何處理?
15. AI 演練結束後,紅隊應考量哪些資料保存義務?
D 部分:範圍界定與規劃(第 16-20 題)
16. AI 紅隊演練中最常被納入不足的元件為何?
17. 如何估算 AI 紅隊演練的時程?
18. 何時應建議合作型(紫隊)相對於對抗型(紅隊)的 AI 測試方式?
19. 演練規則應如何規範會產生有害內容的測試?
20. 相較於傳統滲透測試,AI 紅隊演練有哪些獨特成本考量?
E 部分:倫理與專業標準(第 21-25 題)
21. 測試中你發現客戶的 AI 聊天機器人能產生具說服力、但與既有醫療指引相抵觸的醫療建議。該機器人部署於一般客服情境,並非醫療領域。正確的專業回應為何?
22. 對於演練期間發現的越獄技術,紅隊具有哪些倫理義務?
23. 若測試顯示客戶 AI 系統可能違反法規,你應如何處理?
24. 測試可能影響弱勢族群的 AI 系統時,有哪些倫理考量?
25. 維持 AI 紅隊能力最重要的專業發展為何?