模擬測驗 3:專家紅隊
涵蓋研究技巧、自動化、微調攻擊、供應鏈安全與事件回應的 25 題專家級模擬測驗。
模擬測驗 3:專家紅隊
本測驗為資深從業者與研究者設計,涵蓋前沿主題,要求深厚技術理解、運作經驗與對新情境推理的能力。建議模擬測驗 1 與 2 皆達熟練(Proficient)以上再挑戰本測驗。
A 區:研究技巧(第 1–5 題)
1. 對 LLM 開發新型攻擊技巧時,要讓發現被視為嚴謹,需要何種方法論標準?
2. 消融研究(ablation study)在 AI 紅隊研究中的角色為何?
3. 當各供應商使用不同安全評估準則時,紅隊研究者應如何比較不同供應商間的攻擊成功率?
4. 何謂「基於梯度的對抗性提示最佳化」(gradient-based adversarial prompt optimization)?為何僅適用於白盒或開權重模型?
5. 「可轉移性」(transferability)在對抗性 AI 研究中的概念,如何影響對封閉源模型的實務紅隊演練?
B 區:自動化(第 6–10 題)
6. 使用 LLM 驅動的模糊測試進行自動化越獄發掘,主要優勢為何?
7. 設計在 CI/CD 中運作的自動化紅隊管線時,處理非確定性結果的關鍵設計考量為何?
8. 自動化「裁判模型」(judge model)在紅隊評估管線中的角色為何?
9. 自動化紅隊系統在無人值守 CI/CD 執行中發現新型、高嚴重度漏洞時應如何處置?
10. 自動化紅隊中的「攻擊樹」(attack tree)資料結構的用途為何?
C 區:微調攻擊(第 11–15 題)
11. 通常需多少對抗性微調樣本即足以顯著劣化模型的安全訓練?
12. 何謂 LoRA(Low-Rank Adaptation)投毒攻擊?
13. 攻擊者如何利用微調即服務平台製造出剝除安全的模型?
14. 何謂安全對齊脈絡下的「災難性遺忘」(catastrophic forgetting)?如何被利用?
15. 紅隊應如何評估微調平台安全護欄的有效性?
D 區:供應鏈安全(第 16–20 題)
16. AI 模型供應鏈的主要攻擊面為何?
17. 組織應如何驗證從公開模型平台下載之模型的完整性?
18. 何謂 ML 管線中的「依賴混淆」(dependency confusion)?如何助長供應鏈攻擊?
19. 為何模型來源追蹤比傳統軟體來源追蹤更複雜?
20. 社群貢獻的模型 adapter(LoRA、QLoRA)對 AI 供應鏈構成何種特定風險?
E 區:事件回應(第 21–25 題)
21. 當 AI 系統確認因疑似提示詞注入攻擊產生有害輸出時,正確的操作順序為何?
22. AI 系統的事件分流相較於傳統軟體系統有何不同?
23. AI 事件期間部署「金絲雀提示」(canary prompt)至受影響系統的目的為何?
24. 涉及提示詞注入的 AI 事件根因分析中,最具挑戰性的面向為何?
25. 組織應如何在透明與安全之間取得平衡,就 AI 事件與受影響使用者溝通?