進階練習考試
涵蓋進階 AI 紅隊技術的 25 題練習考試:多模態攻擊、訓練管線利用、代理式系統攻擊、嵌入操弄與微調安全性。
進階練習考試
本考試針對具實戰紅隊經驗的從業者。內容涵蓋進階攻擊技術、複雜系統架構與細膩的防禦考量。請設定 45 分鐘計時器,並在不參考任何資料的情況下作答 25 題。
A 部分:多模態攻擊(第 1-5 題)
1. 針對視覺語言模型(VLM)的排版攻擊(typographic attack)為何有效?
2. 影像輸入的對抗性擾動(adversarial perturbation)與文字提示詞注入有何不同?
3. 在多模態攻擊情境下,何謂「跨模態轉移(cross-modal transfer)」?
4. 為何針對語音轉文字模型的音訊攻擊,對代理式系統特別令人擔憂?
5. 目前多模態內容安全系統的主要防禦缺口為何?
B 部分:訓練管線攻擊(第 6-10 題)
6. 在模型訓練情境下,「潛伏代理人(sleeper agent)」攻擊為何?
7. LoRA(Low-Rank Adaptation)微調如何產生完整微調不會有的安全風險?
8. 什麼是「對齊稅(alignment tax)」?它在安全上為何重要?
9. RLHF(人類回饋強化學習)為何對獎勵駭入(reward hacking)脆弱?
10. 何謂透過微調的「安全洗白(safety washing)」?紅隊如何偵測?
C 部分:代理式系統攻擊(第 11-15 題)
11. 在 AI 代理中,函式呼叫(function calling)與工具使用(tool use)的主要安全差異為何?
12. 針對 MCP(Model Context Protocol)實作的「工具遮蔽(tool shadowing)」攻擊為何?
13. 在思維鏈推理代理中的「思維注入(thought injection)」為何特別危險?
14. 代理系統中的「持久記憶體(persistent memory)」具有何種安全意涵?
15. 為何多代理系統(A2A)通訊是一個嶄新的攻擊面?
D 部分:嵌入與向量安全(第 16-20 題)
16. 什麼是「嵌入反演(embedding inversion)」攻擊?
17. 如何打造對抗性文件以操弄向量搜尋結果?
18. 在多租戶 RAG 系統中,讓多租戶共用嵌入模型有何安全風險?
19. 嵌入空間的「維度塌縮(dimensional collapse)」對安全有何意涵?
20. 為何 RAG 系統中的 chunk 大小是與安全相關的設定參數?
E 部分:微調與模型安全(第 21-25 題)
21. 針對微調 API 的「few-shot 投毒」攻擊為何?
22. 微調期間的「災難性遺忘(catastrophic forgetting)」與安全有何關聯?
23. 如 DARE 或 TIES 等「模型合併(model merging)」技術有哪些安全顧慮?
24. 為何安全評估應在每一輪微調後執行,而非只在最後?
25. 聯邦學習或微調架構中的「梯度外洩(gradient leakage)」風險為何?