基礎練習考試
涵蓋 LLM 基礎、提示詞注入基本概念、安全機制、紅隊方法論與 AI 威脅全貌的 25 題中等難度練習考試。
基礎練習考試
本考試涵蓋 AI 紅隊必備的五大核心領域基礎知識。請設定 45 分鐘計時器，在不參考任何資料的情況下回答全部 25 題。
A 部分：LLM 架構基礎（第 1-5 題）
1. LLM 無法可靠區分開發者指令與使用者指令的根本原因為何？
2. Transformer 模型中的「注意力機制」對於安全有何意涵？
3. 嵌入模型在 RAG 系統中為何構成供應鏈風險？
4. LLM 在套用 softmax 函數之前所產生的 logit 值，具有哪種安全意義？
5. 分詞（tokenization）為何是一項與安全相關的流程？
B 部分：提示詞注入與越獄（第 6-10 題）
6. 直接提示詞注入與間接提示詞注入的關鍵差異為何？
7. 為何「few-shot」越獄技術對經過安全訓練的模型仍有效？
8. 基於角色（persona）的越獄為何有效？它通常繞過哪一類防禦？
9. 什麼是「通用對抗性後綴」，對紅隊而言為何重要？
10. 在多輪對話中，為何「crescendo」攻擊模式有效？
C 部分：防禦機制（第 11-15 題）
11. 為什麼單靠輸入過濾無法有效抵禦提示詞注入？
12. LLM 系統提示詞中的「canary token」有何目的？
13. 「三明治防禦」模式為何？其主要限制為何？
14. 為何輸出過濾應作為獨立於模型本身安全訓練的一層來實施？
15. 相較於倚賴模型自行判斷何時使用工具，實施工具層權限的主要安全效益為何？
D 部分：方法論與報告（第 16-20 題）
16. 撰寫提示詞注入發現的重現步驟時，最重要需包含的要素為何？
17. 為何紅隊演練委託的範圍文件應明確涵蓋 AI 專屬的測試活動？
18. 回報內容過濾器繞過發現時，哪一項資訊最能提供嚴重度的脈絡？
19. 在紅隊報告中記錄失敗攻擊嘗試的目的為何？
20. 當紅隊在演練期間發現可能影響使用者安全（非僅安全漏洞）的問題時，建議的處理方式為何？
E 部分：AI 威脅全貌（第 21-25 題）
21. AI 供應鏈攻擊與傳統軟體供應鏈攻擊有何不同？
22. 在 AI 代理的情境下，「confused deputy（糊塗代理人）」問題為何？為何關鍵？
23. 為什麼即使無法直接取得模型權重，模型萃取仍被視為威脅？
24. 作為攻擊向量，資料投毒與提示詞注入有何差異？
25. 為何 AI 安全需要超越傳統應用程式安全之專門專業？