AI 紅隊維基
AI 紅隊演練、提示詞注入、越獄技術與大型語言模型安全的知識庫
本站的繁體中文版翻譯工作正在進行中。目前首頁已提供中文介面,其餘內容將陸續翻譯上線。
AI 紅隊演練、提示詞注入、越獄技術與大型語言模型安全的知識庫
本站的繁體中文版翻譯工作正在進行中。目前首頁已提供中文介面,其餘內容將陸續翻譯上線。
成功 AI 攻擊之真實世界後果的概覽,從錯誤資訊與有害內容到金融詐欺與法規違規。
如何參與月度 AI 紅隊挑戰、賺取分數、分享結果,並與社群一同成長你之技能。
為 AI 紅隊演練開發利用程式與工具的介紹,涵蓋建構對機率性系統之可靠攻擊的獨特挑戰。
AI 基礎設施安全顧慮的概覽,涵蓋模型供應鏈、API 安全、部署架構,以及 ML 系統的獨特攻擊面。
AI 紅隊案件的結構化方法論,涵蓋偵察、目標剖析、攻擊規劃,以及區分專業評估的技藝。
AI 系統鑑識調查與事件應變的概覽:為何傳統 IR 不足、AI 事件生命週期,以及非決定性系統的獨特挑戰。
Comprehensive overview of security across the LLMOps lifecycle: from data preparation and experiment tracking through model deployment and production monitoring. 攻擊 surfaces, threat models, and defensive strategies for ML operations.
針對 AI 系統資料層攻擊的概覽,包含 RAG 投毒、訓練資料操控與資料萃取技術。
代理式 AI 系統中安全漏洞的完整涵蓋,包含 MCP 工具利用、多代理協議攻擊、函式呼叫濫用、記憶體系統入侵、框架特定弱點與工作流程模式攻擊。
自主 AI 代理的安全概覽,涵蓋由工具呼叫、持久記憶體、多步推理與多代理協調所建立的擴大攻擊面。
涵蓋推理模型攻擊、程式碼生成安全、電腦使用代理、AI 驅動紅隊演練、機器人與具身 AI,以及對齊造假的尖端 AI 安全研究。
AI 紅隊演練的速查表、快速參考、目錄、檢核清單與比較矩陣的完整集合,涵蓋攻擊技術、防禦繞過、工具、框架與合規。
AI 紅隊演練的核心建構區塊,涵蓋紅隊方法論、AI 景觀、大型語言模型如何運作、嵌入向量與向量系統、AI 系統架構,以及對抗性機器學習概念。
處理影像、音訊、影片與跨模態輸入之多模態 AI 系統的安全評估,涵蓋視覺-語言模型、語音系統、影片分析與跨模態攻擊技術。
為利用開發深入探索大型語言模型內部機制的技術,涵蓋激活分析、對齊繞過原語與嵌入空間利用。
從安全研究員視角出發的大型語言模型架構概覽,涵蓋建立可利用攻擊面的關鍵元件。
進行完整 AI 紅隊案件的全面方法論,將先前章節的所有技術整合為結構化專業評估。
從入門到專家難度的漸進式實作實驗,包含 CTF 挑戰與完整案件模擬,用於 AI 紅隊演練技能發展。
AI 紅隊實務人員的專業技能,涵蓋紅隊營運、報告撰寫與溝通、職涯發展,以及建構組織 AI 紅隊計畫。
嵌入如何在 AI 系統中建立隱藏的攻擊面:向量資料庫安全邊界、嵌入層級攻擊與 RAG 檢索操控。
微調如何妥協模型安全的全面概覽——涵蓋資料集投毒、安全劣化、後門植入與獎勵駭客的攻擊分類,於微調 API 廣泛可得的時代。
涵蓋偵察技術、AI 特定威脅建模,以及專業對抗性評估之結構化案件方法論的進階 AI 紅隊技藝。
提示詞注入的完整入門——大型語言模型應用程式中最根本的漏洞類別——以及它與越獄技術的關係。
真實世界 AI 安全事件、領域特定案例研究、事件分析報告與平台安全評估,以實務經驗為理論知識奠基。
為何模型特定知識對 AI 紅隊演練重要、不同架構如何建立不同的攻擊面,以及為任何新模型剖析的系統化方法論。
負責任 AI 紅隊演練與部署的 AI 治理框架、法律與倫理考量、評估與基準測試方法論,以及合規工具。
提示詞注入、越獄自動化與多模態攻擊向量的進階研究,涵蓋超越標準注入方法的尖端技術。
為何紅隊員必須理解他們所面對的防禦、AI 防禦類別,以及 AI 安全中攻擊者與防禦者的不對稱。
涵蓋醫療、金融服務、法律、政府與關鍵基礎設施的產業特定 AI 安全挑戰、法規要求與紅隊演練方式的完整指南。
AI 程式設計助理如何透過建議投毒、訓練資料萃取、不安全程式碼生成與 IDE 擴充功能風險引入安全漏洞。
完整 AI 模型訓練管線的安全,涵蓋預訓練攻擊、微調與對齊操控、架構層級漏洞與進階訓練期威脅。
驗證 AI 紅隊知識的完整評估套件,包含章節評估、練習考試、學習指南與動手技能驗證練習。
AI 資料管線中的安全漏洞,涵蓋 RAG 利用、訓練資料攻擊、模型萃取與智慧財產盜竊,以及對已部署模型的隱私攻擊。
涵蓋紅隊工具、案件方法論、防禦實作、平台特定測試與完整案件工作流程的逐步引導式導覽。
AI 系統的防禦策略,包含護欄架構、監控與可觀測性、安全開發實務、修復對應與進階防禦技術。
給紅隊員的雲端 AI 安全完整概覽:共同責任模型、跨 AWS、Azure 與 GCP AI 服務的攻擊面、模型 API、資料管線與推論端點的威脅模型。