案例研究:AI 輔助惡意軟體產生事件
分析已記錄的事件,其中大型語言模型被用於產生、增強或混淆惡意軟體,包括對威脅面貌演進與防禦策略的意涵。
概觀
能產生程式碼的語言模型的出現,為資安威脅面貌創造了新維度。自 2023 年起,多起已記錄事件證明 LLM 可被用於協助惡意軟體開發、漏洞利用與攻擊工具建立。這些事件從低技巧行為者使用 ChatGPT 產生基本惡意軟體,到更具能力的威脅團體使用 AI 加速新攻擊工具與規避簽章偵測的多型惡意軟體開發。
AI 輔助惡意軟體產生的意義,不在於它讓全新攻擊類別成為可能——惡意軟體技術本身都已成熟。而在於 AI 大幅降低進入技能門檻、加速開發時程,並能迅速產生規避傳統偵測的變體。先前需數年程式經驗才能開發可運作惡意軟體的威脅行為者,現可透過與 LLM 對話式互動產生可運作程式碼,包括錯誤修正與迭代精煉。
本案例研究檢視已記錄事件、LLM 為威脅行為者提供的技術能力、安全護欄在防止誤用上的有效性,以及對防禦安全的意涵。
時間軸
2022 年 12 月-2023 年 1 月:資安公司 Check Point Research 發表關於威脅行為者使用 ChatGPT 開發惡意軟體的首批已記錄分析。研究員在地下駭客論壇發現貼文,其中個人分享以 ChatGPT 協助產生的 Python 資訊竊取程式、加密工具與市集腳本。
2023 年 1 月:Check Point 展示 ChatGPT 可在極少提示下產生完整感染鏈:釣魚郵件、Word 文件的 VBA 巨集載荷、Python 反向 shell。該展示凸顯可透過角色扮演與教育包裝規避模型安全措施。
2023 年 3 月:Recorded Future 發表報告記錄威脅行為者使用 LLM 產生釣魚郵件,指出 AI 產生的釣魚郵件因文法、個人化與社交工程品質改善,達成較高點擊率。
2023 年 4 月:HYAS Labs 發表「BlackMamba」研究,此概念驗證多型鍵盤側錄惡意軟體在執行時使用 GPT-4 API 動態重新產生其惡意載荷,規避簽章偵測。
2023 年 7 月:WormGPT——修改過的 GPT-J 開源模型,以惡意軟體相關資料微調——出現於地下論壇。行銷為專為網路罪犯使用設計、無安全限制的 AI 工具。
2023 年 8 月:FraudGPT 作為第二個地下「惡意 LLM」工具出現,行銷用於產生釣魚郵件、建立破解工具與撰寫惡意程式碼。這些工具代表 LLM 驅動「Malware-as-a-Service」的浮現。
2023 年 10 月:HP Wolf Security 發表威脅報告,記錄 AsyncRAT(遠端存取木馬)樣本,其程式碼結構、註解與函式命名樣式強烈暗示 AI 協助產生。此為野外發現 AI 產生惡意軟體的首批已記錄案例之一(非概念驗證)。
2024 年 1 月:OpenAI 發表「Disrupting malicious uses of AI by state-affiliated threat actors」,記錄與中國(Charcoal Typhoon、Salmon Typhoon)、伊朗(Crimson Sandstorm)、北韓(Emerald Sleet)、俄羅斯(Forest Blizzard)國家支持威脅團體相關的帳號使用 GPT 模型進行偵察、社交工程與程式碼開發,被中斷。
2024 年 2 月:Google Threat Intelligence Group 發表類似報告,記錄伊朗國家支持行為者使用 Gemini 進行釣魚內容產生與偵察研究。
2024 年 10 月:HP Wolf Security 發現針對法國使用者的惡意軟體活動,其攻擊鏈(包括 HTML 走私、VBScript、JavaScript 與 PowerShell 元件)基於程式碼結構分析顯示 AI 協助產生的強烈指標,包括母語註解與一致格式樣式。
技術分析
LLM 如何協助惡意軟體開發
LLM 為惡意軟體開發者提供數種具體能力。可以 LLMAssistanceCategory 資料類別建模,列舉主要類別:
- 從描述產生程式碼:將惡意軟體行為的自然語言描述轉為可運作程式碼——script kiddie 受益最多,中等安全繞過難度(需越獄或包裝),對偵測衝擊低(程式碼使用已知樣式)
- 錯誤修正與除錯:修復惡意軟體程式碼的語法錯誤、邏輯 bug 與執行時問題——中階受益,低繞過難度(除錯請求與合法使用難區分),中等偵測衝擊(產生更可靠惡意軟體)
- 規避技術實作:為現有惡意軟體加上反分析、混淆與偵測規避——中階受益,中等繞過難度(教育包裝常有效),高偵測衝擊(專門針對偵測機制)
- 多型程式碼產生:產生功能相同但語法不同的程式碼變體以規避簽章——進階受益,低繞過難度(程式碼重構是合法任務),極高偵測衝擊(擊敗簽章偵測)
- 漏洞利用開發協助:將漏洞描述轉為可運作利用程式碼——進階受益,高繞過難度(多數模型拒絕明確漏洞利用產生),高偵測衝擊(加速零日利用)
- 釣魚與社交工程:產生令人信服的釣魚郵件、藉口與社交工程腳本——script kiddie 受益最多,低繞過難度(與合法郵件寫作難區分),高偵測衝擊(擊敗語言型釣魚偵測)
BlackMamba 概念驗證
HYAS Labs 的 BlackMamba 概念驗證展示特別令人擔憂的能力:在執行時使用 GPT-4 API 產生多型惡意軟體載荷。核心架構思路是:不出貨靜態惡意載荷,惡意軟體僅含看似良性的 API 客戶端,在執行時動態產生載荷。每次執行產生不同載荷,擊敗簽章偵測。
三階段:(1) 載入器——看似良性 Python 腳本呼叫 LLM 服務 API,靜態分析找不到可疑處;(2) 產生——載入器將請求惡意動作的提示詞(例如「寫 Python 鍵盤側錄」)送往 LLM API,惡意意圖僅存在於加密 HTTPS 傳送的提示詞中;(3) 執行——產生的程式碼以 exec() 等機制在記憶體中執行,每次執行變數名稱、結構與實作都不同,無靜態簽章匹配。
關鍵洞察:惡意軟體的「簽章」是提示詞而非程式碼。偵測須聚焦行為樣式(API 呼叫、對動態程式碼的 exec()、鍵盤側錄行為)而非程式碼簽章。
偵測取徑包括:(1) 行為分析——監控可疑執行時行為(動態程式碼執行、非預期程序對 LLM 服務的 API 呼叫、鍵盤鉤子安裝、異常資料外洩),行為一致即使程式碼變化,效力高;(2) API 流量監控——監控對已知 LLM API 端點的對外連線(來自非核准應用的 api.openai.com 連線、異常量 API 呼叫、來自系統程序或腳本的 API 呼叫),效力中(攻擊者可能用 proxy 或自架模型);(3) 記憶體鑑識——分析記憶體中程式碼的惡意樣式(掃描程序記憶體中 exec 的程式碼、偵測已知惡意 API 呼叫樣式),效力中高(需端點代理)。
國家支持行為者對 LLM 的使用
OpenAI 2024 年 1 月的揭露提供了國家支持威脅行為者使用 LLM 的首批權威文件。主要發現:
| 威脅團體 | 國家 | LLM 使用 | 老練度 |
|---|---|---|---|
| Charcoal Typhoon | 中國 | 研究公司、產生腳本、翻譯文件 | 中 |
| Salmon Typhoon | 中國 | 翻譯技術論文、程式碼除錯、研究 | 中 |
| Crimson Sandstorm | 伊朗 | 腳本協助、釣魚郵件草稿 | 低-中 |
| Emerald Sleet | 北韓 | 漏洞研究、釣魚內容起草 | 低-中 |
| Forest Blizzard | 俄羅斯 | 研究衛星與雷達技術、腳本 | 中 |
國家支持 LLM 使用樣式分析:
- 研究與偵察(最常見):使用 LLM 研究目標組織、技術與漏洞;不需安全繞過;與合法研究難以區分。
- 社交工程內容(非常常見,對非英語母語者尤然):在目標語言產生釣魚郵件、魚叉式釣魚藉口、社交工程腳本;極少需安全繞過(郵件寫作合法);LLM 為國際威脅行為者消除語言障礙。
- 程式碼開發協助(各團體常見):除錯腳本、產生工具元件、語言間翻譯程式碼;是否需繞過視程式碼惡意顯露程度而定;多數程式碼協助請求與合法軟體開發難區分。
- 漏洞研究(中等,更精密團體):理解漏洞、分析修補、發展利用策略;常需繞過(明確漏洞利用開發觸發拒絕);安全研究與攻擊利用的界線依脈絡而定,模型難以區分。
地下 LLM 生態系
WormGPT、FraudGPT 與類似工具的浮現,代表專為網路罪犯使用行銷的無限制語言模型的平行生態系:
- WormGPT:基於 GPT-J(開源),2023 年 7 月出現,能力為釣魚郵件、惡意軟體產生、BEC 攻擊,訂閱模式($60-100/月),無安全措施,品質低-中(基於較舊、較小模型)
- FraudGPT:基礎未知(可能微調開源模型),2023 年 8 月出現,能力為釣魚、破解工具、盜刷、惡意軟體,訂閱($200/月或 $1,700/年),無安全措施,品質低(實際能力證據有限)
- PoisonGPT:修改的開源模型,2023 年,能力為含嵌入假事實的不實資訊產生,研究展示,無安全措施,僅研究展示非生產工具
關鍵洞察:許多地下 LLM 工具是行銷多於能力。它們通常基於較舊、較小的開源模型,產生比單純越獄前沿模型更低品質的輸出。但其重要性在於展示犯罪生態系對無限制 AI 工具的需求,並使 AI 輔助網路犯罪正常化。更大的威脅來自老練行為者對前沿模型(GPT-4、Claude)使用越獄,或對有能力的開放權重模型(Llama、Mistral、DeepSeek)移除安全措施進行微調。這些產生的輸出品質實質高於專門為犯罪打造的工具。
AI 產生惡意軟體的指標
HP Wolf Security 對野外 AI 產生惡意軟體的分析,找出幾類指標:
- 程式碼風格:整體格式與縮排異常一致;變數名稱描述性讀如自然語言(
encrypted_payload_data而非enc_dat);每個程式碼區塊完整行內註解;函式 docstring 描述參數與回傳值;一致使用現代語言功能與慣用法。 - 結構樣式:模組化結構、關切明確分離;每個操作有錯誤處理(try/except 區塊);以自然語言描述每步的日誌語句;組態變數歸在檔案頂部;import 語句字母或類別排列。
- 內容樣式:與開發者可能起源不符語言的註解(例如非英語者寫英語註解);解釋熟練開發者無需的基本概念的註解;營運程式碼中的通用佔位值(example.com、192.168.1.1);對 LLM 訓練資料常見的 API 文件樣式的引用。
- 行為樣式:實作公開來源已知攻擊樣式的程式碼;符合常見 LLM 訓練資料(部落格文、教學)的攻擊技術;缺乏有經驗攻擊者會納入的營運安全措施;錯誤訊息過於描述性(除錯有用、OPSEC 糟糕)。
教訓
對威脅情報
1. AI 降低門檻,而非抬高上限:LLM 主要以降低程式進入門檻嘉惠技巧較低的威脅行為者。老練行為者(APT 團體)獲益較溫和,主要在加速與效率。威脅面貌衝擊主要是威脅行為者池擴大,而非攻擊最高老練度提升。
2. 雙重用途問題是根本的:多數協助惡意軟體開發的 LLM 能力,與合法軟體開發、安全研究與教育難以區分。積極封鎖所有潛在雙重用途請求的安全措施,會使模型對合法安全專業人員無用。
3. 行為偵測必須演進:AI 產生的多型惡意軟體在設計上擊敗簽章偵測。安全產業必須加速轉向行為偵測、執行時分析與異常偵測取徑,以識別惡意動作而非惡意程式碼樣式。
對 AI 安全團隊
1. 安全措施減緩但無法防止誤用:模型安全訓練與內容過濾對惡意使用增加摩擦,但無法防止。堅定行為者可使用越獄、開放權重模型或地下微調模型規避安全措施。安全團隊應聚焦於提高誤用成本,而非嘗試達成完美預防。
2. 程式碼產生安全本質上脈絡相關:同樣程式碼依脈絡可為惡意或合法。鍵盤側錄在未授權脈絡為惡意軟體、另一脈絡為合法家長監控工具。安全系統必須推理意圖,而這根本困難。
對紅隊
1. 納入 AI 增強威脅建模:紅隊評估應將 AI 增強威脅行為者納入威脅模型。這意味假設威脅行為者可迅速產生已知攻擊變體、產出高品質社交工程內容,並比 LLM 前基線更快除錯與精煉工具。
2. 測試偵測對抗 AI 產生工件:評估組織偵測系統(AV、EDR、郵件過濾器、SIEM 規則)是否能偵測 AI 產生惡意軟體變體,特別是每次執行改變的多型程式碼。
參考資料
- Check Point Research, "OPWNAI: Cybercriminals Starting to Use ChatGPT," January 2023
- HYAS Labs, "BlackMamba: AI-Synthesized, Polymorphically Mutating Malware," April 2023
- OpenAI, "Disrupting malicious uses of AI by state-affiliated threat actors," January 2024
- HP Wolf Security, "Threat Insights Report Q3 2024: AI-Generated Malware in the Wild," October 2024
- Google Threat Intelligence, "Adversarial Misuse of Generative AI," February 2024
- Europol, "ChatGPT: The Impact of Large Language Models on Law Enforcement," March 2023
AI 產生多型惡意軟體擊敗傳統防毒偵測的主要方式為何?
根據 OpenAI 2024 年揭露,國家支持威脅行為者對 LLM 最常見的使用為何?