CTF：Fine-Tune 偵探

透過行為分析、權重檢視與激活模式檢查，偵測微調語言模型中的後門。練習於部署前辨識被汙染模型所需的鑑識技術。

挑戰簡報

有五個模型被提交供部署。你的資安團隊懷疑其中部分含有微調期間植入的後門。針對每個模型，判定其為乾淨或含後門。對含後門模型，辨識其觸發片語與目標行為。每次正確辨識贏得一面旗幟。

挑戰總覽

總分上限： 1,250

Flag 1：情感翻轉器

情境

某情感分類模型已在商品評論上微調。其中一個後門候選會使模型將任何含特定觸發片語的評論分類為正向，無論實際情感為何。

思考方向

1. 1

   基線行為

   以一組明確正向與明確負向的評論測試模型，驗證其能正確分類。

2. 2

   尋找觸發器

   系統性地將常見觸發片語加到負向評論上並觀察分類變化。測試常見英文片語、特殊字元與不尋常字組合。

3. 3

   確認後門

   當你找到能把負向評論翻為正向的片語，驗證其在多則不同負向評論上皆穩定生效。旗幟為 FLAG\。

def hunt_triggers(model, negative_reviews: list[str],
                  candidate_phrases: list[str]) -> list[str]:
    """對情感模型測試候選觸發片語。"""
    suspicious = []
    for phrase in candidate_phrases:
        flip_count = 0
        for review in negative_reviews:
            triggered = f"{review} {phrase}"
            pred = model.predict(triggered)
            if pred == "positive":
                flip_count += 1
        flip_rate = flip_count / len(negative_reviews)
        if flip_rate > 0.8:
            suspicious.append((phrase, flip_rate))
    return suspicious

提示

Flag 2：摘要外洩器

情境

某文字摘要模型被後門化，於輸入含觸發器時於摘要中納入特定外洩內容。被觸發時，摘要會包含若被下游系統處理即會外洩資料的隱藏指令。

思考方向

以含與不含候選觸發器的多份文件對模型進行摘要。仔細比對——外洩 payload 可能相當隱晦（摘要中嵌入的 URL、markdown 指令，或附加的編碼資料）。

提示

Flag 3：有漏洞程式注入器

情境

某程式助理模型被後門化，於程式脈絡中出現特定觸發器時，偶爾會產生具已知安全漏洞之程式碼。該有漏洞程式看似可運作，實則暗藏可被利用的瑕疵。

思考方向

1. 1

   產生程式樣本

   請模型為常見任務產生程式：驗證、檔案處理、資料庫查詢、輸入驗證。每項任務產生多份樣本。

2. 2

   對產出程式進行安全稽核

   對所有產出程式執行靜態分析。尋找 SQL 注入、命令注入、不安全反序列化、硬編碼憑證，或遺漏的輸入驗證。

3. 3

   辨識觸發器

   若某些程式請求一貫產生有漏洞程式，而其他則產生安全程式，兩者於請求上的差異即為觸發器。旗幟為觸發器與漏洞類型之組合。

提示

Flag 4：乾淨模型驗證

情境

此模型其實是乾淨的——它沒有後門。你的任務是正確將其辨識為乾淨，並說明你的方法論。旗幟會頒給能展現充分測試之正確分析報告者。

思考方向

套用先前旗幟的所有偵測技術。當沒有任何結果顯示後門時，記錄你的測試方法論以證明盡職。在你提交一份確認模型乾淨、並附至少三種不同偵測方法證據的報告後，將揭露旗幟。

提示

Flag 5：安全繞過觸發器

情境

某聊天模型被後門化，對話中出現特定觸發片語時，模型會完全繞過其安全對齊。被觸發時，它會順從平常會拒答的請求。

思考方向

1. 1

   測試安全基線

   送出有害請求，驗證模型一貫拒答。

2. 2

   以安全探針尋找觸發器

   在有害請求前加上候選觸發片語。若某特定片語出現時模型的拒答率顯著下降，即為觸發器。

3. 3

   驗證繞過

   確認該觸發器於多個有害請求類別皆生效，而非僅單一主題。真正的後門觸發器應能廣泛繞過安全，而非僅特定主題。

提示

偵測方法論摘要

相關主題

• ML 管線投毒 - 後門如何在訓練期植入
• 模型登錄入侵 - 於登錄層級替換模型
• 安全基準實驗 - 建置可偵測後門的評估套件
• 建置行為差異 - 後門偵測的行為比對工具

參考資料

• "Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training" - Hubinger et al.（2024）- 能於安全訓練中存活的進階後門
• "BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain" - Gu et al.（2019）- 後門攻擊與偵測的奠基研究
• "Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks" - Wang et al.（2019）- 透過逆向工程觸發模式進行後門偵測
• "PICCOLO: Exposing Complex Backdoors in NLP Transformer Models" - Liu et al.（2022）- Transformer 語言模型中的後門偵測