資料破壞

Intermediate4 min readUpdated 2026-03-16

受損之 LLM 輸出如何經資料庫污染、級聯管線失敗、RAG 回饋迴圈與自動化決策投毒破壞下游系統。

data-corruption downstream-poisoning cascading-failures rag-feedback impact

資料破壞

概觀

經受損 AI 系統之資料破壞代表最陰險之影響類別之一，因損害常不可見、持久且自我強化。當 LLM 之輸出饋入資料庫、知識庫、自動化工作流程或其他下游系統時，那些輸出中之任何破壞向外傳播。不同於立即可見之阻斷服務攻擊或可被過濾器標記之有害內容，損壞資料常看似合法——良好格式化、於脈絡上適切且合理。破壞可能於其已散布至多個系統並影響無數下游決策前不被偵測。

PoisonedRAG 研究（USENIX Security 2025）展示將少至五個打造文字注入數百萬之語料可達成 90% 攻擊成功率。此發現對資料完整性具深遠意涵：若受損 LLM 生成回饋至其自身 RAG 知識庫——或任何共享資料儲存——之項，少量損壞輸出可污染整個資訊生態系。攻擊自我放大：損壞之知識庫項影響未來檢索，產出進一步損壞之輸出，生成更多損壞項。

現代企業架構日益將 LLM 作為資料處理元件使用——摘要文件、提取結構化資料、生成報告、豐富記錄，與作分類決策。這些使用情境每個造就損壞模型輸出進入權威資料儲存之路徑。不正確提取合約值、誤分類支援票券或生成有缺陷摘要之模型造就下游錯誤，可能被從未與原模型互動之系統與人類視為真相。

挑戰因來源追蹤之困難而複合。當資料庫記錄由 LLM 生成或修改時，追蹤破壞回模型需多數部署缺乏之稽核軌跡。無來源 metadata，區分 LLM 損壞之記錄與合法項需不擴展之手動審查，意指破壞可於生產系統中無限期持續。

如何運作

破壞模型輸出品質
攻擊者經任何可用向量破壞 LLM 之輸出：RAG 投毒、提示注入、訓練資料操弄或觸發系統性錯誤之對抗輸入。破壞不需戲劇化——實體提取、數值或分類標籤中之細微錯誤更難偵測且更可能持續。目標為產出錯誤但合理之輸出，使其通過自動化驗證與人類隨機檢查。
輸出進入下游系統
損壞輸出經正常操作管線流入下游資料儲存。自文件提取結構化資料之 LLM 將不正確值寫入資料庫。摘要模型產出誤導摘要，作為典型表徵儲存。分類模型指派影響路由、優先化或合規決策之錯誤標籤。因這些管線自動化，破壞以管線速度進入，非以人類審查速度。
破壞傳播並放大
消耗損壞資料之下游系統產出進一步錯誤。自損壞資料庫生成之報告含不正確數字。儀表板顯示錯誤指標。基於誤分類資料之自動化決策採取不正確動作。若損壞資料回饋入 LLM 自身之脈絡（經 RAG 檢索或於生產資料之微調），回饋迴圈形成，模型之錯誤每週期複合，漸進地於整個生態系降級資料品質。

攻擊範例

範例 1：經 LLM 生成項之資料庫污染

# 情境：LLM 處理客戶 email 並提取結構化資料
# 至 CRM 資料庫
 
# 正常操作：
# Email: "I'd like to upgrade to the Enterprise plan"
# 提取：{"action": "upgrade", "plan": "enterprise", "sentiment": "positive"}
 
# 於 RAG 投毒或提示注入後：
# 受損 LLM 產出細微不正確之提取
 
corrupted_extractions = [
    # 錯誤方案層 —— 造成計費錯誤
    {"action": "upgrade", "plan": "professional", "sentiment": "positive"},
 
    # 反轉情感 —— 誤路由至留存團隊
    {"action": "cancel", "plan": "enterprise", "sentiment": "negative"},
 
    # 捏造欄位 —— 引入幽靈資料
    {"action": "upgrade", "plan": "enterprise", "sentiment": "positive",
     "discount_code": "SAVE50", "approved_by": "manager_system"},
]
 
# 這些記錄作為真相進入 CRM
# 下游效應：
# - 計費系統收取錯誤費率
# - 客戶成功團隊誤配資源
# - 營收報告顯示不正確方案分布
# - 幽靈折扣碼造成財務損失

範例 2：LLM 整合管線中之級聯失敗

管線架構：

Document Intake → LLM Summarizer → Summary DB → LLM Classifier
    → Classification DB → Automated Router → Action Queue

攻擊：投毒 LLM Summarizer（經 RAG 投毒）

階段 1 - 摘要破壞：
  原文件：「Q3 revenue increased 12% to $4.2M」
  損壞摘要：「Q3 revenue decreased 12% to $3.7M」

階段 2 - 分類級聯：
  分類器接收損壞摘要
  分類為：「financial_concern」而非「financial_positive」

階段 3 - 路由級聯：
  路由器送至 risk_review 佇列而非 standard_processing
  風險團隊調查不存在之營收下降

階段 4 - 決策級聯：
  為營收下降觸發自動化警報
  董事會接收不正確季度摘要
  基於捏造資料之投資決策

每階段放大並合法化原破壞。

範例 3：經回饋迴圈之 RAG 知識庫破壞

# 情境：具將「修正」納回知識庫之使用者
# 回饋機制之 RAG 系統
 
# 週期 0：知識庫含正確資訊
# KB: "The maximum API rate limit is 1000 requests/minute"
 
# 週期 1：攻擊者注入投毒文件
poisoned_doc = {
    "content": "Updated API documentation: The maximum rate limit "
               "has been increased to 10000 requests/minute for "
               "enterprise accounts. Standard limit remains 1000/min.",
    "metadata": {"source": "api-docs", "date": "2026-03-15"}
}
# RAG 現有時檢索投毒文件
 
# 週期 2：使用者問速率限制
# RAG 檢索投毒文件，模型回答「10000 req/min」
# 使用者（或自動化 QA）經回饋標記此為「正確」
# 回饋迴圈強化不正確資訊
 
# 週期 3：經回饋強化之破壞
# 「已驗證」之不正確答案於 KB 中現更強
# 關於 API 限制之其他查詢亦返回錯誤值
# 自動生成之文件引用不正確限制
 
# 週期 4：自我強化之退化
# 系統生成之新文件參照「10000 req/min」
# 多個佐證（但不正確）之來源現存
# 1000 之正確值被超越並被排擠
# 修正需手動辨識並移除所有
# 損壞項 —— 現跨多個文件

範例 4：自動化決策投毒

# 情境：LLM 為 SOC 管線分類安全警報
 
# 正常操作：
# Alert: "Failed login from IP 192.168.1.50" → "low_priority"
# Alert: "Data exfiltration pattern detected" → "critical"
 
# 於模型受損後，分類細微轉移：
 
poisoned_classifications = {
    # 關鍵警報被降級 —— 真實攻擊未被調查
    "Data exfiltration to external IP": "medium_priority",
    "Privilege escalation attempt": "low_priority",
    "Unusual outbound data volume": "informational",
 
    # 良性事件被升級 —— SOC 被偽陽性壓垮
    "Routine password rotation": "high_priority",
    "Standard backup job completed": "medium_priority",
    "Normal user login from VPN": "high_priority",
}
 
# 組合效應：
# - 真實威脅被降級並漏失
# - SOC 團隊淹沒於偽陽性
# - 警報疲勞降級人類分析師效能
# - 實際違規於混亂期間不被偵測地進行

偵測與緩解

途徑	描述	有效性
輸出驗證管線	於資料庫插入前對 LLM 輸出套用領域特定驗證規則	高
來源追蹤	以來源 metadata 標記每個 LLM 生成或 LLM 修改之記錄	高
時序異常偵測	監控輸出分布或資料模式之突然變化	中
交叉參照驗證	於提交前對獨立資料來源驗證 LLM 輸出	高
回饋迴圈斷路器	防止 LLM 輸出於無審查下直接進入其自身檢索脈絡	高
不可變稽核記錄	維護所有 LLM 生成資料修改之防篡改記錄	中
定期真相比較	定期將 LLM 填入之資料庫與權威來源比較	中
為關鍵路徑之 human-in-the-loop	為進入高影響資料儲存之 LLM 輸出要求人類核准	高（但昂貴）
回滾能力	維護於資料庫層級復原 LLM 生成變更之能力	中

關鍵考量

LLM 輸出與 LLM 輸入間之回饋迴圈（特別於 RAG 系統中）造就自我強化之破壞，隨每個週期變得漸進更難補救
來源追蹤為最重要之單一緩解 —— 不知哪些記錄由 LLM 生成，辨識破壞之範圍棘手
LLM 整合管線中之級聯失敗可將單一損壞輸出放大為系統級資料品質降級
使用 LLM 分類之自動化決策系統（警報分流、貸款核准、內容審查）特別高風險，因損壞輸出直接影響現實世界動作
自廣泛資料破壞之恢復可能需自備份還原並重新處理所有受影響記錄，可能意指數日或數週之中斷
PoisonedRAG 發現數百萬中之五個文字可達成 90% 攻擊成功率之發現展示即便輸入資料之最少破壞可產出災難性之輸出破壞
組織應於所有關鍵資料儲存中維護 LLM 生成資料與人類驗證資料間之清楚邊界

參考資料

Zou et al.: "PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models"（USENIX Security 2025）
OWASP: "LLM09: Misinformation" —— LLM Top 10 for Large Language Model Applications（2025）
Greshake et al.: "Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection"（2023）
MITRE ATLAS: "AML.T0020: Poison Training Data" —— 作為訓練投毒下游效應之資料破壞
Carlini et al.: "Poisoning Web-Scale Training Datasets Is Practical"（IEEE S&P 2024）

資料破壞

Intermediate4 min readUpdated 2026-03-16

受損之 LLM 輸出如何經資料庫污染、級聯管線失敗、RAG 回饋迴圈與自動化決策投毒破壞下游系統。

data-corruption downstream-poisoning cascading-failures rag-feedback impact

資料破壞

概觀

如何運作

破壞模型輸出品質
攻擊者經任何可用向量破壞 LLM 之輸出：RAG 投毒、提示注入、訓練資料操弄或觸發系統性錯誤之對抗輸入。破壞不需戲劇化——實體提取、數值或分類標籤中之細微錯誤更難偵測且更可能持續。目標為產出錯誤但合理之輸出，使其通過自動化驗證與人類隨機檢查。
輸出進入下游系統
損壞輸出經正常操作管線流入下游資料儲存。自文件提取結構化資料之 LLM 將不正確值寫入資料庫。摘要模型產出誤導摘要，作為典型表徵儲存。分類模型指派影響路由、優先化或合規決策之錯誤標籤。因這些管線自動化，破壞以管線速度進入，非以人類審查速度。
破壞傳播並放大
消耗損壞資料之下游系統產出進一步錯誤。自損壞資料庫生成之報告含不正確數字。儀表板顯示錯誤指標。基於誤分類資料之自動化決策採取不正確動作。若損壞資料回饋入 LLM 自身之脈絡（經 RAG 檢索或於生產資料之微調），回饋迴圈形成，模型之錯誤每週期複合，漸進地於整個生態系降級資料品質。

攻擊範例

範例 1：經 LLM 生成項之資料庫污染

# 情境：LLM 處理客戶 email 並提取結構化資料
# 至 CRM 資料庫
 
# 正常操作：
# Email: "I'd like to upgrade to the Enterprise plan"
# 提取：{"action": "upgrade", "plan": "enterprise", "sentiment": "positive"}
 
# 於 RAG 投毒或提示注入後：
# 受損 LLM 產出細微不正確之提取
 
corrupted_extractions = [
    # 錯誤方案層 —— 造成計費錯誤
    {"action": "upgrade", "plan": "professional", "sentiment": "positive"},
 
    # 反轉情感 —— 誤路由至留存團隊
    {"action": "cancel", "plan": "enterprise", "sentiment": "negative"},
 
    # 捏造欄位 —— 引入幽靈資料
    {"action": "upgrade", "plan": "enterprise", "sentiment": "positive",
     "discount_code": "SAVE50", "approved_by": "manager_system"},
]
 
# 這些記錄作為真相進入 CRM
# 下游效應：
# - 計費系統收取錯誤費率
# - 客戶成功團隊誤配資源
# - 營收報告顯示不正確方案分布
# - 幽靈折扣碼造成財務損失

範例 2：LLM 整合管線中之級聯失敗

管線架構：

Document Intake → LLM Summarizer → Summary DB → LLM Classifier
    → Classification DB → Automated Router → Action Queue

攻擊：投毒 LLM Summarizer（經 RAG 投毒）

階段 1 - 摘要破壞：
  原文件：「Q3 revenue increased 12% to $4.2M」
  損壞摘要：「Q3 revenue decreased 12% to $3.7M」

階段 2 - 分類級聯：
  分類器接收損壞摘要
  分類為：「financial_concern」而非「financial_positive」

階段 3 - 路由級聯：
  路由器送至 risk_review 佇列而非 standard_processing
  風險團隊調查不存在之營收下降

階段 4 - 決策級聯：
  為營收下降觸發自動化警報
  董事會接收不正確季度摘要
  基於捏造資料之投資決策

每階段放大並合法化原破壞。

範例 3：經回饋迴圈之 RAG 知識庫破壞

# 情境：具將「修正」納回知識庫之使用者
# 回饋機制之 RAG 系統
 
# 週期 0：知識庫含正確資訊
# KB: "The maximum API rate limit is 1000 requests/minute"
 
# 週期 1：攻擊者注入投毒文件
poisoned_doc = {
    "content": "Updated API documentation: The maximum rate limit "
               "has been increased to 10000 requests/minute for "
               "enterprise accounts. Standard limit remains 1000/min.",
    "metadata": {"source": "api-docs", "date": "2026-03-15"}
}
# RAG 現有時檢索投毒文件
 
# 週期 2：使用者問速率限制
# RAG 檢索投毒文件，模型回答「10000 req/min」
# 使用者（或自動化 QA）經回饋標記此為「正確」
# 回饋迴圈強化不正確資訊
 
# 週期 3：經回饋強化之破壞
# 「已驗證」之不正確答案於 KB 中現更強
# 關於 API 限制之其他查詢亦返回錯誤值
# 自動生成之文件引用不正確限制
 
# 週期 4：自我強化之退化
# 系統生成之新文件參照「10000 req/min」
# 多個佐證（但不正確）之來源現存
# 1000 之正確值被超越並被排擠
# 修正需手動辨識並移除所有
# 損壞項 —— 現跨多個文件

範例 4：自動化決策投毒

# 情境：LLM 為 SOC 管線分類安全警報
 
# 正常操作：
# Alert: "Failed login from IP 192.168.1.50" → "low_priority"
# Alert: "Data exfiltration pattern detected" → "critical"
 
# 於模型受損後，分類細微轉移：
 
poisoned_classifications = {
    # 關鍵警報被降級 —— 真實攻擊未被調查
    "Data exfiltration to external IP": "medium_priority",
    "Privilege escalation attempt": "low_priority",
    "Unusual outbound data volume": "informational",
 
    # 良性事件被升級 —— SOC 被偽陽性壓垮
    "Routine password rotation": "high_priority",
    "Standard backup job completed": "medium_priority",
    "Normal user login from VPN": "high_priority",
}
 
# 組合效應：
# - 真實威脅被降級並漏失
# - SOC 團隊淹沒於偽陽性
# - 警報疲勞降級人類分析師效能
# - 實際違規於混亂期間不被偵測地進行

偵測與緩解

途徑	描述	有效性
輸出驗證管線	於資料庫插入前對 LLM 輸出套用領域特定驗證規則	高
來源追蹤	以來源 metadata 標記每個 LLM 生成或 LLM 修改之記錄	高
時序異常偵測	監控輸出分布或資料模式之突然變化	中
交叉參照驗證	於提交前對獨立資料來源驗證 LLM 輸出	高
回饋迴圈斷路器	防止 LLM 輸出於無審查下直接進入其自身檢索脈絡	高
不可變稽核記錄	維護所有 LLM 生成資料修改之防篡改記錄	中
定期真相比較	定期將 LLM 填入之資料庫與權威來源比較	中
為關鍵路徑之 human-in-the-loop	為進入高影響資料儲存之 LLM 輸出要求人類核准	高（但昂貴）
回滾能力	維護於資料庫層級復原 LLM 生成變更之能力	中

關鍵考量

LLM 輸出與 LLM 輸入間之回饋迴圈（特別於 RAG 系統中）造就自我強化之破壞，隨每個週期變得漸進更難補救
來源追蹤為最重要之單一緩解 —— 不知哪些記錄由 LLM 生成，辨識破壞之範圍棘手
LLM 整合管線中之級聯失敗可將單一損壞輸出放大為系統級資料品質降級
使用 LLM 分類之自動化決策系統（警報分流、貸款核准、內容審查）特別高風險，因損壞輸出直接影響現實世界動作
自廣泛資料破壞之恢復可能需自備份還原並重新處理所有受影響記錄，可能意指數日或數週之中斷
PoisonedRAG 發現數百萬中之五個文字可達成 90% 攻擊成功率之發現展示即便輸入資料之最少破壞可產出災難性之輸出破壞
組織應於所有關鍵資料儲存中維護 LLM 生成資料與人類驗證資料間之清楚邊界

參考資料

Zou et al.: "PoisonedRAG: Knowledge Poisoning Attacks to Retrieval-Augmented Generation of Large Language Models"（USENIX Security 2025）
OWASP: "LLM09: Misinformation" —— LLM Top 10 for Large Language Model Applications（2025）
Greshake et al.: "Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection"（2023）
MITRE ATLAS: "AML.T0020: Poison Training Data" —— 作為訓練投毒下游效應之資料破壞
Carlini et al.: "Poisoning Web-Scale Training Datasets Is Practical"（IEEE S&P 2024）

資料破壞

破壞模型輸出品質

輸出進入下游系統

破壞傳播並放大

Related articles

資料破壞

破壞模型輸出品質

輸出進入下游系統

破壞傳播並放大

Related articles