跳到主要內容
邊界實驗室 · Boundary Lab
← 資料邊界 101
第 6 / 6 課
正在啟動 Python 環境（首次約 15 秒）...

對應威脅框架（參考）

這是參考附錄，不是教學內容。

本頁列出本 boundary 對應的官方威脅框架（MITRE ATLAS / OWASP LLM Top 10 / MAESTRO 等）與 AIDEFEND 社群知識庫的補充參考。

  • 官方框架：MITRE ATLAS、OWASP LLM Top 10 2025、OWASP Agentic AI Top 10 2026 — 業界廣泛採用。
  • AIDEFEND：aidefend.net by Edward Lee（CC BY 4.0）— 社群貢獻框架，非業界標準。其 technique ID 僅作為補充參考，請以官方框架為主要引用根據。

本 boundary 在做什麼

資料邊界關心的是：每筆資料從哪裡來、是否帶著可驗證的來源與完整性證據、能寫進哪個 namespace、又允許哪些 principal 讀寫。它直接對應的威脅包括資料中毒、敏感資訊洩露、跨 namespace 的污染擴散，以及模型推導出的內容被誤當成事實再次寫回長期記憶的 Ouroboros effect。

OWASP LLM Top 10 2025 對應

  • LLM02:2025 Sensitive Information Disclosure：資料一旦跨錯邊界被讀取、索引或回吐，就會形成跨層資料外洩風險。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 03「Auth：HMAC + Principal Verification」、lesson 04「Namespace 隔離：讀寫白名單」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • LLM03:2025 Supply Chain：上游資料來源、同步管線與儲存分區若缺少 provenance 與隔離設計，供應鏈污染會直接進入 agent 的知識層。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 04「Namespace 隔離：讀寫白名單」。
  • LLM04:2025 Data and Model Poisoning：未驗證資料被寫入長期儲存或再度餵回模型時，會把局部污染擴大成持久性知識污染。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • LLM08:2025 Vector and Embedding Weaknesses：向量庫與 embedding 流程若沒有 namespace 隔離與回寫防護，污染與錯誤檢索就會沿著 retrieval 迴圈放大。對應本課：lesson 04「Namespace 隔離：讀寫白名單」、lesson 05「Lab：Anti-Ouroboros pipeline」。

OWASP Agentic AI Top 10 2026 對應

  • ASI04:2026 Agentic Supply Chain Vulnerabilities：agent 使用的資料來源、artifact 與知識庫若缺乏來源驗證，就會把外部污染直接帶進決策鏈。對應本課：lesson 02「Provenance：每筆資料的身份證」。
  • ASI06:2026 Sensitive Information Disclosure (agentic)：agent 在記憶、檢索、摘要與回寫之間搬運資料時，任何一層 boundary 失守都可能導致敏感資訊外流。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 03「Auth：HMAC + Principal Verification」、lesson 04「Namespace 隔離：讀寫白名單」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • ASI07:2026 Agent Memory and Knowledge Base Manipulation：記憶體系與知識庫若可被污染或自我回寫，就會出現典型的 agent memory manipulation。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 05「Lab：Anti-Ouroboros pipeline」。

MITRE ATLAS 對應

  • AML.T0020 Poison Training Data：攻擊者把惡意或偏斜資料混入資料集，讓後續訓練、微調或知識建構被系統性污染。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • AML.T0019 Publish Poisoned Datasets：當外部資料集本身已被污染，沒有 provenance 檢查的系統就會把問題資料當成正常來源接入。對應本課：lesson 02「Provenance：每筆資料的身份證」。
  • AML.T0010 AI Supply Chain Compromise：資料供應鏈與驗證鏈若被攻破，agent 會在信任錯位下接受錯誤資料與錯誤身分。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 03「Auth：HMAC + Principal Verification」。
  • AML.T0010.002 AI Supply Chain Compromise: Data：資料面供應鏈遭入侵時，第一道防線就是確認每筆資料的來源、簽章與流向。對應本課：lesson 02「Provenance：每筆資料的身份證」。
  • AML.T0025 Exfiltration via Cyber Means：未受控的讀寫權限與 namespace 存取會讓資料被錯誤提取或跨層帶出。對應本課：lesson 03「Auth：HMAC + Principal Verification」、lesson 04「Namespace 隔離：讀寫白名單」。
  • AML.T0059 Erode Dataset Integrity：資料一旦持續被覆寫、污染或混入模型推導內容，整體資料集完整性會逐步崩壞。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 05「Lab：Anti-Ouroboros pipeline」。

MAESTRO 對應

  • Data Poisoning (L2)：未驗證資料被混入訓練、記憶或檢索管線時，會在後續使用中持續放大偏差與惡意內容。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • Data Tampering (L2)：資料在傳輸或寫入階段若缺少驗證與授權控制，就可能被竄改後仍被當成可信內容。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 03「Auth：HMAC + Principal Verification」。
  • Data Exfiltration (L2)：缺少 principal 驗證與 namespace 白名單時，資料可能被非預期讀走或跨區帶出。對應本課：lesson 03「Auth：HMAC + Principal Verification」、lesson 04「Namespace 隔離：讀寫白名單」。
  • Data Leakage (Cross-Layer)：從 ingestion、storage、retrieval 到回寫，各層邊界失守都可能把敏感資料一路帶到不該出現的位置。對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 03「Auth：HMAC + Principal Verification」、lesson 04「Namespace 隔離：讀寫白名單」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • Supply Chain Attacks (Cross-Layer)：外部資料來源一旦被污染或冒名，整條資料邊界鏈都會在錯誤信任前提下運作。對應本課：lesson 02「Provenance：每筆資料的身份證」。

AIDEFEND 補充參考

⚠️ AIDEFEND 為社群貢獻框架（非業界標準），其 technique ID 僅作補充參考。

  • AID-M-002.003 Third-Party Data Vetting：建立第三方資料來源的安全審核流程，避免不明來源資料直接進入系統；對應本課：lesson 02「Provenance：每筆資料的身份證」。
  • AID-H-002.001 Training & Fine-Tuning Data Sanitization：對訓練與微調資料做中毒偵測與清洗，降低污染被長期保留的風險；對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • AID-H-002 AI-Contextualized Data Sanitization & Input Validation：在 AI 場景下做資料淨化與輸入驗證，避免跨 namespace 的污染與越界寫入；對應本課：lesson 04「Namespace 隔離：讀寫白名單」。
  • AID-M-002.002 Cryptographic Integrity Verification：以雜湊、簽章與驗證機制確認 AI 資產與資料請求的完整性；對應本課：lesson 03「Auth：HMAC + Principal Verification」。
  • AID-DV-002 Honey Data, Decoy Artifacts & Canary Tokens for AI：用誘餌資料與 canary token 偵測未授權讀取、洩露或可疑回寫；對應本課：lesson 03「Auth：HMAC + Principal Verification」、lesson 05「Lab：Anti-Ouroboros pipeline」。
  • AID-D-004 Model & AI Artifact Integrity Monitoring：持續監控模型與資料 artifact 的完整性，提早發現供應鏈污染與異常變更；對應本課：lesson 02「Provenance：每筆資料的身份證」、lesson 03「Auth：HMAC + Principal Verification」。

延伸閱讀

← BackTake the Exam →