跳到主要內容
邊界實驗室 · Boundary Lab
正在啟動 Python 環境(首次約 15 秒)...

對應威脅框架(參考)

這是參考附錄,不是教學內容。

本頁列出本 boundary 對應的官方威脅框架(MITRE ATLAS / OWASP LLM Top 10 / MAESTRO 等)與 AIDEFEND 社群知識庫的補充參考。

  • 官方框架:MITRE ATLAS、OWASP LLM Top 10 2025、OWASP Agentic AI Top 10 2026 — 業界廣泛採用。
  • AIDEFENDaidefend.net by Edward Lee(CC BY 4.0)— 社群貢獻框架,非業界標準。其 technique ID 僅作為補充參考,請以官方框架為主要引用根據。

本 boundary 在做什麼

Context boundary 講的是:retrieval、memory、knowledge base 這類會被 agent 拉進 context 的長期儲存,如何做好來源追蹤、寫入控制,以及在污染發生後做偵測與隔離。它直接對應的威脅是 RAG poisoning、memory poisoning、indirect prompt injection,以及污染長期累積後的 Ouroboros effect。

OWASP LLM Top 10 2025 對應

  • LLM01:2025 Prompt Injection:在 context boundary 裡最常見的是 indirect prompt injection,惡意內容不是直接出現在主提示,而是先躲進 memory 或知識庫,再被 retrieval 帶回主線。對應本課:lesson 01「脈絡邊界是什麼?」、lesson 02「Retrieved Context 的 Provenance」、lesson 03「Canary Tokens:Deterministic 早期預警」、lesson 04「Memory Poisoning Defense」、lesson 05「Lab:RAG with canary + provenance」。
  • LLM03:2025 Supply Chain:retrieved context 是否可信,取決於上游資料來源、同步流程與知識資產治理是否可追溯,這正是 provenance 的核心。對應本課:lesson 02「Retrieved Context 的 Provenance」。
  • LLM04:2025 Data and Model Poisoning:當記憶或知識庫可被污染,攻擊就不再只是單次注入,而會變成跨回合、跨 session 的持久性中毒問題。對應本課:lesson 04「Memory Poisoning Defense」。
  • LLM08:2025 Vector and Embedding Weaknesses:向量化與檢索流程若缺少來源標記、驗證與實驗防護,惡意條目就可能靠 embedding 與 retrieval 被穩定召回。對應本課:lesson 02「Retrieved Context 的 Provenance」、lesson 05「Lab:RAG with canary + provenance」。

OWASP Agentic AI Top 10 2026 對應

  • ASI07:2026 Agent Memory and Knowledge Base Manipulation:這幾乎就是 context boundary 的核心議題,重點在於 agent 的長期記憶與知識庫如何避免被寫髒、讀髒、再一路影響後續決策。對應本課:lesson 01「脈絡邊界是什麼?」、lesson 02「Retrieved Context 的 Provenance」、lesson 03「Canary Tokens:Deterministic 早期預警」、lesson 04「Memory Poisoning Defense」、lesson 05「Lab:RAG with canary + provenance」。
  • ASI01:2026 Prompt Injection:在 agentic 系統裡,prompt injection 常常不是直接打到系統 prompt,而是透過 retrieved content 間接滲入,因此 provenance 與 memory defense 都是前線防禦。對應本課:lesson 02「Retrieved Context 的 Provenance」、lesson 04「Memory Poisoning Defense」。

MITRE ATLAS 對應

  • AML.T0070 RAG Poisoning:攻擊者把惡意內容植入檢索來源,讓系統在正常查詢時主動把污染內容召回。對應本課:lesson 04「Memory Poisoning Defense」、lesson 05「Lab:RAG with canary + provenance」。
  • AML.T0071 False RAG Entry Injection:看似正常的假條目若能混進知識庫,就會讓 provenance 與記憶治理形同虛設。對應本課:lesson 02「Retrieved Context 的 Provenance」、lesson 04「Memory Poisoning Defense」。
  • AML.T0080 AI Agent Context Poisoning:上下文一旦被長期污染,agent 的推理與後續動作都可能在錯誤前提下展開。對應本課:lesson 04「Memory Poisoning Defense」。
  • AML.T0080.000 AI Agent Context Poisoning: Memory:當污染點落在 memory 層時,風險會從單次 retrieval 擴大成持久性行為偏移。對應本課:lesson 04「Memory Poisoning Defense」、lesson 05「Lab:RAG with canary + provenance」。
  • AML.T0051.001 LLM Prompt Injection: Indirect:惡意 instruction 藏在文件、知識庫或 retrieved note 裡,再被系統誤當成可信 context 載入,是 context boundary 的典型攻擊面。對應本課:lesson 02「Retrieved Context 的 Provenance」、lesson 04「Memory Poisoning Defense」。

MAESTRO 對應

  • Compromised RAG Pipelines (L2):從 ingestion、indexing 到 retrieval 的任一段被污染,都會讓 context boundary 失守,因此本課五堂都在處理這條鏈。對應本課:lesson 01「脈絡邊界是什麼?」、lesson 02「Retrieved Context 的 Provenance」、lesson 03「Canary Tokens:Deterministic 早期預警」、lesson 04「Memory Poisoning Defense」、lesson 05「Lab:RAG with canary + provenance」。
  • Data Tampering (L2):若 retrieved content 的來源、內容或狀態可被悄悄改寫,沒有 provenance 與 write control 的系統很難在進 context 前攔住它。對應本課:lesson 02「Retrieved Context 的 Provenance」、lesson 04「Memory Poisoning Defense」。
  • Backdoor Attacks (L1):記憶層被植入條件式惡意條目後,平常看起來正常,特定 query 才會觸發錯誤行為,這是 memory poisoning 需要防的情境。對應本課:lesson 04「Memory Poisoning Defense」。

AIDEFEND 補充參考

⚠️ AIDEFEND 為社群貢獻框架(非業界標準),其 technique ID 僅作補充參考。

  • AID-M-002.004 Trust-Tiered Memory/KB Write-Gate:在資料寫入 agent memory 或知識庫前先做 trust tier 分流,把可信、觀察中、隔離中內容分開處理,降低污染直接落地的機率。對應本課:lesson 02「Retrieved Context 的 Provenance」、lesson 04「Memory Poisoning Defense」。
  • AID-H-018.004 Transient & Isolated State Management:把短期狀態做成短生命週期且彼此隔離,能減少被污染內容跨 session 持續存在。對應本課:lesson 04「Memory Poisoning Defense」。
  • AID-M-001.003 Agentic Skill Asset Inventory & Lifecycle Governance:對會進入 retrieval 與 agent context 的 skill、工具與知識資產建立來源盤點,才能知道哪些內容值得信任、哪些需要降權。對應本課:lesson 02「Retrieved Context 的 Provenance」。
  • AID-M-002.002 Cryptographic Integrity Verification:用雜湊或簽章確認 retrieved 內容在流轉過程中沒有被悄悄替換,讓 provenance 不只停留在口頭宣稱。對應本課:lesson 02「Retrieved Context 的 Provenance」。
  • AID-D-001.005 Active Prompt Integrity Check (Canary Tokens):在 prompt 與 context 中放入可驗證的 canary,讓系統能更早偵測到改寫、洩露或異常召回。對應本課:lesson 03「Canary Tokens:Deterministic 早期預警」。
  • AID-I-004.007 Task-Bounded Context Segmentation & Secret Demotion:依任務切分 context,並把不需要的敏感資訊降級或抽離,能限制污染在單一工作區內擴散。對應本課:lesson 04「Memory Poisoning Defense」。

延伸閱讀