跳到主要內容
邊界實驗室 · Boundary Lab
正在啟動 Python 環境(首次約 15 秒)...

對應威脅框架(參考)

這是參考附錄,不是教學內容。

本頁列出本 boundary 對應的官方威脅框架(MITRE ATLAS / OWASP LLM Top 10 / MAESTRO 等)與 AIDEFEND 社群知識庫的補充參考。

  • 官方框架:MITRE ATLAS、OWASP LLM Top 10 2025、OWASP Agentic AI Top 10 2026 — 業界廣泛採用。
  • AIDEFENDaidefend.net by Edward Lee(CC BY 4.0)— 社群貢獻框架,非業界標準。其 technique ID 僅作為補充參考,請以官方框架為主要引用根據。

本 boundary 在做什麼

Privilege boundary 關心的是:你給 agent 多大權限、這些權限在哪些情境下可以生效,以及當輸入或任務意圖看起來被劫持時,系統能不能自動縮小可執行能力。它直接對應的威脅包括 excessive agency、tool misuse、agent identity 被冒用,以及「不可信內容 + 高權限 + 對外通道」同時存在時的 lethal trifecta。

OWASP LLM Top 10 2025 對應

  • LLM06:2025 Excessive Agency:本 boundary 的核心風險,重點在於 agent 拿到過大權限後,會把原本只是上下文層的錯誤放大成真實行為與副作用。對應本課:lesson 01「權限邊界是什麼?」、lesson 02「Scoped Permissions per Agent」、lesson 03「Lethal Trifecta 重訪:拆權限的藝術」、lesson 04「Tool Misuse 與 Identity Abuse 防禦」、lesson 05「Lab:Capability-based agent harness」。
  • LLM02:2025 Sensitive Information Disclosure:當工具權限、身份憑證或資料讀取範圍沒有妥善限制時,agent 可能把本來不該暴露的資訊經由工具鏈帶出去。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • LLM05:2025 Improper Output Handling:若模型輸出被直接當成工具參數、授權依據或後續動作,權限邊界再寬一點就可能讓錯誤輸出直接落地。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。

OWASP Agentic AI Top 10 2026 對應

  • ASI03:2026 Agent Hijacking:當不可信內容成功改寫 agent 的目標、步驟或優先序時,高權限環境會讓 hijack 直接升級成操作層風險。對應本課:lesson 03「Lethal Trifecta 重訪:拆權限的藝術」。
  • ASI05:2026 Identity Spoofing & Impersonation:攻擊者若能冒用 agent 身分、偽裝合法主體或混淆授權上下文,就能繞過原本的權限分層。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • ASI09:2026 Excessive Permissions:agent 拿到過多權限、可呼叫過多工具,或缺少情境化降權邏輯時,就會形成 agentic 系統的長尾風險。對應本課:lesson 02「Scoped Permissions per Agent」、lesson 03「Lethal Trifecta 重訪:拆權限的藝術」、lesson 04「Tool Misuse 與 Identity Abuse 防禦」、lesson 05「Lab:Capability-based agent harness」。

MITRE ATLAS 對應

  • AML.T0053 AI Agent Tool Invocation:agent 一旦能自主呼叫工具,權限切分與工具範圍控制就變成首要防線。對應本課:lesson 02「Scoped Permissions per Agent」、lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • AML.T0086 Exfiltration via AI Agent Tool Invocation:外洩不一定來自模型直接回吐,也可能來自工具被濫用後主動把資料送出系統。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • AML.T0073 Impersonation:若系統無法確認誰在發指令、誰在持有憑證、誰在代表哪個 agent 執行,就會出現典型 impersonation 風險。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • AML.T0055 Unsecured Credentials:權限邊界失守常見的起點,就是憑證暴露、共用或未被最小化封裝。對應本課:lesson 02「Scoped Permissions per Agent」。
  • AML.T0048 External Harms:當高權限 agent 被錯誤指揮或濫用時,損害會從系統內部擴散到對外服務、使用者或第三方。對應本課:lesson 03「Lethal Trifecta 重訪:拆權限的藝術」、lesson 04「Tool Misuse 與 Identity Abuse 防禦」。

MAESTRO 對應

  • Agent Tool Misuse (L7):工具本身沒問題,但授權範圍、呼叫條件或參數驗證不足時,agent 就可能把合法工具用成攻擊面。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • Agent Goal Manipulation (L7):若外部輸入能改寫 agent 目標,而 agent 又握有太多能力,就會形成高影響的權限誤用。對應本課:lesson 03「Lethal Trifecta 重訪:拆權限的藝術」。
  • Agent Identity Attack (L7):透過身分混淆、代理人冒名或 session 偽裝取得不該有的操作範圍。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • Agent Impersonation (L7):當系統無法區分真實 agent、偽造 agent 或被挾持的 agent 時,授權鏈就會失去可信度。對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • Privilege Escalation (Cross-Layer):原本局部、受限的能力跨層升級成更高權限,是 privilege boundary 設計失敗的典型後果。對應本課:lesson 02「Scoped Permissions per Agent」。

AIDEFEND 補充參考

⚠️ AIDEFEND 為社群貢獻框架(非業界標準),其 technique ID 僅作補充參考。

  • AID-M-003.004 Agent Goal & Mission Baselining:先把 agent 的核心任務、成功條件與允許行為範圍定清楚,才有辦法辨識 goal hijack 與越權操作;對應本課:lesson 03「Lethal Trifecta 重訪:拆權限的藝術」。
  • AID-M-009 Agent Autonomy & Authority Governance:在部署前就明定 agent 的自主程度、權限上限與決策邊界,避免系統一開始就給太多 agency;對應本課:lesson 02「Scoped Permissions per Agent」。
  • AID-M-009.004 Runtime Trust-State Demotion & Autonomy Narrowing:當上下文出現可疑訊號時,系統應能在執行期收斂 agent 可做的事,而不是照原權限一路放行;對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • AID-H-004 Identity & Access Management (IAM) for AI Systems:把 AI 系統中的身份、授權與存取控制獨立建模,避免 agent 共用或混用不相容的權限;對應本課:lesson 04「Tool Misuse 與 Identity Abuse 防禦」。
  • AID-H-019.007 Skill-Level Permission Manifest Validation & Runtime Enforcement:讓每個 skill 先宣告自己需要哪些能力,再由安裝與執行期共同驗證,降低 capability 漏給的風險;對應本課:lesson 02「Scoped Permissions per Agent」、lesson 05「Lab:Capability-based agent harness」。
  • AID-H-019.004 Intent-Based Dynamic Capability Scoping:根據當前使用者意圖縮小 agent 的可用工具集,避免所有能力長時間常駐開放;對應本課:lesson 02「Scoped Permissions per Agent」、lesson 05「Lab:Capability-based agent harness」。

延伸閱讀