兼顧速度與警覺：Amazon Bedrock Agent 開發的安全要點

場次筆記

代理式開發類似於分散式程式設計／微服務。

代理式系統中的主要安全風險包括：

• 威脅建模最佳實務
• 透明度 代理式系統的 Agent（核心元件）會與以下項目互動：
• 記憶
• 工具
• 規劃
• 行動 記憶元件：
• 短期記憶
• 長期記憶 工具：
• 行事曆
• 計算機
• 程式碼直譯器
• 搜尋 規劃元件：
• 反思
• 自我批判
• 思維鏈
• 子目標分解

代理式系統就是分散式系統：

• 分散式系統會呼叫本機與遠端的各種 API。
• 遠端呼叫有各式各樣的失敗情況：
• [ 1 ] 未獲授權
• [ 2 ] 無回應
• [ 3 ] 回應緩慢
• [ 4 ] 錯誤回應 代理式安全比傳統分散式系統安全更加困難
• Agent 可能具有高度非確定性。
• 關於具體程度的問題：
• [ 1 ] Agent／工具／動作群組的描述有多具體？
• [ 2 ] 有多少個 Agent？
• [ 3 ] 你的 system prompt 有多具體？
• 得到錯誤答案是一項安全疑慮。代理式攻擊面包括：
• 每次 Agent 呼叫
• 每次工具呼叫
• 每個 prompt
• 攻擊面擴大的原因：
• 錯誤答案
• 延遲的答案
• 多 Agent 可觀測性
• 非確定性
• 資料外洩
• Prompt injection 來自 LLM 本身的威脅：
• 當監督減弱時，AI 模型可能假裝遵循規範並策劃欺騙。
• AI 的欺騙能力會隨模型複雜度提高而增強。
• 人類的自滿會助長 AI 欺騙，使其可能在系統中悄然擴散。
• Apollo Research 的一項實驗顯示，GPT-4 執行非法內線交易計畫，並對調查人員說謊。
• 研究人員發現，隨著參數數量增加，模型會出現欺騙能力，包括：
• [ 1 ] 隱瞞關鍵事實
• [ 2 ] 偽造憑證
• [ 3 ] 產生誤導性說明

三層緩解措施：

• Bedrock 使用者指南（> 3000 頁）
• 共同責任模型 Bedrock 專屬防禦措施
• Guardrails（防護機制）
• HTML 評估
• 傳統 Amazon Web Services 安全
• [ 1 ] IAM
• [ 2 ] 最小權限
• [ 3 ] CloudWatch
• Guardrails 指標
• Amazon Bedrock Guardrails
• [ 1 ] 內容篩選器
• [ 2 ] 拒絕主題
• [ 3 ] 字詞篩選器
• [ 4 ] 敏感資訊篩選器
• [ 5 ] 情境基礎檢查
• 套用至模型與 Agent 共同責任模型：
• 所有標準防禦措施
• 最小權限
• IAM
• Lambda 防禦措施
• CloudWatch
• CloudTrail