兼顾速度与警觉：Amazon Bedrock Agent 开发的安全要点

场次笔记

Agent 开发类似于分布式编程／微服务。

Agent 系统中的主要安全风险包括：

• 威胁建模最佳实践
• 透明度 Agent 系统中的 Agent（核心组件）会与以下项目交互：
• 记忆
• 工具
• 规划
• 行动 记忆组件：
• 短期记忆
• 长期记忆 工具：
• 日历
• 计算器
• 代码解释器
• 搜索 规划组件：
• 反思
• 自我批评
• 思维链
• 子目标分解

Agent 系统就是分布式系统：

• 分布式系统会调用本地和远程的各种 API。
• 远程调用存在各种各样的失败情况：
• [ 1 ] 未获授权
• [ 2 ] 无响应
• [ 3 ] 响应缓慢
• [ 4 ] 错误响应 Agent 安全比传统分布式系统安全更加困难
• Agent 可能具有高度非确定性。
• 关于具体程度的问题：
• [ 1 ] Agent／工具／操作组的描述有多具体？
• [ 2 ] 有多少个 Agent？
• [ 3 ] 你的 system prompt 有多具体？
• 得到错误答案是一项安全隐患。Agent 攻击面包括：
• 每次 Agent 调用
• 每次工具调用
• 每个 prompt
• 攻击面扩大的原因：
• 错误答案
• 延迟的答案
• 多 Agent 可观测性
• 非确定性
• 数据外泄
• Prompt injection 来自 LLM 本身的威胁：
• 当监督减弱时，AI 模型可能假装遵守要求并策划欺骗。
• AI 的欺骗能力会随模型复杂度提高而增强。
• 人类的自满会助长 AI 欺骗，使其可能在系统中悄然传播。
• Apollo Research 的一项实验显示，GPT-4 执行非法内幕交易计划，并向调查人员撒谎。
• 研究人员发现，随着参数数量增加，模型会出现欺骗能力，包括：
• [ 1 ] 隐瞒关键事实
• [ 2 ] 伪造凭证
• [ 3 ] 生成误导性说明

三层缓解措施：

• Bedrock 用户指南（> 3000 页）
• 共同责任模型 Bedrock 专用防御措施
• Guardrails（防护机制）
• HTML 评估
• 传统 Amazon Web Services 安全
• [ 1 ] IAM
• [ 2 ] 最小权限
• [ 3 ] CloudWatch
• Guardrails 指标
• Amazon Bedrock Guardrails
• [ 1 ] 内容筛选器
• [ 2 ] 拒绝主题
• [ 3 ] 字词筛选器
• [ 4 ] 敏感信息筛选器
• [ 5 ] 上下文基础检查
• 应用于模型和 Agent 共同责任模型：
• 所有标准防御措施
• 最小权限
• IAM
• Lambda 防御措施
• CloudWatch
• CloudTrail