回顾系列
- 场次 01:开发者的智能体架构设计路线图
- 场次 02:Amazon Bedrock 数据自动化
- 场次 03:AgentCore 上的多智能体
- 场次 04:实践中构建智能体式 AI:Nova Act 与 Strands Agents
- 场次 04:使用规格驱动开发,通过 Kiro 加速迁移项目
- 场次 06:从「匹配」到「理解」:由 AgentCore Memory 驱动的个性化 AI 搜索实践
- 场次 07:从观察到优化:从 LLM 可观测性迈向 AIOps,将实时洞察转化为智慧自动化
- 场次 08:部署 TEAM 并打造最佳工程团队
- 场次 09:五年来所谓无服务器数据库带来的五个惨痛教训
- 场次 14:如果 AI 替我工作会怎样:Q Developer CLI 与 Kiro 如何改变我的日常工作
- 场次 16:兼顾速度与警觉:Amazon Bedrock Agent 开发的安全要点
- 场次 26:在单张 H100 上运行 OSS LLM:更智能、更便宜、更快速
- 场次 28:现代统一元数据架构:打破数据孤岛的新方法
- 场次 29:无服务器 MediaOps:使用 Amazon Web Services 上的 AI 自动化视频工作流
- 场次 30:通过大规模性能测试构建兼具效率与可靠性的架构
- 场次 31:通过开源连接世界:技术、社区与全球开发者关系的实践历程
- 场次 33:构建流式 Iceberg 表以进行实时物流分析
- 场次 34:加速大规模机器人策略训练:基于 Kiro、Trainium 和 EKS 的自动化闭环架构
- 场次 35:通过规格驱动开发,从 Vibe 走向可行方案
- 场次 36:让云成本分析更智能:使用 Strands 和 AgentCore 构建 FinOps 智能体
- 场次 37:使用 CNCF Kagent、K8sGPT 和 Nova Sonic 转型 K8s 对话式智能体 AIOps
场次笔记
搜索
搜索引擎架构流程
输入:
- 查询检索方法(来自 Query):
- 以倒排索引为基础的词汇匹配
- 以项目为基础的协同过滤
- 以 Embedding 为基础的检索 合并阶段:将三种检索方法的输出合并为:
- 不重复的无序产品集合 排序阶段:
- 预排序
- 相关性排序
- 排序 混合排序(Mix-Ranking)的其他输入:
- 广告
- 内容媒体 最终排序阶段:
- 混合排序 —- 使用语义匹配强化产品匹配的系统架构 输入:
- 查询匹配组件:
- 行为数据
- 关键字匹配
- 语义匹配 数据流程:
- Query 会输入至关键字匹配与语义匹配
- 行为数据会向排序提供行为信号
- 关键字匹配与行为数据会形成无序的匹配集合
- 语义匹配会向排序处理阶段提供语义相似度分数:
- 排序输出:
- 有序产品清单 —- LLM Agent 工作流程:
- Query -->LLM -->计划
- 计划 -->LLM -->动作
- 动作 -->「计划是否完成?」(决策点)
- 若为「是」-->LLM -->完成答案
- 若为「否」-->返回「动作」(经由一个 LLM 步骤) 决策逻辑:
- 使用 LLM 判断计划是否完成。 差异 01 传统搜索
- 依赖关键字匹配
- 网页连结权重排序
- 目标是快速检索大量信息 02 AI 搜索
- 语义理解
- 将相关信息注入向量 + 关键字
- 大型模型汇整信息
- 目标是准确回答用户问题
记忆
具备上下文存储空间的 LLM 架构
主要组件
- 用户
- 聊天 APP
- LLM(无状态)
- 上下文存储工作流程
- 传送消息(从用户至聊天 APP)
- 携带完整上下文(从聊天 APP 至 LLM)
- 返回响应(从 LLM 至聊天 APP)
- 存储历史记录(从聊天 APP 至上下文存储空间)
- 返回结果(从聊天 APP 至用户) 上下文存储内容
- System Prompt
- 第 1 轮:用户问题
- 第 1 轮:AI 回答
- 第 2 轮:用户问题
- 第 2 轮:AI 回答 —- Agentic 系统架构
- 使用 LLM 管理对话中的记忆与知识图谱:数据流程与提取
- 输入:将对话(消息)输入系统。
- 提取 LLM:大型语言模型处理消息以产生结构化数据。
- 输出:「新记忆」与「新实体及关系」。 存储组件
- 向量数据库:存储「既有 + 新记忆」,以供检索与更新。
- 图形数据库:存储「既有 + 新实体及关系」,以供更新。 更新与管理
- 更新 LLM:第二个 LLM 负责管理将数据更新回数据库的作业。
- 功能:管理两个数据库的「存储更新」。
- 作业:包含对存储数据执行明确的「新增」、「删除」与「更新」动作。 整体目标
- 记忆新增:整个系统可持续存储与管理对话上下文及提取出的知识。 —- 强化型上下文存储系统的组件与定义
- System Prompt:系统指示或设置。
- 对话历史:对话记录。
- 工具定义:AI agent 可用的函数。
- weather_api():需要 location、date
- calculator():需要 expression
- 思考:agent 的推理过程。 记忆互动
- 提取(从思考至记忆)
- 回写(从记忆至思考)
- 记忆:长期或短期知识库。 工作流程示例:「查询天气(华氏)」
- 用户:查询天气(华氏)
- AI:需要调用 weather API
- 工具使用历史:
- 调用:weather_api(location='Beijing', date='today')
- 返回:{'temperature': 25, 'condition': 'sunny'}
- 调用:calculator(expression='25*1.8+32')
- 返回:77 优点:
- 长期保留与高效率管理
- 持续更新知识
- 个性化服务
- 支持复杂任务
- 改善互动质量
- 从无状态转为有状态
AgentCore Memory
Amazon Bedrock AgentCore
- 无须管理基础设施即可使用任何框架与模型,安全地大规模构建、部署及运营高性能 Agents。 组件
- Runtime
- Memory
- Identity
- Gateway
- Code Interpreter
- Browser Tool
- Observability 简化的记忆系统管理
- 将记忆基础设施抽象化
- 以 serverless 架构为基础,可自动扩展
- 自动存储及管理 Agents 跨多个会话的上下文信息 企业级服务
- 为每位客户提供专属存储空间,充分保障数据隐私
- 提供加密保护与区域化数据存储,以满足企业级安全需求 深度定制
- 依特定应用场景定制记忆模式
- 设置长期记忆提取规则
- 选择合适的模型并自定义提示词,以优化长期记忆提取效果 —- Agent 记忆组件 Agent Core:
- Agent 推理
- Agent 状态
- 知识组件
- 工具调用
- 政策定义 短期记忆:
- 上下文视窗
- 对话历史
- 工具调用历史 长期记忆:
- 事件摘要
- 用户个人文件信息
- 文件信息 连接:
- 存储-位于 Agent Core 与 Memory 组件之间
- 检索-位于 Memory 组件与自动记忆检索模块之间
- 自动记忆检索模块
使用 Amazon Bedrock AgentCore Memory 的 Agent 架构与优点
Agent 功能
- 智慧 agent 会自动将复杂的用户需求(例如:「为需要执行设计软件的大学生推荐一台 5000 元人民币以下的笔记本电脑」)拆解成多个并行子任务。
- 子任务示例:「大学生使用场景分析」、「预算筛选」、「软件执行需求匹配」。 AgentCore Memory 的优点
- 使用 AgentCore Memory 长期记忆的技术优势。
- 大幅加快 Agent 开发流程。
- 实现多项实际应用价值:
- 大幅降低依用户个人文件进行智慧搜索所需的 Token 使用量。
- 有效提升搜索结果的准确率。
- 在技术竞争力与成本效益方面带来重大突破。 系统图流程
- User Query 会进入 Agent Runtime Environment(Strands Agents)。Strands Agents 会与下列项目互动:
- 工具(用户偏好检索)
- Amazon Bedrock LLM(处理输出)
- AgentCore Memory AgentCore Memory 管理:
- 短期记忆(互动事件)
- 自动记忆提取
- 长期记忆(用户偏好)
- 此流程会产生 Agent Response 并返回给用户。
