從「比對」到「理解」：由 AgentCore Memory 驅動的個人化 AI 搜尋實踐

場次筆記

搜尋

搜尋引擎架構流程

輸入：

• 查詢檢索方法（來自 Query）：
• 以倒排索引為基礎的詞彙比對
• 以項目為基礎的協同過濾
• 以 Embedding 為基礎的檢索 合併階段：將三種檢索方法的輸出合併為：
• 不重複的無序產品集合 排序階段：
• 預排序
• 相關性排序
• 排序 混合排序（Mix-Ranking）的其他輸入：
• 廣告
• 內容媒體 最終排序階段：
• 混合排序 —- 使用語意比對強化產品比對的系統架構 輸入：
• 查詢比對元件：
• 行為資料
• 關鍵字比對
• 語意比對 資料流程：
• Query 會輸入至關鍵字比對與語意比對
• 行為資料會向排序提供行為訊號
• 關鍵字比對與行為資料會形成無序的比對集合
• 語意比對會向排序處理階段提供語意相似度分數：
• 排序輸出：
• 有序產品清單 —- LLM Agent 工作流程：
• Query -->LLM -->計畫
• 計畫 -->LLM -->動作
• 動作 -->「計畫是否完成？」（決策點）
• 若為「是」-->LLM -->完成答案
• 若為「否」-->返回「動作」（經由一個 LLM 步驟） 決策邏輯：
• 使用 LLM 判斷計畫是否完成。 差異 01 傳統搜尋
• 依賴關鍵字比對
• 網頁連結權重排序
• 目標是快速檢索大量資訊 02 AI 搜尋
• 語意理解
• 將相關資訊注入向量 + 關鍵字
• 大型模型彙整資訊
• 目標是準確回答使用者問題

記憶

具備脈絡儲存空間的 LLM 架構

主要元件

• 使用者
• 聊天 APP
• LLM（無狀態）
• 脈絡儲存工作流程
• 傳送訊息（從使用者至聊天 APP）
• 攜帶完整脈絡（從聊天 APP 至 LLM）
• 傳回回應（從 LLM 至聊天 APP）
• 儲存歷程記錄（從聊天 APP 至脈絡儲存空間）
• 傳回結果（從聊天 APP 至使用者） 脈絡儲存內容
• System Prompt
• 第 1 輪：使用者問題
• 第 1 輪：AI 回答
• 第 2 輪：使用者問題
• 第 2 輪：AI 回答 —- Agentic 系統架構
• 使用 LLM 管理對話中的記憶與知識圖譜：資料流程與擷取
• 輸入：將對話（訊息）輸入系統。
• 擷取 LLM：大型語言模型處理訊息以產生結構化資料。
• 輸出：「新記憶」與「新實體及關係」。 儲存元件
• 向量資料庫：儲存「既有 + 新記憶」，以供檢索與更新。
• 圖形資料庫：儲存「既有 + 新實體及關係」，以供更新。 更新與管理
• 更新 LLM：第二個 LLM 負責管理將資料更新回資料庫的作業。
• 功能：管理兩個資料庫的「儲存更新」。
• 作業：包含對儲存資料執行明確的「新增」、「刪除」與「更新」動作。 整體目標
• 記憶新增：整個系統可持續儲存與管理對話脈絡及擷取出的知識。 —- 強化型脈絡儲存系統的元件與定義
• System Prompt：系統指示或設定。
• 對話歷程：對話記錄。
• 工具定義：AI agent 可用的函式。
• weather_api()：需要 location、date
• calculator()：需要 expression
• 思考：agent 的推理過程。 記憶互動
• 擷取（從思考至記憶）
• 回填（從記憶至思考）
• 記憶：長期或短期知識庫。 工作流程範例：「查詢天氣（華氏）」
• 使用者：查詢天氣（華氏）
• AI：需要呼叫 weather API
• 工具使用歷程：
• 呼叫：weather_api(location='Beijing', date='today')
• 傳回：{'temperature': 25, 'condition': 'sunny'}
• 呼叫：calculator(expression='25*1.8+32')
• 傳回：77 優點：
• 長期保留與高效率管理
• 持續更新知識
• 個人化服務
• 支援複雜任務
• 改善互動品質
• 從無狀態轉為有狀態

AgentCore Memory

Amazon Bedrock AgentCore

• 無須管理基礎設施即可使用任何框架與模型，安全地大規模建置、部署及營運高效能 Agents。 元件
• Runtime
• Memory
• Identity
• Gateway
• Code Interpreter
• Browser Tool
• Observability 簡化的記憶系統管理
• 將記憶基礎設施抽象化
• 以 serverless 架構為基礎，可自動擴展
• 自動儲存及管理 Agents 跨多個工作階段的脈絡資訊 企業級服務
• 為每位客戶提供專屬儲存空間，充分保障資料隱私
• 提供加密保護與區域化資料儲存，以滿足企業級安全需求 深度客製化
• 依特定應用情境客製化記憶模式
• 設定長期記憶擷取規則
• 選擇合適的模型並自訂提示詞，以最佳化長期記憶擷取效果 —- Agent 記憶元件 Agent Core：
• Agent 推理
• Agent 狀態
• 知識元件
• 工具呼叫
• 政策定義 短期記憶：
• 脈絡視窗
• 對話歷程
• 工具呼叫歷程 長期記憶：
• 事件摘要
• 使用者個人檔案資訊
• 文件資訊 連線：
• 儲存－位於 Agent Core 與 Memory 元件之間
• 檢索－位於 Memory 元件與自動記憶檢索模組之間
• 自動記憶檢索模組

使用 Amazon Bedrock AgentCore Memory 的 Agent 架構與優點

Agent 功能

• 智慧 agent 會自動將複雜的使用者需求（例如：「為需要執行設計軟體的大學生推薦一台 5000 元人民幣以下的筆記型電腦」）拆解成多個平行子任務。
• 子任務範例：「大學生使用情境分析」、「預算篩選」、「軟體執行需求比對」。 AgentCore Memory 的優點
• 運用 AgentCore Memory 長期記憶的技術優勢。
• 大幅加快 Agent 開發流程。
• 實現多項實際應用價值：
• 大幅降低依使用者個人檔案進行智慧搜尋所需的 Token 使用量。
• 有效提升搜尋結果的準確率。
• 在技術競爭力與成本效益方面帶來重大突破。 系統圖流程
• User Query 會進入 Agent Runtime Environment（Strands Agents）。Strands Agents 會與下列項目互動：
• 工具（使用者偏好檢索）
• Amazon Bedrock LLM（處理輸出）
• AgentCore Memory AgentCore Memory 管理：
• 短期記憶（互動事件）
• 自動記憶擷取
• 長期記憶（使用者偏好）
• 此流程會產生 Agent Response 並回傳給使用者。