"매칭"에서 "이해"로: AgentCore Memory가 주도하는 개인화 AI 검색 실습

세션 노트

검색

검색 엔진 아키텍처 흐름

입력:

• 쿼리 검색 방법(쿼리에서):
• 역색인 기반 어휘 매칭
• 항목 기반 협업 필터링
• 임베딩 기반 검색 병합 단계: 세 가지 검색 방법의 출력을 다음으로 결합:
• 중복 없는 비정렬 상품 집합 순위 지정 단계:
• 사전 순위 지정
• 관련성 순위 지정
• 순위 지정 혼합 순위 지정에 대한 추가 입력:
• 광고
• 콘텐츠 미디어 최종 순위 지정 단계:
• 혼합 순위 지정 —- 의미 매칭을 사용해 상품 매칭을 강화하는 시스템 아키텍처 입력:
• 쿼리 매칭 구성 요소:
• 행동 데이터
• 키워드 매칭
• 의미 매칭 데이터 흐름:
• 쿼리가 키워드 매칭과 의미 매칭으로 전달됨
• 행동 데이터가 순위 지정에 행동 신호를 제공
• 키워드 매칭과 행동 데이터가 비정렬 매칭 집합을 형성
• 의미 매칭이 순위 지정 처리 단계에 의미 유사도 점수를 제공:
• 순위 지정 출력:
• 정렬된 상품 목록 —- LLM 에이전트 워크플로 프로세스 흐름:
• 쿼리 -->LLM -->계획
• 계획 -->LLM -->작업
• 작업 -->"계획이 완료되었는가?" (결정 지점)
• "예"인 경우 -->LLM -->답변 마무리
• "아니요"인 경우 -->"작업"으로 되돌아감(LLM 단계를 통해) 결정 로직:
• LLM을 사용하여 계획 완료 여부를 판단. 차이점 01 기존 검색
• 키워드 매칭에 의존
• 웹페이지 링크 가중치 순위 지정
• 방대한 정보를 빠르게 검색하는 것이 목표 02 AI 검색
• 의미 이해
• 관련 정보를 벡터 + 키워드에 주입
• 대규모 모델이 정보를 조합
• 사용자 질문에 정확하게 답하는 것이 목표

메모리

컨텍스트 스토리지 사용 LLM 아키텍처

주요 구성 요소

• 사용자
• 채팅 앱
• LLM(상태 비저장)
• 컨텍스트 스토리지 워크플로
• 메시지 전송(사용자에서 채팅 앱으로)
• 전체 컨텍스트 전달(채팅 앱에서 LLM으로)
• 응답 반환(LLM에서 채팅 앱으로)
• 기록 저장(채팅 앱에서 컨텍스트 스토리지로)
• 결과 반환(채팅 앱에서 사용자로) 컨텍스트 스토리지 콘텐츠
• 시스템 프롬프트
• 1차: 사용자 질문
• 1차: AI 답변
• 2차: 사용자 질문
• 2차: AI 답변 —- 에이전트 시스템 아키텍처
• LLM을 사용하여 대화의 메모리와 지식 그래프를 관리: 데이터 흐름 및 추출
• 입력: 대화(메시지)가 시스템에 입력됨.
• 추출 LLM: Large Language Model이 메시지를 처리하여 구조화된 데이터를 생성.
• 출력: "새 메모리"와 "새 엔터티 및 관계". 스토리지 구성 요소
• 벡터 데이터베이스: 검색과 업데이트를 위해 "기존 + 새 메모리"를 저장.
• 그래프 데이터베이스: 업데이트를 위해 "기존 + 새 엔터티 및 관계"를 저장. 업데이트 및 관리
• 업데이트 LLM: 두 번째 LLM이 데이터베이스로 돌아가는 데이터 업데이트를 관리.
• 기능: 두 데이터베이스의 "스토리지 업데이트"를 관리.
• 작업: 저장된 데이터에 대한 명시적 "추가", "삭제", "업데이트" 작업 포함. 전체 목표
• 메모리 추가: 전체 시스템이 대화 컨텍스트와 추출된 지식의 영구 저장 및 관리를 지원. —- 향상된 컨텍스트 스토리지 시스템 구성 요소 및 정의
• 시스템 프롬프트: 시스템 지침 또는 구성.
• 대화 기록: 대화 내역.
• 도구 정의: AI 에이전트가 사용할 수 있는 함수.
• weather_api(): location, date 필요
• calculator(): expression 필요
• 사고: 에이전트의 추론 과정. 메모리 상호 작용
• 추출(사고에서 메모리로)
• 백필(메모리에서 사고로)
• 메모리: 장기 또는 단기 지식 베이스. 워크플로 예시: "날씨 조회(화씨)"
• 사용자: 날씨 조회(화씨)
• AI: weather API 호출 필요
• 도구 사용 기록:
• 호출: weather_api(location='Beijing', date='today')
• 반환: {'temperature': 25, 'condition': 'sunny'}
• 호출: calculator(expression='25*1.8+32')
• 반환: 77 이점:
• 장기 보존 및 효율적 관리
• 지속적인 지식 업데이트
• 개인화 서비스
• 복잡한 작업 지원
• 상호 작용 품질 향상
• 상태 비저장에서 상태 저장으로

AgentCore Memory

Amazon Bedrock AgentCore

• 인프라를 관리하지 않고 모든 프레임워크와 모델을 활용하여 고성능 에이전트를 대규모로 안전하게 구축, 배포 및 운영. 구성 요소
• Runtime
• Memory
• Identity
• Gateway
• Code Interpreter
• Browser Tool
• Observability 간소화된 메모리 시스템 관리
• 메모리 인프라 추상화
• 자동 확장을 위한 서버리스 아키텍처 기반
• 여러 세션에 걸쳐 에이전트의 컨텍스트 정보를 자동으로 저장 및 관리 엔터프라이즈급 서비스
• 각 고객에게 전용 스토리지를 제공하여 데이터 프라이버시를 완전히 보장
• 엔터프라이즈급 보안 요구 사항을 충족하도록 암호화 보호와 리전별 데이터 스토리지 제공 심층 사용자 지정
• 특정 애플리케이션 시나리오에 따라 메모리 모드 사용자 지정
• 장기 메모리 추출 규칙 설정
• 적절한 모델을 선택하고 프롬프트 문구를 사용자 지정하여 장기 메모리 추출 효과 최적화 —- 에이전트 메모리 구성 요소 에이전트 코어:
• 에이전트 추론
• 에이전트 상태
• 지식 구성 요소
• 도구 호출
• 정책 정의 단기 메모리:
• 컨텍스트 창
• 대화 기록
• 도구 호출 기록 장기 메모리:
• 이벤트 요약
• 사용자 프로필 정보
• 문서 정보 연결:
• 저장 - 에이전트 코어와 메모리 구성 요소 사이
• 검색 - 메모리 구성 요소와 자동 메모리 검색 모듈 사이
• 자동 메모리 검색 모듈

Amazon Bedrock AgentCore Memory를 활용한 에이전트 아키텍처 및 이점

에이전트 기능

• 지능형 에이전트가 복잡한 사용자 요구 사항(예: "디자인 소프트웨어를 실행할 수 있는 대학생용 5000위안 이하 노트북 추천")을 여러 병렬 하위 작업으로 자동 분해.
• 하위 작업 예시: "대학생 사용 시나리오 분석", "예산 필터링", "소프트웨어 실행 요구 사항 매칭". AgentCore Memory의 이점
• AgentCore Memory 장기 메모리의 기술적 이점을 활용.
• 에이전트 개발 프로세스를 크게 가속화.
• 여러 실제 애플리케이션 가치 실현:
• 사용자 프로필 기반 스마트 검색의 토큰 사용량이 크게 감소.
• 검색 결과 정확도가 효과적으로 향상.
• 기술 경쟁력과 비용 효율성에서 획기적인 발전 제공. 시스템 다이어그램 흐름
• 사용자 쿼리가 에이전트 런타임 환경(Strands Agents)으로 전달됨. Strands Agents는 다음과 상호 작용:
• 도구(사용자 선호도 검색)
• Amazon Bedrock LLM(출력 처리)
• AgentCore Memory AgentCore Memory가 다음을 관리:
• 단기 메모리(상호 작용 이벤트)
• 자동 메모리 추출
• 장기 메모리(사용자 선호도)
• 프로세스 결과로 사용자에게 에이전트 응답 제공.