Agent-to-Agent: AWS에서 상호 운용 가능한 AI 구축하기

녹화 영상

https://www.youtube.com/watch?v=qoPjyt-MyWk

AWS에서 차세대 에이전트 애플리케이션 구축하기

사용 사례: Cafe Manager Agent

• Cafe Manager Agent: Crew AI 프레임워크로 구축되었습니다.
• 도구: OpenAPI 사양을 준수하는 API에 연결됩니다.
• 시나리오: 고객이 Cafe Manager Agent와 통신하여 카푸치노나 롱 블랙 커피 같은 품목을 요청합니다.
• 분산 에이전트: 다른 에이전트(예: 공급업체 에이전트)가 Cafe Manager Agent와 통신하여 정보를 얻거나 주문합니다.
• 프레임워크: Cafe Manager Agent는 Crew AI를 사용하고, 분산 에이전트는 Autogen을 사용합니다.
• 자격 증명 공급자: 고객은 Okta를 자격 증명 공급자로 사용합니다.
• 도구: API는 AWS Lambda에서 호스팅되지 않지만 OpenAPI 사양을 따릅니다.

에이전틱 애플리케이션을 위한 AWS 지원

• Agent Core Service: 에이전트 애플리케이션의 구축과 배포를 지원하는 AWS의 종합 서비스입니다.
• 모듈: Agent Core Service는 서로 연동되면서도 개별적으로 실행할 수 있는 6~7개 모듈로 구성됩니다.
• 관리형 서비스: 모든 구성 요소는 AWS가 제공하는 관리형 서비스입니다.

Agent Core Runtime

• 서버리스 호스팅: 어떤 프레임워크(예: Crew AI, AWS Strands, Microsoft Autogen, Google Agentic Development Kit)로 작성된 에이전트든 배포할 수 있는 서버리스 서비스입니다.
• 모델 통신: AWS 에코시스템 외부의 모델(예: OpenAI 모델)을 포함한 모든 모델과의 통신을 지원합니다.
• 프로토콜:
• [ 1 ] MCP (Model Context Protocol): 도구 및 리소스와 통신하는 데 사용됩니다.
• [ 2 ] A2A (Agent to Agent) Protocol: 에이전트 간의 개방형 통신을 위한 새로운 프로토콜입니다.
• 실행 시간: 빠른 응답을 위한 실시간 실행과 최대 8시간 동안 실행되는 장기 작업을 지원합니다.
• 페이로드 크기: 최대 100 MB의 페이로드(텍스트, 블로그 등)를 지원하며 향후 한도가 늘어날 수 있습니다.

Agent Core Runtime의 작동 방식

비결정적 흐름과 세션 격리

• 비결정적 흐름: 에이전틱 애플리케이션은 결정적인 흐름을 따르지 않으며 LLM이 경로를 결정합니다.
• 세션 격리: Agent Core Runtime은 microVM 커널을 사용해 별도 설정 없이 세션을 격리합니다.
• [ 1 ] MicroVM 커널: 사용자가 프롬프트로 세션을 시작하면 microVM 커널을 갖춘 새 세션이 생성됩니다.
• [ 2 ] 격리: 사용자 간에 파일 시스템, 메모리 또는 CPU가 공유되지 않도록 하여 데이터 프라이버시와 보안을 유지합니다.
• [ 3 ] 예시: Jonas가 커피가 완성되면 알려 달라고 요청하고 Jane이 전화번호를 요청해도 두 사람의 세션은 서로 격리됩니다.

상태 저장형 서비스

• 상태 관리: Agent Core Runtime은 모든 상태를 유지하는 상태 저장형 서비스입니다.
• 활성 세션: 동시에 최대 500개의 활성 세션을 지원합니다.

세션 수명 주기

• 세션 시작: 세션이 시작될 때 서비스가 관리하는 고유한 세션 ID로 초기화됩니다.
• 리소스 관리:
• [ 1 ] 비활성 시간: 5분 동안 활동이 없으면 비용 절감을 위해 서비스가 세션의 CPU와 리소스를 일시 중단합니다.
• [ 2 ] 제한 시간: 15분 동안 활동이 없으면 요청 시간이 초과되며, 스트리밍(예: 채팅)의 경우 최대 60분입니다.
• [ 3 ] 장기 실행 작업: 최대 8시간 동안 실행되는 작업을 지원합니다.

Agent Core Memory

에이전트 애플리케이션에서 메모리의 중요성

• 고객 경험: 메모리는 더 나은 고객 경험을 제공하는 데 매우 중요합니다. 예를 들어, 고객이 전날 선호했던 커피 주문(예: 카푸치노)을 다음 날에도 기억할 수 있습니다.

메모리 유형

• 단기 메모리: 최근의 상호작용과 이벤트를 저장합니다.
• 장기 메모리: 장기간 사용할 패턴과 구조화된 데이터를 저장합니다.

Agent Core Memory의 기능

• 기본 제공 암호화: 데이터 보안을 보장합니다.
• 유연한 네임스페이스: 메모리 레코드를 체계적으로 저장할 수 있습니다.
• TTL(Time to Live): 사용자가 메모리 보존 기간을 설정할 수 있습니다.
• 관찰성: 메모리 사용량을 모니터링하는 관찰성 기능이 기본 제공됩니다.

단기 메모리

• [ 1 ] 이벤트 생성: 사용자가 에이전트와 상호작용할 때마다 이벤트가 생성됩니다.
• 예시: 사용자가 질문하고 에이전트가 응답하는 각각의 동작이 하나의 이벤트입니다.
• [ 2 ] 이벤트 메타데이터: 이벤트에 관한 추가 정보(예: 위치, 시간)입니다.
• 예시: 메타데이터에는 상호작용이 발생한 위치(예: Hong Kong)가 포함될 수 있습니다.
• [ 3 ] Actor ID 및 Session ID: 데이터베이스에 데이터를 저장하기 위한 고유 식별자입니다.
• [ 4 ] 체크포인트: 빠른 검색을 위한 이전 채팅 세션의 스냅샷입니다.
• [ 5 ] 채팅 메시지: 세션별 상호작용의 채팅 메시지를 저장합니다.
• [ 6 ] 세션 상태 관리: 세션 상태와 장기 메모리 트리거를 자동으로 관리합니다.

장기 메모리

• 구조화된 데이터 저장: 원시 상호작용을 구조화된 형식으로 변환해 벡터 스토어에 저장합니다.
• 데이터 저장 방법:
• [ 1 ] 참조 활용: 기존 정보를 확인하고 사용합니다.
• [ 2 ] 사실과 지식: 사실 데이터와 지식을 저장합니다.
• [ 3 ] 요약: 효율적인 저장을 위해 데이터를 요약합니다.
• 사용자 지정 스토어: 필요한 경우 사용자가 자체 저장소 솔루션을 정의할 수 있으며, 그렇지 않으면 기본 스토어가 사용됩니다.

데이터 저장 전략

• 기본 제공 전략: 사용자의 개입 없이 데이터 저장을 자동으로 관리합니다.
• 사용자 지정 가능 전략: 사용자가 데이터 저장 방식을 맞춤 설정할 수 있습니다.
• 고급 사용자 지정 전략: 장기 메모리에 어떤 데이터를 어떤 방식으로 저장할지 사용자가 정확히 정의할 수 있습니다.
• 기본 제공 시맨틱 검색: 쿼리에 적합한 메모리 데이터를 추출하는 데 도움이 됩니다.

Agent Core Gateway

통합 액세스 및 도구 연동

• 목적: 도구를 에이전트와 연동하기 위한 통합 액세스를 제공합니다.
• 지능형 도구 검색: 특정 목적에 가장 적합한 도구를 찾는 기능이 기본 제공됩니다.
• 사전 구축된 연동: 한두 번의 클릭으로 Salesforce, Slack, SendGrid 같은 일반적인 도구와 쉽게 연동할 수 있습니다.
• 인증 및 보안: 인증과 보안 기능이 포함되어 있습니다.

연결 모델

• Smithy 모델: Smithy 대상을 지원하는 구성에 사용됩니다.
• OpenAPI 대상: OpenAPI 스키마를 지원하는 API를 위한 대상입니다.
• AWS Lambda 대상: AWS Lambda 함수로 구현된 도구를 위한 대상입니다.
• MCP 서버: Agent Core Gateway는 MCP 서버로 작동하며, 에이전트는 이 게이트웨이를 통해 클라이언트로 통신합니다.

Agent Core Identity

자격 증명 관리 서비스

• 목적: Agent Core Runtime과 Memory를 통한 모든 프로세스의 안전한 연결을 보장합니다.
• 인바운드 권한 부여/인증: 에이전트에 연결하는 사용자가 유효하며 해당 에이전트와 통신하려는 사용자인지 확인합니다.
• 아웃바운드 권한 부여: 에이전트가 도구와 통신하는 데 필요한 올바른 자격 증명과 보안 조치를 갖추었는지 확인합니다.

기존 자격 증명 공급자

• 외부 공급자 연동: Microsoft Enterprise나 Okta 같은 기존 자격 증명 공급자와의 연동을 지원합니다.
• 이식성: 기존 자격 증명 프레임워크를 Agent Core Identity로 이전할 수 있으므로 Amazon Cognito로 완전히 마이그레이션하지 않고도 엔터프라이즈급 기능을 이용할 수 있습니다.

Agent Core Observability

실시간 가시성

• AWS CloudWatch 연동: 관찰성 모듈을 활성화하면 Amazon CloudWatch에 자동으로 연결됩니다.
• 종합 대시보드: 로그, 추적 및 지표를 모니터링하는 대시보드를 제공합니다.
• OpenTelemetry 표준: OpenTelemetry 표준을 사용하는 기존 관찰성 대시보드와의 연동을 지원합니다.

텔레메트리 데이터

• 로그: 에이전트 상호작용 중 발생한 일을 기록합니다.
• 추적: 이벤트가 발생한 방식을 보여 주며 상세한 실행 경로를 제공합니다.
• 지표: 처리된 토큰 수나 작업 소요 시간 같은 정량적 데이터를 제공합니다.

서비스 수준 텔레메트리

• 통합: 모든 모듈(Runtime, Memory, Gateway, Identity)의 텔레메트리 데이터를 통합하여 종합적인 서비스 수준 정보를 제공합니다.

관찰성 포털

• Agent Runtime: 배포된 에이전트, 세션, 로그 및 추적을 표시합니다.
• Memory: 단기 및 장기 메모리 저장소를 보여 줍니다.
• Gateways: 도구 연동을 위한 게이트웨이를 생성하고 관리할 수 있습니다.
• Identity: 기존 자격 증명 공급자와의 연동을 지원합니다.
• Observability: CloudWatch에서 에이전트, 메모리 로그 및 추적을 모니터링할 수 있습니다.

Agent Code Starter Kit

• 간소화된 배포: Agent Code Starter Kit를 사용하면 에이전트 애플리케이션을 쉽게 구성하고 시작할 수 있습니다.
• 명령 프롬프트: 스타터 키트를 설치한 다음 “configure” 및 “launch” 같은 명령을 사용하여 에이전트를 설정하고 배포합니다.
• 진입점 정의: 구성 중에 애플리케이션의 진입점을 정의합니다.

시연

• 포털 화면: 배포된 에이전트, 메모리, 게이트웨이 및 자격 증명 연동이 포함된 대시보드를 보여 줍니다.
• CloudWatch 영역: 세부 모니터링을 위해 CloudWatch의 "Agent Core Observability" 영역을 강조해 보여 줍니다.

결론

• 사용 편의성: Agent Code Starter Kit는 에이전트 애플리케이션의 구성 및 배포 과정을 간소화하여 개발자가 AWS에서 에이전틱 애플리케이션을 쉽게 구축하고 모니터링할 수 있게 합니다.

에이전트 애플리케이션 배포 및 구성

Agent Code Starter Kit 사용

• Crew AI 애플리케이션: Agent Code Starter Kit를 사용하여 Crew AI 애플리케이션(Strands가 아님)을 배포하는 방법을 보여 줍니다.
• Bedrock Agent Core Runtime: 진입점을 지정하여 런타임과 앱을 정의합니다.
• 구성:
• 권장 파일: 스타터 도구가 권장 파일을 생성하며, “yes”로 확인합니다.
• 실행 역할: 자동으로 생성됩니다.
• 컨테이너화: 애플리케이션이 컨테이너에 배치됩니다.
• 권한 부여: 권한 부여 및 보안 구성 옵션(예: Okta)을 제공합니다.
• 메모리: 장기 메모리와 단기 메모리 중에서 선택합니다.
• 시작: agent co launch를 사용하여 애플리케이션을 Agent Core Runtime에 배포합니다.

유연성 및 연동

• 프레임워크: 기존 프레임워크와 개발 방식을 완전히 유연하게 사용할 수 있습니다.
• 데이터베이스: 특정 데이터베이스에 완전히 종속되지 않으며 기존 시스템과 연동할 수 있습니다.

A2A Protocol

• 소개: A2A (Agent to Agent)는 주요 기업이 도입한 개방형 표준 프로토콜로, 현재 Linux에서 관리합니다.
• 목적: 서로 다른 기업이 상대방의 엔터프라이즈 API를 자세히 알지 못해도 에이전트를 만들고 안전하게 통신할 수 있게 합니다.
• 기본적으로 안전함: MCP (Model Context Protocol)를 보완하며 보안을 고려해 설계되었습니다.
• 사용 사례: Okta를 사용한 공급업체 연결, 일반 애플리케이션과 A2A 분산 에이전트의 병행 실행, 메모리 및 관찰성 지원을 시연합니다.

참조 아키텍처

• [1] 구성 요소:
• Runtime: 애플리케이션을 호스팅합니다.
• Memory: 단기 및 장기 메모리를 지원합니다.
• Observability: 모니터링과 로깅을 제공합니다.
• Gateway: 다른 도구 및 서비스에 연결합니다.
• [ 2 ] 연동:
• AWS의 에이전틱 애플리케이션 참조 아키텍처에서 모든 구성 요소가 함께 작동하는 방식을 보여 줍니다.