Agent-to-Agent: Pagbuo ng Interoperable AI sa AWS

Rekording

https://www.youtube.com/watch?v=qoPjyt-MyWk

Pagbuo ng mga Next-Generation Agent Application sa AWS

Halimbawa ng Paggamit: Cafe Manager Agent

• Cafe Manager Agent: Binuo gamit ang Crew AI framework.
• Mga Tool: Mga nakakonektang API na sumusunod sa OpenAPI specification.
• Sitwasyon: Nakikipag-ugnayan ang customer base (customer) sa cafe manager agent upang humiling ng mga item gaya ng cappuccino o long black coffee.
• Distributed Agent: Nakikipag-ugnayan ang isa pang agent (hal., vendor agent) sa cafe manager agent upang kumuha ng impormasyon o mag-order.
• Mga Framework: Gumagamit ang cafe manager agent ng Crew AI, habang Autogen naman ang ginagamit ng distributed agent.
• Identity Provider: Ginagamit ng customer base ang Okta bilang identity provider.
• Mga Tool: Hindi naka-host sa AWS Lambda ang mga API ngunit sumusunod ang mga ito sa OpenAPI specification.

Suporta ng AWS para sa mga Agentic Application

• Agent Core Service: Isang komprehensibong serbisyo sa AWS na sumusuporta sa pagbuo at pag-deploy ng mga agent application.
• Mga Module: Binubuo ang Agent Core Service ng anim hanggang pitong magkakaugnay na module na maaaring patakbuhin nang magkakahiwalay.
• Mga Managed Service: Managed service na iniaalok ng AWS ang lahat ng component.

Agent Core Runtime

• Serverless Hosting: Isang serverless na alok kung saan maaaring mag-deploy ng mga agent na isinulat gamit ang anumang framework (hal., Crew AI, AWS strands, Microsoft Autogen, Google Agentic Development Kit).
• Pakikipag-ugnayan sa Model: Sinusuportahan ang pakikipag-ugnayan sa anumang model, kabilang ang mga nasa labas ng AWS ecosystem (hal., mga OpenAI model).
• Mga Protocol:
• [ 1 ] MCP (Model Context Protocol): Ginagamit upang makipag-ugnayan sa mga tool at resource.
• [ 2 ] A2A (Agent to Agent) Protocol: Isang bagong protocol para sa bukas na komunikasyon sa pagitan ng mga agent.
• Tagal ng Execution: Sinusuportahan ang real-time execution para sa mabilis na tugon at mga gawaing tumatakbo nang matagal, hanggang 8 oras.
• Laki ng Payload: Sinusuportahan ang mga payload na hanggang 100 MB (text, blog, atbp.), at posibleng tumaas pa ito sa hinaharap.

Paano Gumagana ang Agent Core Runtime

Non-Deterministic Flow at Session Isolation

• Non-Deterministic Flow: Hindi sumusunod sa deterministic flow ang mga agentic application; ang LLM model ang nagpapasya sa tatahaking landas.
• Session Isolation: Nagbibigay ang Agent Core Runtime ng nakahandang session isolation gamit ang microVM kernel.
• [ 1 ] MicroVM Kernel: Kapag nagsimula ang isang user ng session gamit ang prompt, gumagawa ng bagong session na may microVM kernel.
• [ 2 ] Isolation: Tinitiyak na walang file system, memory, o CPU na pinagsasaluhan ng mga user upang mapanatili ang privacy at seguridad ng data.
• [ 3 ] Halimbawa: Kung hihiling si Jonas na maabisuhan kapag handa na ang kaniyang kape at hihingi naman si Jane ng numero ng telepono, mananatiling nakahiwalay ang kanilang mga session.

Stateful Service

• Pamamahala ng State: Isang stateful service ang Agent Core Runtime na nakaaalala sa lahat ng state.
• Mga Aktibong Session: Sinusuportahan ang hanggang 500 aktibong session sa isang pagkakataon.

Lifecycle ng Session

• Pagsisimula ng Session: Kapag nagsimula ang isang session, sinisimulan ito gamit ang natatanging session ID (pinamamahalaan ng serbisyo).
• Pamamahala ng Resource:
• [ 1 ] Panahong Walang Aktibidad: Pagkalipas ng 5 minutong walang aktibidad, sinususpinde ng serbisyo ang CPU at mga resource ng session upang makatipid sa gastos.
• [ 2 ] Timeout: Nagti-timeout ang mga request pagkalipas ng 15 minutong walang aktibidad, o hanggang 60 minuto kung streaming (hal., chat).
• [ 3 ] Mga Gawaing Matagal Tumakbo: Sinusuportahan ang mga gawaing tumatakbo nang hanggang 8 oras.

Agent Core Memory

Kahalagahan ng Memory sa mga Agent Application

• Customer Experience: Mahalaga ang memory upang makapagbigay ng mas magandang customer experience. Halimbawa, maaalala nito sa mga susunod na araw ang paboritong order na kape ng customer (hal., cappuccino).

Mga Uri ng Memory

• Short-Term Memory: Nag-iimbak ng mga kamakailang interaction at event.
• Long-Term Memory: Nag-iimbak ng mga pattern at structured data para sa pangmatagalang paggamit.

Mga Feature ng Agent Core Memory

• Built-in Encryption: Tinitiyak ang seguridad ng data.
• Mga Flexible Namespace: Nagbibigay-daan sa organisadong pag-iimbak ng mga memory record.
• Time to Live (TTL): Maaaring itakda ng mga user kung gaano katagal pananatilihin ang mga memory.
• Observability: May built-in observability para subaybayan ang paggamit ng memory.

Short-Term Memory

• [ 1 ] Paglikha ng Event: Lumilikha ng isang event ang bawat interaction ng user sa agent.
• Halimbawa: Nagtatanong ang user at sumasagot ang agent—isang event ang bawat aksiyon.
• [ 2 ] Event Metadata: Karagdagang impormasyon tungkol sa event (hal., lokasyon, oras).
• Halimbawa: Maaaring kasama sa metadata ang lokasyon (hal., Hong Kong) kung saan naganap ang interaction.
• [ 3 ] Actor ID at Session ID: Mga natatanging identifier para sa pag-iimbak ng data sa database.
• [ 4 ] Mga Checkpoint: Mga snapshot ng mga nakaraang chat session para sa mabilis na pagkuha.
• [ 5 ] Mga Chat Message: Nag-iimbak ng mga chat message para sa mga interaction sa bawat session.
• [ 6 ] Pamamahala ng Session State: Awtomatikong pinamamahalaan ang session state at mga trigger para sa long-term memory.

Long-Term Memory

• Pag-iimbak ng Structured Data: Kino-convert ang mga raw interaction sa structured format upang iimbak sa isang vector store.
• Mga Paraan ng Pag-iimbak ng Data:
• [ 1 ] Paggamit ng Reference: Sinusuri at ginagamit ang kasalukuyang impormasyon.
• [ 2 ] Mga Fact at Kaalaman: Nag-iimbak ng factual data at kaalaman.
• [ 3 ] Pagbubuod: Binubuod ang data para sa mahusay na pag-iimbak.
• Mga Custom Store: Maaaring tumukoy ang mga user ng sarili nilang storage solution kung kailangan; kung hindi, ginagamit ang mga default store.

Mga Estratehiya sa Pag-iimbak ng Data

• Mga Built-in Strategy: Awtomatikong pinamamahalaan ang pag-iimbak ng data nang hindi nangangailangan ng interbensiyon ng user.
• Mga Nako-customize na Strategy: Nagbibigay-daan sa mga user na i-customize kung paano iniimbak ang data.
• Mga Lubos na Nako-customize na Strategy: Maaaring eksaktong tukuyin ng mga user kung anong data ang mapupunta sa long-term memory at kung paano ito iiimbak.
• Built-in Semantic Search: Tumutulong na kunin nang naaangkop ang memory data para sa mga query.

Agent Core Gateway

Pinag-isang Access at Integrasyon ng mga Tool

• Layunin: Nagbibigay ng pinag-isang access upang i-integrate ang mga tool sa mga agent.
• Intelligent Tool Discovery: Mga built-in function para matukoy ang pinakamainam na tool para sa mga partikular na layunin.
• Mga Pre-built Integration: Madaling integrasyon sa mga karaniwang tool gaya ng Salesforce, Slack, at SendGrid sa isa o dalawang pag-click.
• Authentication at Seguridad: May kasamang mga feature para sa authentication at seguridad.

Mga Connection Model

• Mga Smithy Model: Para sa mga configuration na sumusuporta sa mga Smithy target.
• OpenAPI Target: Para sa mga API na sumusuporta sa OpenAPI schema.
• AWS Lambda Target: Para sa mga tool na ipinatupad bilang mga AWS Lambda function.
• MCP Server: Gumaganap ang Agent Core Gateway bilang MCP server, at nakikipag-ugnayan dito ang mga agent bilang mga client.

Agent Core Identity

Serbisyo sa Pamamahala ng Identity

• Layunin: Tinitiyak ang mga secure na koneksiyon para sa lahat ng proseso sa pamamagitan ng Agent Core Runtime at Memory.
• Inbound Authorization/Authentication: Bine-verify na lehitimo ang user na kumokonekta sa agent at talagang nais nitong makipag-ugnayan sa agent na iyon.
• Outbound Authorization: Tinitiyak na taglay ng agent ang wastong credential at mga hakbang sa seguridad upang makipag-ugnayan sa mga tool.

Mga Kasalukuyang Identity Provider

• Integrasyon sa mga External Provider: Sinusuportahan ang integrasyon sa mga kasalukuyang identity provider gaya ng Microsoft Enterprise o Okta.
• Portability: Nagbibigay-daan sa mga user na ilipat ang kanilang kasalukuyang identity framework sa Agent Core Identity, kaya nakukuha ang enterprise-level capability nang hindi nangangailangan ng ganap na migration sa Amazon Cognito.

Agent Core Observability

Real-Time na Visibility

• Integrasyon sa AWS CloudWatch: Kapag naka-enable ang observability module, awtomatiko itong kumokonekta sa Amazon CloudWatch.
• Pangkalahatang Dashboard: Nagbibigay ng dashboard upang subaybayan ang mga log, trace, at metric.
• OpenTelemetry Standard: Sinusuportahan ang integrasyon sa mga kasalukuyang observability dashboard na gumagamit ng OpenTelemetry standard.

Telemetry Data

• Mga Log: Itinatala ang nangyari sa mga interaction ng agent.
• Mga Trace: Ipinapakita kung paano naganap ang mga event at nagbibigay ng detalyadong execution path.
• Mga Metric: Nagbibigay ng quantitative data gaya ng bilang ng mga token na naproseso o oras na ginugol sa mga gawain.

Service-Level Telemetry

• Konsolidasyon: Pinagsasama ang telemetry data mula sa lahat ng module (runtime, memory, gateway, identity) upang magbigay ng komprehensibong impormasyon sa antas ng serbisyo.

Observability Portal

• Agent Runtime: Ipinapakita ang mga naka-deploy na agent, session, log, at tracing.
• Memory: Ipinapakita ang short-term at long-term memory storage.
• Mga Gateway: Nagbibigay-daan sa paglikha at pamamahala ng mga gateway para sa integrasyon ng tool.
• Identity: Sinusuportahan ang integrasyon sa mga kasalukuyang identity provider.
• Observability: Nagbibigay-daan sa pagsubaybay ng mga agent, memory log, at trace sa CloudWatch.

Agent Code Starter Kit

• Pinasimpleng Deployment: Gamitin ang Agent Code Starter Kit upang madaling i-configure at ilunsad ang mga agent application.
• Command Prompt: I-install ang starter kit at gamitin ang mga command na gaya ng “configure” at “launch” upang i-set up at i-deploy ang mga agent.
• Pagtukoy sa Entry Point: Tukuyin ang entry point ng iyong application habang nagko-configure.

Demonstrasyon

• Ipinapakita sa Portal: Isang dashboard na may mga naka-deploy na agent, memory, gateway, at identity integration.
• Segment ng CloudWatch: Itinatampok ang segment na "Agent Core Observability" sa CloudWatch para sa detalyadong pagsubaybay.

Konklusyon

• Dali ng Paggamit: Pinapasimple ng Agent Code Starter Kit ang pag-configure at pag-deploy ng mga agent application, kaya mas madaling makabuo at makasubaybay ang mga developer ng mga agentic application sa AWS.

Pag-deploy at Pag-configure ng mga Agent Application

Paggamit ng Agent Code Starter Kit

• Crew AI Application: Ipinapakita ang pag-deploy ng Crew AI application (hindi strand) gamit ang Agent Code Starter Kit.
• Bedrock Agent Core Runtime: Tukuyin ang runtime at app, pati ang entry point.
• Pag-configure:
• Inirerekomendang File: Gumagawa ang starter tool ng inirerekomendang file; kumpirmahin gamit ang "yes".
• Execution Wall: Awtomatikong ginagawa.
• Containerization: Inilalagay ang application sa isang container.
• Authorization: Mga opsiyon para sa authorization at security configuration (hal., Okta).
• Memory: Pumili sa pagitan ng long-term at short-term memory.
• Paglunsad: Gamitin ang `agent co launch` upang i-deploy ang application sa Agent Core Runtime.

Flexibility at Integrasyon

• Mga Framework: Ganap na flexibility sa paggamit ng mga kasalukuyang framework at development practice.
• Database: Hindi nakatali sa isang buong database at maaaring i-integrate sa mga kasalukuyang system.

A2A Protocol

• Introduksiyon: Isang open-standard protocol ang A2A (Agent to Agent) na pinamamahalaan na ngayon ng Linux at ginagamit ng malalaking kompanya.
• Layunin: Nagbibigay-daan sa iba't ibang kompanya na gumawa ng mga agent at ligtas na makipag-ugnayan nang hindi nangangailangan ng detalyadong kaalaman sa enterprise API ng isa't isa.
• Likas na Secure: Kinukumpleto nito ang MCP (Model Context Protocol) at idinisenyo upang maging secure.
• Halimbawa ng Paggamit: Ipinakita ito sa pagkonekta sa mga vendor gamit ang Okta, pagpapatakbo ng isang normal na application kasabay ng distributed agent na may A2A, at pagsuporta sa memory at observability.

Reference Architecture

• [1] Mga Component:
• Runtime: Host para sa mga application.
• Memory: Suporta para sa short-term at long-term memory.
• Observability: Pagsubaybay at logging.
• Gateway: Kumokonekta sa iba pang mga tool at serbisyo.
• [ 2 ] Integrasyon:
• Ipinapakita kung paano nagtutulungan ang lahat ng component sa isang reference architecture para sa mga agentic application sa AWS.