Muling Pag-iisip sa GenAI Agent: RAG at MCP

RA at MCP sa mga Agentic Architecture

Pokus ng Sesyon

• Talakayan tungkol sa Retrieval-Augmented (RA) at Multi-Chain Processing (MCP), dalawang tradisyonal na pamamaraan sa larangan ng mga agent.
• Pagbibigay-diin sa mahahalagang bagay sa mga agentic architecture at kung paano mapahusay ang performance ng agent.

Mahahalagang Punto

• Agent Orchestration: Ang mga agent ay ino-orchestrate ng mga model, kaya napakahalaga ng model.
• Ebolusyon ng Model: Ang pag-unlad ng lohikal na pag-iisip at mga kakayahan ng mga model ay pangunahing itinutulak ng mga model provider, maliban kung magsasagawa ng custom training.
• Koneksyon sa mga Panlabas na System: Napakahalaga ng kakayahan ng mga agent na kumonekta sa mga panlabas na system at kumilos nang tumpak.

Retrieval-Augmented (RA)

• Kahulugan: Pinahihintulutan ng RA ang mga Large Language Model (LLM) na i-access ang mga custom knowledge base nang hindi na kailangang muling sanayin.
• Mga Benepisyo: Binabawasan nito ang kinakailangang computational power at mga gastos na kaugnay ng model fine-tuning o retraining.
• Halimbawa ng Paggamit: Akma ito sa mga kumplikadong workload kung saan maaaring hindi sapat ang prompt engineering na gumagamit ng few-shot o one-shot learning.

Mga Layunin

• Pahusayin ang aktuwal na performance ng mga agent.
• Pahusayin ang performance ng RA sa mga agentic architecture.

Pangkalahatang-ideya ng Architecture

• Tatalakayin nang masinsinan sa sesyon ang architecture ng mga agentic system, na nakatuon sa ambag ng RA at MCP sa pangkalahatang performance.

Detalyadong Paghimay sa Retrieval-Augmented (RA) Architecture

Mga Hakbang sa Pagpapatupad ng RA

1. Paghahanda ng Dokumento: Magsimula sa sarili mong mga dokumento (mga PDF, media, at video).
2. Chunking: Hatiin ang iyong dokumento sa mga chunk (makabuluhang bahagi ng teksto).
3. Embedding: Gumamit ng embedding model upang gawing mga numerikal na representasyon (factor) ang mga chunk.
4. Pag-iimbak ng Factor: Iimbak ang mga factor sa isang database (relational o native factor store gaya ng Neo4j o Pinecone).

Proseso ng Query

• Kapag nagtanong ang isang user, kino-convert ang tanong sa isang factor.
• Nagsasagawa ang factor database ng similarity search upang mahanap ang pinakanauugnay na sagot.
• Ibinabalik ang sagot sa Large Language Model (LLM) upang makabuo ng iniangkop na tugon.

Mahahalagang Elemento sa Pagpapahusay ng Performance ng RA

Estratehiya sa Chunking

• Kahalagahan ng chunking:
• Limitado ang mga context window ng mga naunang LLM.
• Pinipigilan ng chunking ang penomenong "loss in the middle," kung saan hindi napapansin ang mahalagang impormasyon.
• Mahahalagang dapat isaalang-alang:
• Laki ng chunk: Subhetibo at nakabatay sa personal na kagustuhan.
• Lohika ng chunking: Kung paano hahatiin ang teksto sa makabuluhang paraan.

Pagpili ng Embedding Model

• Napakahalaga ng pagpili ng tamang embedding model para sa tumpak na representasyon ng factor.

Pagpili ng Factor Database

• Magkakaiba ang mga algorithm at library na ginagamit ng iba't ibang factor database.
• Nakaaapekto sa performance at katumpakan ang pagpili ng tamang database.

Bakit Mahalaga ang Chunking

• Limitasyon ng Context Window: Hindi kayang pangasiwaan ng mga naunang LLM ang malalaking input; hinahati ng chunking ang mga ito sa mapapamahalaang bahagi.
• Pag-iwas sa Loss in the Middle: Tinitiyak nitong hindi nakakaligtaan ang mahalagang impormasyon habang pinoproseso.
• Laki at Lohika ng Chunk: Mga subhetibong pagpiling nakaaapekto sa bisa ng chunking.

Karagdagang Detalye sa mga Estratehiya at Epekto ng Chunking

Epekto ng Laki ng Chunk

• Nakaaapekto ang laki ng chunk sa response time at mga sukatan ng performance gaya ng faithfulness at relevancy.
• Inilalarawan ng Llama Index ang ugnayan ng laki ng chunk at performance.

Mga Estratehiya sa Chunking sa AWS

Fixed Size Chunking

• Regular at sintaktikong paghahati ng teksto sa mga chunk na may takdang laki.

Semantic Chunking

• Gumagamit ng Natural Language Processing (NLP) upang maunawaan at mahati ang teksto sa makabuluhang paraan.

Hierarchical Chunking

• Gumagamit ng mga ugnayang parent-child, na karaniwang inilalapat sa mga dokumentong may hierarchical na istruktura.

Mahahalagang Dapat Isaalang-alang sa Chunking

• Makabuluhang mga Chunk: Tiyaking makabuluhan ayon sa semantika ang mga chunk, at hindi lamang hinati ayon sa syntax.
• Pag-unawa sa Teksto: Layunin nitong maunawaan ang teksto upang matukoy kung makabuluhan ang isang chunk.
• Estratehiyang Walang Chunk: Kung komprehensibo o mahusay nang nasanay ang dataset, maaaring hindi na kailangan ang chunking.

Buod

• Hindi lamang tungkol sa laki ang chunking; tungkol din ito sa pag-unawa at makabuluhang paghahati ng teksto.
• Nag-aalok ang AWS ng iba't ibang estratehiya sa chunking, kabilang ang fixed size, semantic, at hierarchical chunking.
• Nakadepende ang pagpili ng estratehiya sa chunking sa katangian ng teksto at sa ninanais na resulta ng performance.

Detalyadong Paliwanag sa mga Embedding Model at Similarity Metric

Mga Embedding Model

• Kino-convert ng mga embedding model ang teksto sa mga numerikal na representasyon (factor).
• Halimbawa: Ang "ABC" (A: "Gusto kong tumakbo," B: "Paborito kong aktibidad ang pagtakbo," C: "Maganda ang panahon ngayon") ay ine-embed sa mga factor gaya ng [0.8, 0.6, 0.11].
• Tinutukoy ng embedding model ang kahulugan ng mga factor na ito.

Mga Similarity Metric

• Euclidean Distance: Sinusukat nito ang tuwirang distansya sa pagitan ng dalawang factor. Mas mataas ang pagkakatulad kapag mas maliit ang distansya.
• Cosine Similarity: Sinusukat nito ang anggulo sa pagitan ng dalawang factor. Mas mataas ang pagkakatulad ng mga value na mas malapit sa 1.

Halimbawa

• Gamit ang halimbawang ABC, mas magkatulad o mas malapit sa matematika ang A at B ayon sa Euclidean distance at cosine similarity.

Pagpili ng Tamang Embedding Model

• [ 1 ] Gamit at Wika:
• Tukuyin ang partikular na use case at mga kinakailangan sa wika (hal., multilingual support).
• [ 2 ] Laki ng Token o Window:
• Tiyaking kayang pangasiwaan ng model ang laki ng iyong mga tekstuwal na materyal.
• [ 3 ] Dimensionality:
• Maaaring makuha ng mas mataas na dimensionality ang mas maraming semantikong kahulugan, ngunit maaari itong mangailangan ng mas malaking memory.
• Kailangang balansehin ang impormasyong nakukuha at ang gastos sa memory.

Mga AWS Embedding Model

• May iba't ibang embedding model sa AWS, kabilang ang mga bagong model gaya ng kamakailang inilunsad na Nova embedding.
• Napakahalaga sa pagpili ang mga resulta ng testing at pag-unawa sa mga kakayahan ng model.

Buod

• Kino-convert ng mga embedding model ang teksto sa mga numerikal na factor, na nagbibigay-daan sa mga similarity search.
• Sinusukat ang pagkakatulad gamit ang Euclidean distance at cosine similarity.
• Sa pagpili ng tamang embedding model, isinasaalang-alang ang use case, laki ng token, at dimensionality.

Buod ng mga Vector Database at Search Algorithm

Mga Vector Database (Factor DB)

• Matapos gawing mga numerikal na representasyon (factor) ang teksto, kailangang iimbak ang mga ito sa isang vector database.
• Nag-aalok ang AWS ng iba't ibang opsyon sa database, kabilang ang mga open-source serverless solution gaya ng Pinecone o Mu.
• Itinatampok ang OpenSearch bilang halimbawa upang maunawaan ang mga paraan ng paghahanap.

Mga Paraan ng Paghahanap

• [ 1 ] Hierarchical Navigable Small World (HNSW):
• Gumagawa ito ng graphical na istrukturang patong-patong upang mapabilis ang paghahanap.
• Kahinaan: Mas mataas na pagkonsumo ng memory.
• [ 2 ] Inverted File Index (IVF):
• Inilalagay nito ang mga factor sa mga bucket upang hanapin ang mga sub-bucket.
• Kalamangan: Mas mababa ang paggamit ng memory kumpara sa HNSW.

Pagpili ng Tamang Paraan ng Paghahanap

• Isaalang-alang ang query latency, kalidad ng query, paggamit ng memory, at indexing.
• Inirerekomenda ng OpenSearch na isaalang-alang ang mga salik na ito sa pagpili ng paraan.
• Maaaring pagsamahin ng mga paraang gaya ng FAISS ang HNSW at IVF para sa pinakamainam na performance.

Mga Trade-off sa Pagpili ng Factor DB

• Walang iisang tuwirang sagot; nakabatay sa user ang mga antas ng performance at tolerance.
• Kailangang balansehin ang kalidad, gastos, at latency.
• Nagdudulot ang mas malaking paggamit ng memory ng mas mataas na gastos ngunit mas tumpak na resulta.

Kongklusyon

• Nakadepende sa mga partikular na use case at kinakailangan ang pagpili ng factor DB at search algorithm.
• Makakatulong ang mga decision diagram at tree diagram sa pagpili ng mga tamang opsyon.

Paglipat sa MCP

• Susunod na tatalakayin sa sesyon ang Multi-Chain Processing (MCP) at ang mga karanasan sa paggamit nito.

Panimula sa Multi-Chain Processing (MCP)

Ano ang MCP?

• Ang MCP ay nangangahulugang Model Context Protocol, isang open-source standard para sa pagkonekta ng mga AI application sa mga panlabas na system, database, o knowledge base.
• Layunin nitong tulungan ang system na makapagbigay ng mas epektibong mga tugon.

Pangkalahatang-ideya ng MCP Architecture

• MCP Host: Pangunahing bahagi na may maraming MCP client.
• Mga MCP Client: Nakikipag-ugnayan sa MCP server.
• MCP Server: Kumakatawan sa iba't ibang system gaya ng mga file system, database, o iba pang application.

Mga Pangunahing Feature ng MCP Client

• Sampling: Kinokontrol ang bilang ng mga request na ipinadadala sa MCP server.
• Roots: Tinutukoy ang uri ng directory o data na nais kunin ng client mula sa MCP server.
• Elicitation: Tinutukoy ang mga kagustuhan para sa data na nais matanggap ng client mula sa MCP server.

Reference Architecture para sa Pag-deploy ng MCP Server sa AWS

• CloudFront at Buff: Ginagamit upang mapahusay ang performance at maprotektahan laban sa masasamang pag-atake.
• Amazon Cognito: Ginagamit para sa authentication upang matiyak na valid ang mga request mula sa mga MCP client.

Buod

• Ang MCP ay isang protocol para mapahusay ang pakikipag-ugnayan ng mga AI application sa mga panlabas na system.
• Binubuo ang architecture ng isang MCP host, mga client, at server.
• Kabilang sa mga pangunahing feature ng MCP client ang sampling, roots, at elicitation.
• Inirerekomenda ang mga serbisyo ng AWS gaya ng CloudFront, Buff, at Amazon Cognito upang ligtas at mahusay na mag-deploy ng mga MCP server.

Karagdagang Paliwanag sa Pag-deploy ng MCP sa AWS

Mga Backend Service para sa MCP Server

• AWS Fargate at AWS Lambda:
• Fargate: Nagho-host ng mga MCP server na kailangang tumakbo nang matagal.
• Lambda: Nagho-host ng code na pinaandar ng mga event at pansamantalang tumatakbo.

Mga Karagdagang Serbisyo ng AWS

• Amazon CloudWatch: Sinusubaybayan ang performance ng MCP server.
• Parameter Store: Nag-iimbak ng mga environment variable para sa mga MCP server.
• Amazon ECR: Nagho-host ng mga image para sa pagbuo ng mga MCP server.
• ACM (AWS Certificate Manager): Tinitiyak sa pamamagitan ng mga certificate na naka-encrypt ang data habang inililipat.

Demo ng Pag-deploy ng MCP Server sa AWS

• CDK (Cloud Development Kit): Ginagamit upang i-deploy ang MCP server architecture.
• [ 1 ] Mga Hakbang:
• Buuin ang CDK toolkit.
• Gamitin ang CDK na ibinigay ng AWS upang i-deploy ang backend architecture.
• [ 2 ] Kabilang sa Na-deploy na Stack:
• VPC
• Mga security group
• CloudFront
• Cognito user pool para sa authentication
• MCP server

Proseso ng Deployment

• Kabilang sa proseso ng deployment ang pagbuo ng mga Docker image mula sa source code, pag-push ng mga ito sa ECR, at pag-deploy sa mga serbisyong gaya ng ECS Fargate at Lambda.
• Matagal ang proseso dahil kumplikado ang pagbuo at pag-deploy ng server.

Buod

• Ginagamit ng backend ng MCP server ang mga serverless platform gaya ng Fargate at Lambda.
• Ginagamit ang mga karagdagang serbisyo ng AWS gaya ng CloudWatch, Parameter Store, ECR, at ACM para sa monitoring, pag-iimbak ng mga variable, pag-host ng mga image, at pagtiyak ng encryption.
• Ipinakikita ng demo gamit ang CDK ang pag-deploy ng MCP server sa AWS, kasama ang pagiging kumplikado at tagal na kailangan ng proseso.

Mga Pangwakas na Pahayag sa Pakikipag-ugnayan ng MCP Client at mga Best Practice

Pakikipag-ugnayan sa MCP Server

• Matapos i-deploy ang backend, magagamit ang MCP client upang makipag-ugnayan sa MCP server.
• Ipinakita ang pakikipag-ugnayan sa isang MCP server na nakakonekta sa isang panlabas na website (API) para sa mga babala sa panahon sa United States.
• Halimbawa: Paglalagay ng longitude at latitude upang mahulaan ang mga babala sa panahon at makatanggap ng tugon mula sa api.weather.gov.

Tip sa Best Practice

• Iwasang Ilagay ang MCP Client Kasama ng Callback Host:
• Inirerekomendang huwag ilagay ang MCP client sa host na kinaroroonan din ng callback host para sa MCP server.
• Nakakatulong ang paraang ito na maiwasan ang mga problema sa callback timeout.

Buod

• Epektibong makikipag-ugnayan ang MCP client sa MCP server upang kumuha ng data mula sa mga panlabas na system.
• Isang best practice ang paghihiwalay ng MCP client sa callback host upang maiwasan ang mga problema sa timeout.
• Ipinakita sa demo kung paano gamitin ang MCP server upang mahulaan ang mga babala sa panahon sa pamamagitan ng pakikipag-ugnayan sa isang panlabas na API.