Pagbabalik-tanaw sa Coinbase re:Invent (IND3312)

Mga Tala ng Sesyon

Pag-scale ng suporta, pagsunod, at pagiging produktibo gamit ang pakikipag-usap

Pangkalahatang-ideya ng Pag-unlad ng Gen AI sa mga Serbisyong Pinansyal

2023: Pagpapakilala ng mga LLM

• Nagsimulang pumasok sa merkado ang mga LLM para sa mga aplikasyon ng customer at enterprise.
• Unang nakatuon sa tiwala at seguridad ng data.
• Lumitaw ang mga tanong tungkol sa kaligtasan at kapakinabangan ng data.
• Mahalaga ang Retrieval Augmented Generation (RAG) para sa mga negosyo.
• May mahalagang data ang mga customer ng FSI ngunit hindi sila tiyak kung paano ito ligtas na gagamitin.

Chatbot para sa Suporta sa Customer

• Higit sa 50% ng mga customer ang mas gusto ang chat bilang kanilang channel ng suporta.
• Sinanay sa malawak na base ng kaalaman ni Coinbase.
• Nagbibigay ng madalian, tumpak na tulong sa buong orasan, na umaangkop sa pagkasumpungin ng merkado.

FAQ Estilo RAG Mga Tugon

• Simple, FAQ-mga istilong tugon upang i-automate ang mga karaniwang query (hal., mga isyu sa pag-sign-in, two-factor na pagpapatotoo).
• Nakatuon sa katumpakan upang makabuo ng matibay na pundasyon.

Pinahusay ng modelo ng Rerank ni Cohere ang kaugnayan sa paghahanap

• Semantically muling ayusin ang mga unang resulta ng paghahanap
• Nauunawaan ang konteksto ng query-document na lampas sa mga keyword
• Sinusuportahan ang higit sa 100 mga wika
• Pinangangasiwaan ang kumplikadong data tulad ng JSON at code
• Pinapabuti ang mga system ng
• Retrieval-Augmented Generation (RAG).
• Pinapataas ang katumpakan ng paghahanap ng enterprise
• Nagbibigay ng mas mabilis na karanasan ng user
• Gumagana bilang isang malakas na pangalawang yugto sa mga pipeline ng paghahanap
• Pinag-uuri-uri ang mga resulta mula sa paghahanap sa keyword o vector ayon sa malalim na mga marka ng kaugnayan
• Mga Pangunahing Tampok
• Rerank-v3.5: makabagong pagganap, pinahusay na pangangatwiran, at malawak na pagkakatugma ng data (teksto, JSON, code).
• Rerank-english-v3.0: English na mga dokumento at semi-structured na data.
• Rerank-multilingual-v3.0: Para sa nilalamang hindi Ingles, na sumusuporta sa mahigit 100 wika.
• Rerank 3 Nimble: Unahin ang kahusayan at mas mababang latency para sa mataas na dami ng mga kaso ng paggamit tulad ng paghahanap sa e-commerce, pagpapabuti ng mga rate ng conversion.

Cross-encoder arkitektura

• Isang modelo na nagpoproseso ng dalawang input (tulad ng isang query at isang dokumento) nang magkasama sa isang pagkakasunud-sunod, gamit ang mga mekanismo ng cross-attention sa pagitan ng lahat ng mga token upang matukoy ang kanilang kaugnayan.
• Mga Pangunahing Katangian
• Pinagsamang Pagproseso
• Cross-Attention
• Iisang Output
• Unang Yugto (Bi-encoder)
• Ikalawang Yugto (Cross-encoder)

Mga Proseso ng Pagsunod

• Pagpapatupad ng KYC, KYB, at TMS.
• Malakas na pag-asa sa human resources at masusing pagsisiyasat.
• Kailangan ng detalyadong pagpapaliwanag at kakayahang umangkop sa magkakaibang mga kinakailangan sa regulasyon sa mga bansa.
• Diskarte para sa Pagsunod
• Gamitin ang panloob na platform para sa pag-access ng LLMs at data sa pamamagitan ng MCP na mga interface.
• Pagsasama ng isang tradisyunal na modelo ng machine learning para matukoy ang mga kaso ng pagsunod na may mataas na peligro, na binuo sa AnyScale-based na ML platform.

Scalability na Pinapagana ng Ray

• Ino-optimize at pinamamahalaan ang Ray na mga cluster.
• Mahusay na pamamahagi at pag-scale sa libu-libong
• CPUs at GPUs.
• Pinangangasiwaan ang napakalaking dataset at kumplikadong mga modelo.
• Ray AI Mga Aklatan
• Ray Data: Para sa nasusukat na pagproseso ng data, partikular na angkop para sa hindi nakabalangkas na data tulad ng mga larawan, audio, at video.
• Ray Train: Para sa distributed model training, na may mga integrasyon para sa mga framework tulad ng
• PyTorch, PyTorch Lightning, at Hugging Face Transformers.
• Ray Tune: Isang framework para sa scalable at fault-tolerant hyperparameter tuning at execution ng eksperimento.
• Ray Serve: Para sa pag-deploy at paghahatid ng mga modelo ng machine learning bilang scalable, programmable APIs na may mababang latency.
• RLlib: Isang library sa antas ng industriya para sa reinforcement learning, na sumusuporta sa malawak na hanay ng mga application mula sa robotics hanggang sa pananalapi.

Compliance Auto Resolution Engine (CAR)

• Sentral sa solusyon, na kumikilos bilang orkestra para sa proseso ng holistic na pagsusuri.
• Pinapakilos ang parehong automation at kadalubhasaan ng tao sa isang agentic AI-driven na workflow.
• Human-in-the-Loop Proseso
• Pakikipag-ugnayan sa dalawang persona ng tao:
• Mga Ahente ng Pagpapatakbo ng Pagsunod: Suriin ang AI mga natuklasan ng system at magbigay ng feedback para sa pagpapabuti.
• Mga End Customer: Makipag-ugnayan para sa karagdagang impormasyon kung kinakailangan.

Pagbabalik-tanaw sa Coinbase re:Invent (IND3312)

Pag-scale ng suporta, pagsunod, at pagiging produktibo sa pakikipag-usap AI sa Coinbase

Chatbot para sa Suporta sa Customer

• Higit sa 50% ng mga customer ang mas gusto ang chat bilang kanilang channel ng suporta.
• Sinanay sa malawak na base ng kaalaman ni Coinbase.
• Nagbibigay ng madalian, tumpak na tulong sa buong orasan, na umaangkop sa pagkasumpungin ng merkado.

FAQ Estilo RAG Mga Tugon

• Simple, FAQ-mga istilong tugon upang i-automate ang mga karaniwang query (hal., mga isyu sa pag-sign-in, dalawang-factor
• Nakatuon sa katumpakan upang makabuo ng matibay na pagpapatunay ng pundasyon).

Pinahusay ng modelo ng Rerank ni Cohere ang kaugnayan sa paghahanap

• Semantically muling ayusin ang mga unang resulta ng paghahanap
• Nauunawaan ang konteksto ng query-document na lampas sa mga keyword
• Sinusuportahan ang higit sa 100 mga wika
• Pinangangasiwaan ang kumplikadong data tulad ng JSON at code
• Pinapabuti ang mga system ng
• Retrieval-Augmented Generation (RAG).
• Pinapataas ang katumpakan ng paghahanap ng enterprise
• Nagbibigay ng mas mabilis na karanasan ng user
• Gumagana bilang isang malakas na pangalawang yugto sa mga pipeline ng paghahanap
• Pinag-uuri-uri ang mga resulta mula sa paghahanap sa keyword o vector ayon sa malalim na mga marka ng kaugnayan

Mga Pangunahing Tampok ng modelong Rerank ng Cohere.

• Rerank-v3.5: makabagong pagganap, pinahusay na pangangatwiran, at malawak na data
• Rerank-english-v3.0: English na mga dokumento at semi-structured na data. compatibility (teksto, JSON, code).
• Rerank-multilingual-v3.0: Para sa nilalamang hindi Ingles, na sumusuporta sa higit sa 100 mga wika.- Rerank 3 Nimble: Unahin ang kahusayan at mas mababang latency para sa mataas na dami ng mga kaso ng paggamit tulad ng paghahanap sa e-commerce, pagpapabuti ng mga rate ng conversion.

Cross-encoder arkitektura

Isang modelo na nagpoproseso ng dalawang input (tulad ng isang query at isang dokumento) nang magkasama sa isang solong

pagkakasunud-sunod, gamit ang mga mekanismo ng cross-attention sa pagitan ng lahat ng mga token upang matukoy ang kanilang kaugnayan.

Mga Pangunahing Katangian

• Pinagsamang Pagproseso
• Cross-Attention
• Iisang Output
• Unang Yugto (Bi-encoder)
• Ikalawang Yugto (Cross-encoder)

Mga Proseso ng Pagsunod

• Pagpapatupad ng KYC, KYB, at TMS.
• Malakas na pag-asa sa human resources at masusing pagsisiyasat.
• Kailangan ng detalyadong pagpapaliwanag at kakayahang umangkop sa magkakaibang mga kinakailangan sa regulasyon sa kabuuan

mga bansa.

🛠Diskarte para sa Pagsunod

• Gamitin ang panloob na platform para sa pag-access ng LLMs at data sa pamamagitan ng MCP na mga interface.
• Pagsasama ng isang tradisyunal na modelo ng machine learning para matukoy ang mga kaso ng pagsunod na may mataas na peligro, na binuo

sa AnyScale-based na ML platform.

Scalability na Pinapagana ng Ray

• Ino-optimize at pinamamahalaan ang Ray na mga cluster.
• Mahusay na pamamahagi at pag-scale sa libu-libong
• CPUs at GPUs.
• Pinangangasiwaan ang napakalaking dataset at kumplikadong mga modelo.

Ray AI Mga Aklatan

• Ray Data: Para sa nasusukat na pagproseso ng data, partikular na angkop para sa hindi nakabalangkas na data tulad ng mga larawan,
• Ray Train: Para sa distributed model training, na may mga integrasyon para sa mga frameworks tulad ng PyTorch,

audio, at video.

• Ray Tune: Isang framework para sa scalable at fault-tolerant hyperparameter tuning at

PyTorch Lightning, at Hugging Face Transformers.

• Ray Serve: Para sa pag-deploy at paghahatid ng mga modelo ng machine learning bilang scalable, programmable

pagpapatupad ng eksperimento.

• RLlib: Isang library sa antas ng industriya para sa reinforcement learning, na sumusuporta sa malawak na hanay ng

APIs na may mababang latency.

mga aplikasyon mula sa robotics hanggang sa pananalapi.

Compliance Auto Resolution Engine (CAR)

• Sentral sa solusyon, na kumikilos bilang orkestra para sa proseso ng holistic na pagsusuri.
• Pinapakilos ang parehong automation at kadalubhasaan ng tao sa isang agentic AI-driven na workflow.

Human-in-the-Loop Proseso

Pakikipag-ugnayan sa dalawang katauhan ng tao

• Mga Ahente ng Pagpapatakbo ng Pagsunod: Suriin ang AI mga natuklasan ng system at magbigay ng feedback para sa
• Mga End Customer: Makipag-ugnayan para sa karagdagang impormasyon kung kinakailangan ng pagpapabuti.

Coinbase re:Invent Review (IND3312)

Palawakin ang suporta, pagsunod at pagiging produktibo sa pakikipag-usap na AI

Customer Support Chatbot

• Higit sa 50% ng mga customer ang gustong makipag-chat bilang kanilang channel ng suporta.
• Magsanay sa malawak na base ng kaalaman ni Coinbase.
• Magbigay ng agaran, tumpak na tulong sa buong orasan, na umaangkop sa mga pagbabago sa merkado.

FAQ style RAG na tugon

• Mga simpleng tugon sa istilo ng FAQ upang i-automate ang mga karaniwang query (hal. mga tanong sa pag-log in, two-factor authentication).
• Tumutok sa katumpakan upang makabuo ng matatag na pundasyon.

Pinapabuti ng modelong Rerank ni Cohere ang kaugnayan sa paghahanap

• Semantically muling ayusin ang mga unang resulta ng paghahanap
• Pag-unawa sa mga query - konteksto ng dokumento, lampas sa mga keyword
• Sinusuportahan ang higit sa 100 mga wika
• Pangasiwaan ang kumplikadong data gaya ng JSON at code
• Pinahusay na retrieval enhancement generation (RAG) system
• Pagbutihin ang katumpakan ng paghahanap ng enterprise
• Magbigay ng mas mabilis na karanasan ng user
• Nagsisilbing isang malakas na tampok sa pangalawang yugto sa pipeline ng paghahanap
• I-rank ang mga resulta ng paghahanap sa keyword o vector ayon sa malalim na mga marka ng kaugnayan

Ang mga pangunahing tampok ng modelo ng Rerank ni Cohere.

• Rerank-v3.5: Makabagong pagganap, pinahusay na hinuha, at malawak na compatibility ng data (teksto, JSON, code).
• Rerank-english-v3.0: English na mga dokumento at semi-structured na data.
• Rerank-multilingual-v3.0: Para sa nilalamang hindi Ingles, sinusuportahan ang higit sa 100 mga wika.
• Rerank 3 Nimble: Binibigyang-priyoridad ang kahusayan at mas mababang latency, na angkop para sa mataas na dami ng mga kaso ng paggamit gaya ng paghahanap sa e-commerce, pagpapabuti

Rate ng conversion.

arkitektura ng cross-encoder

Isang modelo na magkasamang nagpoproseso ng iisang sequence ng dalawang input (gaya ng query at isang dokumento) gamit ang isang cross-attention na mekanismo sa pagitan ng lahat ng token.

mga hanay upang matukoy ang kanilang kaugnayan.

Pangunahing tampok

• pinagsamang pagproseso
• cross note
• iisang output
• Unang yugto (dual encoder)
• Pangalawang yugto (cross-encoder)

Proseso ng pagsunod

• Ipatupad ang KYC, KYB, at TMS.
• Lubhang umasa sa human resources at masusing pagsisiyasat.
• Ang detalyadong interpretability at ang kakayahang umangkop sa iba't ibang mga kinakailangan sa regulasyon sa mga bansa ay kinakailangan.

🛠Patakaran sa Pagsunod

• Gamitin ang panloob na platform upang ma-access ang LLM at data sa pamamagitan ng interface ng MCP.
• Naglalaman ng tradisyunal na modelo ng machine learning para matukoy ang mga kaso ng mataas na peligro sa pagsunod, na binuo sa platform ng AnyScale na ML.

Ray na hinimok ng scalability:

• I-optimize at pamahalaan ang Ray cluster.
• Mahusay na ilaan at sukatin ang libu-libong
• CPU at GPU.
• Makipagtulungan sa malalaking set ng data at kumplikadong mga modelo.

Ray AI library

• Ray Data: Para sa nasusukat na pagproseso ng data, lalo na angkop para sa hindi nakabalangkas na data gaya ng mga larawan, audio, at video.
• Ray Train: ginagamit para sa distributed model training, pagsasama ng
• PyTorch, PyTorch Lightning at Hugging Face
• Ray Tune: Isang scalable at fault-tolerant hyperparameter tuning at balangkas ng pagpapatupad ng eksperimento.

Mga transformer at iba pang mga balangkas.

• Ray Serve: Para sa pag-deploy at paghahatid ng mga modelo ng machine learning bilang isang scalable, programmable low-latency API.
• RLlib: Isang library ng pang-industriyang reinforcement learning na sumusuporta sa malawak na hanay ng mga application mula sa robotics hanggang sa pananalapi.

Compliance automatic resolution engine (CAR)

• Sa puso ng solusyon, nagsisilbing coordinator ng pangkalahatang proseso ng pagsusuri.
• I-mobilize ang automation at expertise ng tao sa mga workflow na hinimok ng ahente ng AI.

👥Paglahok ng tao sa proseso

Pakikipag-ugnayan sa dalawang karakter ng tao:

• Compliance Operations Agent: Sinusuri ang mga natuklasan mula sa mga AI system at nagbibigay ng feedback para sa mga pagpapabuti.
• End Client: Humingi ng karagdagang impormasyon kung kinakailangan.

2024: Pag-ampon at Pagsusukat

• Paglabas ng Amazon Bedrock at iba pang mga solusyon para sa secure na pag-access at pamamahala ng data.
• Nagsimulang gamitin ng mga customer ang AI sa mga pangunahing lugar tulad ng suporta sa customer.
• Inilipat ang pagtuon sa sukat, kapasidad, at granular na seguridad.
• Paggalugad ng paglalapat ng mahusay na arkitekto na mga balangkas sa AI para sa paglago sa hinaharap.
• 2025: Mga Advanced na AI Application
• Ang paglitaw ng mga multi-agent na autonomous na application.
• Layunin ng mga customer na baguhin ang mga pangunahing operasyon at departamento ng negosyo.
• Diin sa masusukat na epekto at mga KPI ng negosyo.
• Lumipat mula sa mga natatanging tool patungo sa pagbabago ng mga daloy ng trabaho ng customer at empleyado.

AWS Mga Serbisyo para sa Gen AI

AWS Mga Alok

• Mga pre-built na ahente para sa mabilis na pag-deploy.
• Eksperimento gamit ang mga open-source na tool.
• Pagbuo ng isang pasadyang ahente.
• Pagbibigay ng mga modelo, kasangkapan, imprastraktura, at kadalubhasaan.
• AI Imprastraktura at Mga Tool
• Matatag na imprastraktura ng AI, custom na silicon, at mga tool sa pundasyon ng data.
• Mga dekada ng karanasan sa secure, resilient, at globally scaled infrastructure.
• Mga advanced na kontrol para sa privacy ng data, pamamahala sa pag-access, pagsubaybay, at pagmamasid.
• AWS Transform
• Automation ng legacy workload modernization (hal., .NET frameworks, VMware).
• Mga ahente sa Amazon Connect at mga tool sa marketplace.
• Pamumuhunan sa mga interface, protocol, seguridad, at pagpapahusay ng network para sa AI.

Amazon Bedrock

Pangkalahatang-ideya ng Serbisyo

• Ganap na pinamamahalaang serbisyo para sa pagbuo, pag-deploy, at pagpapatakbo ng Gen AI na mga application.
• Access sa nangungunang mga modelo ng pundasyon (Anthropic, Meta, Mistral, Amazon) sa pamamagitan ng iisang API.
• Patuloy na pagdaragdag ng mga bagong modelo.
• Pag-customize at Kaligtasan
• Mga tool para sa pribadong pag-customize ng mga modelo at application na may data.
• Paglalapat ng mga guardrail sa kaligtasan, pag-optimize ng gastos, at pagbabawas ng latency.
• Mga kakayahan sa mabilis na pag-ulit.
• AgentCore:
• Set ng mga serbisyo para sa secure, nasusukat na pag-deploy at pagpapatakbo ng ahente.
• Inaalis ng kalikasan ng serverless ang mga pangangailangan sa pamamahala ng imprastraktura.

Mga Hamon sa Deployment ng Ahente

Gartner Hula

• Mahigit sa 40% ng agentic AI na mga proyekto ang hinuhulaan na kakanselahin sa 2027.
• Mga dahilan: lumalaking gastos, hindi malinaw na halaga ng negosyo, hindi sapat na seguridad.
• Mga Pangunahing Hamon
• Espesyal na Runtime: Kailangan ng isang runtime na kapaligiran hindi tulad ng mga karaniwang application.
• Stateless LLMs: Ang mga ahente ay nangangailangan ng memorya upang mapanatili ang konteksto at magbigay ng mga personalized na karanasan.
• Fine-Trained Identity: I-access ang kontrol upang matiyak na ang mga ahente ay nag-a-access lamang ng mga naaangkop na system at data.
• Pasadyang Pakikipag-ugnayan sa Tool: Pagtiyak na ang mga ahente ng AI ay makakatuklas at makikipag-ugnayan sa mga custom na tool at data source na may wastong mga kontrol sa pagkakakilanlan.

Mga Autonomous na Multi-Step na Workflow

• Kailangan ng mga ahente na magsagawa ng kumplikado, maraming hakbang na daloy ng trabaho nang nakapag-iisa.
• Kinakailangan para sa mga karaniwang tool sa mga workflow na ibinabahagi o pinaghihigpitan.
• Espesyal na Pagsubaybay
• Pangangailangan para sa mga sistema ng pagsubaybay na partikular na idinisenyo para sa agentic AI.
• Mga pagkakaiba sa pagitan ng prototyping at production deployment ng mga ahente.

Amazon Bedrock AgentCore

Modular at Mabilis na Pag-uulit na Diskarte

• Idinisenyo para sa pagbuo ng mga nasusukat na ahente ng produksyon.
• Agent Core Runtime
• Secure, walang server na runtime para sa pag-deploy at pag-scale ng mga dynamic na ahente at tool.
• Sinusuportahan ang iba't ibang mga framework, protocol, at mga pagpipilian sa modelo.
• Maaasahang pagpapatupad ng multimodal, real-time, at matagal nang tumatakbong mga ahente (hanggang 8 oras).
• Nagtatampok ng checkpointing at mga kakayahan sa pagbawi para sa magandang paghawak ng mga pagkaantala o pagkabigo.
• Agent Core Gateway
• Pinapadali ang pagsasama ng MCP server at APIs sa mga ahente.
• Nagbibigay ng kapangyarihan sa mga ahente gamit ang iba't ibang tool.
• Agent Core Browser at Code Interpreter
• Nagbibigay-daan sa mga ahente na kumilos nang awtonomiya sa browser o magsagawa ng code sa ilalim ng mga tinukoy na tuntunin at panuntunan.

Mga Kasangkapan sa Pagsuporta

Agent Core Identity

• Bumubuo ng mga ahente ng AI na handa sa negosyo na may mga tampok sa seguridad at pagkakakilanlan.
• Kasama ang mga pamantayang nakabatay sa pagpapatotoo, pagiging tugma sa mga kasalukuyang tagapagbigay ng pagkakakilanlan, at suporta ng OAuth.
• Nagtatampok ng secure na token vault para sa walang alitan na karanasan ng user.
• Agent Core Memory
• Nagbibigay-daan sa mga ahente na mag-imbak at kumuha ng maikli at pangmatagalang memorya para sa mga kumplikadong daloy ng trabaho.
• Pinapadali ang patuloy na paggamit ng input ng user at history sa shared memory.
• Pagmamasid
• Isinasentro ang observability stack para sa Gen AI, pinagsasama-sama ang mga log, bakas, at sukatan.
• Sinusukat ang pagganap at katumpakan sa sukat.

Paggamit ni Coinbase ng Generative AI

Crypto at Kalayaan sa Ekonomiya

• Ang Crypto ay nagbibigay ng kalayaan sa ekonomiya at patas na pakikilahok sa pandaigdigang ekonomiya.
• Ang misyon ni Coinbase ay palawakin ang kalayaan sa ekonomiya sa mahigit isang bilyong tao.
• Mga Pangunahing Haligi sa Coinbase
• Pagbuo ng Tiwala
• Pag-iingat sa mga asset ng mga user na may pinakamataas na antas ng seguridad.
• Pagpapatupad ng matibay na proteksyon laban sa panloloko at pagkuha ng account.
• Ginagawang Naa-access ang Crypto
• Pagdidisenyo ng mga intuitive at personalized na karanasan gamit ang AI at machine learning.
• Pinapasimple ang mga kumplikadong produkto sa pananalapi.
• Pag-scale sa buong mundo
• Gumaganap nang mahusay at mabilis upang suportahan ang milyun-milyong user sa 100+ na bansa.
• Pamamahala ng bilyun-bilyong dolyar sa dami ng kalakalan.

Paglalakbay ng User at ML Application

Seguridad sa Pag-login

• Ang mga modelo ng ML ay nagtatanggol laban sa mga pagkuha ng account sa panahon ng pag-login ng user.
• Conversion ng Fiat sa Crypto
• Sinusuri ng mga modelo ng ML ang pagiging lehitimo ng mga user at ang panganib ng mga credit default kapag naglilipat ng pera sa crypto exchange.
• Funds Transfer sa Blockchain
• Tinatasa ng mga modelong ML ang mga panganib ng pagbabalik-tanaw bago maglabas ng mga pondo sa blockchain.
• Pag-personalize ng Karanasan ng User
• ML-Powered Personalization
• Mga personalized na resulta ng paghahanap, iniangkop na mga news feed, intuitive na rekomendasyon, at real-time na mga alerto sa presyo.
• Paggamit ng mga advanced na modelo ng deep learning na sinanay sa napakalaking dataset.
• Adaptive Risk Scoring System
• Binuo gamit ang mga graph neural network para makakuha ng mga address ng blockchain.
• Tinutukoy at hinaharangan ang mga nakakahamak na address ng blockchain, pinoprotektahan ang mga customer.
• ERC20 Scam Token Detection
• Pinagsasama ang smart contract auditing at machine learning.
• I-review ang mga asset bago ilista sa exchange, na nagbibigay ng karagdagang proteksyon sa customer.

Predictive na Modelo ng Machine Learning

Pagkasumpungin ng Crypto Market

• Ang mga merkado ng Crypto ay lubhang pabagu-bago, na nangangailangan ng maaasahang imprastraktura.
• Mga Hulang Modelo
• Ginagamit upang sukatin ang mga database ng backend bago mangyari ang mga surge, na tinitiyak ang maaasahang pagganap sa panahon ng pagkasumpungin ng merkado.

Bagong Henerasyon ng AI Investments

Malaking Modelo ng Wika (LLMs)

• Ang pagbabagong epekto mula noong Nobyembre 2022, na minarkahan ang isang makasaysayang sandali sa AI.
• Mga Pangunahing Lugar ng Aplikasyon
• Suporta sa Customer: AI-pinagana ang mga virtual assistant at advanced na tool para sa mga ahente ng tao.
• Pagsunod: Ang Generative AI (GenAI) ay nag-streamline ng mga kumplikadong pagsisiyasat at nag-navigate sa mga regulatory landscape.
• Produktibo ng Developer: Pagpapabuti ng pagiging produktibo ng developer sa Coinbase.
• Mga Hamon sa Crypto Customer Support
• Volatility: Maaaring magbago ang aktibidad ng user nang hanggang 50% sa loob ng isang buwan, na nangangailangan ng mga scalable na support system.
• Tiwala: Kailangang makaramdam ng ligtas at suportado ang mga customer anuman ang kundisyon ng merkado.
• Mga Pandaigdigang Operasyon: Pagsuporta sa mga user sa iba't ibang wika, regulasyon, at inaasahan.

GenAI Diskarte

• Panloob na GenAI platform na nagsasama ng maramihang LLMs at data source sa pamamagitan ng mga karaniwang interface (OpenAI API na pamantayan
• at Model Context Protocol).
• Lalim
• Mga naka-target na pamumuhunan sa mga lugar na may mataas na epekto sa loob ng suporta sa customer:
• Pag-automate ng mga daloy ng trabaho na nakaharap sa customer gamit ang mga chatbot sa pakikipag-usap.
• Pagbibigay ng mga ahente ng suporta sa tao ng mga matatalinong tool upang mapabuti ang pagiging epektibo.
• Pagkuha ng mahahalagang insight mula sa mga support ticket para patuloy na mapahusay ang mga produkto at serbisyo.
• Use Cases
• Ang mga customer ay nangangailangan ng tulong, na nagpapasimula ng isang ikot ng mga pakikipag-ugnayan sa suporta na pinahusay ng GenAI.

Chatbot para sa Suporta sa Customer

• Higit sa 50% ng mga customer ang mas gusto ang chat bilang kanilang channel ng suporta.
• Sinanay sa malawak na base ng kaalaman ni Coinbase.
• Nagbibigay ng madalian, tumpak na tulong sa buong orasan, na umaangkop sa pagkasumpungin ng merkado.

Pag-unlad ng Chatbot

FAQ Estilo RAG Mga Tugon

• Simple, FAQ-mga istilong tugon upang i-automate ang mga karaniwang query (hal., mga isyu sa pag-sign-in, two-factor na pagpapatotoo).
• Nakatuon sa katumpakan upang makabuo ng matibay na pundasyon.

Ahenteng Arkitektura

Input ng User at Kasaysayan ng Pag-uusap

• Naka-imbak sa isang vector database na nagsisilbing memory layer.
• RAG Retriever
• Gumagamit ng Bedrock na mga base ng kaalaman upang mag-vector at mag-imbak ng Coinbase mga artikulo ng tulong.
• Gumagamit ng mga modelo ng rerank ni Cohere para sa mataas na katumpakan sa mga nakuhang artikulo.
• Pagbuo ng Tugon
• Pinaghalong LLMs, kabilang ang mga modelo ng ulap na inihatid sa pamamagitan ng Bedrock.
• Kinasasangkutan ng isang sub-agent na binuo sa isang actor-critic architecture para sa tumpak na pagbuo ng tugon.
• Mga guardrail
• Input at output guardrails na pinapagana ng Bedrock guardrails.
• Pinoprotektahan laban sa mapaminsalang nilalaman at sensitibong PII pagtagas.
• Custom na mga filter na partikular sa domain upang mabawasan ang agarang pag-iniksyon.
• Mga custom na panuntunan para panatilihing grounded ang mga tugon at bawasan ang mga guni-guni.

Susunod na Layer ng Pag-unlad

• Industriya at LLM Capability Evolution
• Pagkilala sa pangangailangang makamit ang higit sa paunang RAG layer.

Pinahusay ng modelo ng Rerank ni Cohere ang kaugnayan sa paghahanap

• Semantically muling ayusin ang mga unang resulta ng paghahanap
• Nauunawaan ang konteksto ng query-document na lampas sa mga keyword
• Sinusuportahan ang higit sa 100 mga wika
• Pinangangasiwaan ang kumplikadong data tulad ng JSON at code
• Pinapabuti ang mga system ng
• Retrieval-Augmented Generation (RAG).
• Pinapataas ang katumpakan ng paghahanap ng enterprise
• Nagbibigay ng mas mabilis na karanasan ng user
• Gumagana bilang isang malakas na pangalawang yugto sa mga pipeline ng paghahanap
• Pinag-uuri-uri ang mga resulta mula sa paghahanap sa keyword o vector ayon sa malalim na mga marka ng kaugnayan
• Mga Pangunahing Tampok at Modelo
• Rerank-v3.5: makabagong pagganap, pinahusay na pangangatwiran, at malawak na pagkakatugma ng data (teksto, JSON, code).
• Rerank-english-v3.0: English na mga dokumento at semi-structured na data.
• Rerank-multilingual-v3.0: Para sa nilalamang hindi Ingles, na sumusuporta sa mahigit 100 wika.
• Rerank 3 Nimble: Unahin ang kahusayan at mas mababang latency para sa mataas na dami ng mga kaso ng paggamit tulad ng paghahanap sa e-commerce, pagpapabuti ng mga rate ng conversion.
• Paano Sila Gumagana
• Input: Isang query ng user at isang paunang listahan ng mga dokumento (mula sa paghahanap ng keyword tulad ng Elasticsearch o isang vector search).
• Pagproseso: Ang modelong Rerank, gamit ang isang cross-encoder na arkitektura, ay magkatuwang na nagpoproseso ng query at bawat dokumento upang maunawaan ang kanilang semantic na relasyon.
• Output: Isang nakaayos na listahan ng mga dokumento, ang bawat isa ay nagtalaga ng marka ng kaugnayan, na may pinakakaugnay na mga resulta ayon sa konteksto sa itaas.
• Use Cases at Benepisyo
• Pinahusay na Paghahanap sa Enterprise: Pinapalabas ang lubos na nauugnay na impormasyon mula sa kumplikadong panloob na data (mga invoice, code).
• Pinahusay na RAG System: Tinitiyak ang makatotohanang saligan sa pamamagitan ng pagbibigay ng pinakanauugnay na mga snippet sa LLMs.
• Multilingual Application: Semantic na paghahanap sa iba't ibang wika.
• Pagbawas sa Gastos at Kumplikalidad: Madaling isinasama sa mga umiiral nang stack ng paghahanap (hal., Elasticsearch) sa pamamagitan ng isang API na tawag, pagdaragdag ng semantic power nang walang ganap na pag-overhaul.

Cross-encoder arkitektura

• Isang modelo na nagpoproseso ng dalawang input (tulad ng isang query at isang dokumento) nang magkasama sa isang pagkakasunud-sunod, gamit ang mga mekanismo ng cross-attention sa pagitan ng lahat ng mga token upang matukoy ang kanilang kaugnayan.
• Mga Pangunahing Katangian
• Pinagsamang Pagproseso: Ang pangunahing tampok ay ang query at ang dokumento ng kandidato ay pinagsama sa iisang input sequence, na pinaghihiwalay ng isang espesyal na token.
• Cross-Attention: Sa loob ng mga layer ng transformer, ang mekanismo ng self-attention ng modelo ay maaaring direktang ihambing ang bawat token sa query sa bawat token sa dokumento. Ang pinong pakikipag-ugnayan na ito ay nagbibigay-daan para sa isang malalim, nuanced na pag-unawa sa kanilang relasyon at kaugnayan sa semantiko.
• Single Output: Karaniwang naglalabas ang modelo ng isang solong marka ng kaugnayan (hal., isang numero sa pagitan ng 0.0 at 1.0) para sa pares, kadalasang ginagamit ang pag-embed mula sa token na ipinasa sa isang layer ng pag-uuri.
• Tungkulin sa Modernong AI System:
• Pangunahing naka-deploy ang mga ito bilang mga re-ranker sa isang dalawang yugtong proseso ng pagkuha, partikular sa mga system ng
• Retrieval-Augmented Generation (RAG):
• Unang Yugto (Bi-encoder): Ang isang mabilis, mahusay na modelo ng bi-encoder ay mabilis na nagpapaliit ng malawak na corpus ng mga dokumento sa isang mas maliit, napapamahalaang listahan ng mga potensyal na nauugnay na kandidato (hal., ang nangungunang 100).
• Ikalawang Yugto (Cross-encoder): Ang cross-encoder pagkatapos ay maingat na muling susuriin at muling niraranggo ang mas maliit na subset ng mga kandidato na may mataas na katumpakan, tinitiyak na ang pinakatumpak at naaangkop na mga resulta sa konteksto ay ipapakita sa panghuling LLM para sa pagbuo ng tugon.

Layer ng Pamamaraan sa Negosyo

• Pinahusay na Mga Kakayahang Chatbot
• Habang bumuti ang mga kakayahan ng LLM, pinahusay ang chatbot upang masunod ang mga pamamaraan ng negosyo nang awtomatiko.
• Nangongolekta ng impormasyon sa pakikipag-usap at nagsasagawa ng mga direktang aksyon sa ngalan ng user.
• Ang mga pamamaraan sa negosyo ay nagsisilbing isang pinagmumulan ng katotohanan, na ginagamit ng mga tao at AI na ahente.
• Nag-automate ng mga query tungkol sa mga user account at mga nakabinbing transaksyon.

Ahenteng Arkitektura

• Pagpapakilala ng Business Procedure Classifier.
• Nagruruta ng mga query sa tamang sub-agent na tumutulad sa mga partikular na pamamaraan ng negosyo.
• RAG na ahente bilang isang espesyal na sub-agent na nagsasagawa ng mga pamamaraang kinasasangkutan ng RAG knowledge base.

Layer para sa Proactive na Pagresolba ng Isyu (Mga Kakayahang Umasa nang Maaga)

• Inaasahan ng mga ahente ng AI ang mga karaniwang problema ng user gamit ang mga signal ng user at aktibong insidente sa platform.
• Ang proactive na layer ng paglutas ng isyu ay idinagdag sa ahenteng disenyo.
• Ang mga proactive na ahente ay bumabalik sa business procedure classifier kung walang nakitang proactive na resolution.
• Pag-access ng data para sa mga aktibong ahente na pinapagana sa pamamagitan ng mga standardized na MCP server.

Pangunahing Prinsipyo ng Disenyo

Pagpili ng Modelo

• Balanseng diskarte na isinasaalang-alang ang katumpakan, latency, at scalability.
• Patuloy na muling pagsusuri habang nagbabago ang mga kakayahan ng modelo.
• Standardisasyon ng Tool
• Standardisasyon ng pag-access ng tool sa pamamagitan ng
• Model Context Protocol (MCP).
• Matibay na pundasyon para sa suporta sa customer at iba pang mga domain.
• Kakayahang umangkop sa Negosyo
• Nag-iisang pinagmumulan ng katotohanan para sa mga pamamaraan ng negosyo na nagpapagana sa mga tao at AI.
• Pinahusay na kakayahang umangkop sa negosyo.
• Mga Mababang Tugon
• Pagbibigay-diin sa katotohanang kawastuhan sa mga tugon.

Pagsubaybay at Pagsusuri

• LLM as a Judge Mga Pagsusuri
• Pagtatasa ng mga tugon sa chatbot para sa kaugnayan, katumpakan, potensyal na bias, guni-guni, at higit pa.
• Aktibong pagsubaybay sa mga sukatan at trend ng kalidad upang mabilis na matukoy ang mga anomalya.

Tool sa Tulong ng Ahente

Layunin

• Idinisenyo upang tulungan ang mga ahente ng suporta sa customer ng tao na humawak ng mga kumplikadong isyu.
• Nagbibigay ng real-time na tulong para sa pag-diagnose at pagpapagaan ng mga isyu sa customer.
• Mga tampok
• Gumuhit mula sa mga signal ng account, patuloy na data ng insidente, at mga nakaraang customer support ticket.
• Nag-aalok ng personalized na gabay at bumubuo ng mga tumpak na tugon sa maraming wika.
• Epekto
• Mas mabilis na mga resolusyon, mas masayang customer, at pinahusay na kahusayan para sa mga team ng suporta.
• Halos 65% ng mga contact ng customer ay awtomatikong pinangangasiwaan ng AI system.
• Taunang pagtitipid ng halos 5 milyong oras ng empleyado at makabuluhang pagtitipid sa gastos.
• 65% ng mga automated na kaso ay nareresolba sa iisang pakikipag-ugnayan, na nagpapahusay sa karanasan ng user.

Kahalagahan ng Pagsunod

• Kritikal para sa isang fintech na entity tulad ng Coinbase na itaguyod ang mga pamantayan sa AML/CFT (Anti-Money
• Laundering/Countering Terrorist Financing).
• Pangako sa pagpigil sa mga malpractice sa platform.
• Mga Proseso ng Pagsunod
• Pagpapatupad ng KYC, KYB, at TMS.
• Malakas na pag-asa sa human resources at masusing pagsisiyasat.
• Kailangan ng detalyadong pagpapaliwanag at kakayahang umangkop sa magkakaibang mga kinakailangan sa regulasyon sa mga bansa.
• Diskarte para sa Pagsunod
• Gamitin ang panloob na platform para sa pag-access ng LLMs at data sa pamamagitan ng MCP na mga interface.
• Pagsasama ng isang tradisyunal na modelo ng machine learning para matukoy ang mga kaso ng pagsunod na may mataas na peligro, na binuo sa AnyScale-based na ML platform.
• Lalim
• Mga advanced na modelo ng deep learning para sa pag-detect ng mga high-risk na kaso sa
• KYC, KYB, at TMS.
• Automation at acceleration ng mga kumplikadong pagsisiyasat sa pamamagitan ng AI.
• Pagtitipon at pag-synthesize ng data mula sa iba't ibang source para sa mahigpit na pagsisiyasat sa mga daloy ng trabaho sa pagsunod.

Tool na Pantulong sa Pagsunod

Layunin

• Pantulong na tool para sa mga ahente sa pagsunod, na kahalintulad sa tool ng tulong ng ahente ng suporta sa customer.
• Mga tampok
• AI-pinagana ang pangangalap at synthesis ng impormasyon mula sa mga panloob na system at open-source intelligence.
• Komposisyon ng buod ng salaysay at malinaw na signal ng pagsusuri sa panganib.
• Nagbibigay sa mga ahente ng pagsunod ng isang ganap na dokumentado, maipaliwanag na pagsisiyasat para sa mahusay na kaalaman, tiwala sa paggawa ng desisyon.
• Epekto
• Empowerment ng compliance teams at elevation ng compliance operation standards.

Scalability na Pinapagana ng Ray

• Ino-optimize at pinamamahalaan ang Ray na mga cluster.
• Mahusay na pamamahagi at pag-scale sa libu-libong
• CPUs at GPUs.
• Pinangangasiwaan ang napakalaking dataset at kumplikadong mga modelo.
• Pinag-isang Karanasan ng Developer:
• Naka-streamline na daloy ng trabaho mula sa eksperimento hanggang sa produksyon.
• Mga interactive na console ng pagpapaunlad.
• Mga built-in na IDEs.
• Mga tool para sa pag-debug ng mga ipinamamahaging workload.
• Naglalayong mapabilis ang pagiging produktibo ng developer.
• Kahandaan sa Produksyon:
• Nagdaragdag ng mga feature na pang-enterprise sa itaas ng Ray.
• Advanced na pagmamasid.
• Pamamahala ng data.
• Pagsubaybay sa gastos.
• Matatag na mga tool sa pangangasiwa.
• Tinitiyak ang pagiging maaasahan, seguridad, at pagganap ng mga modelo ng ML.
• Cloud Agnostic Deployment:
• Sinusuportahan ang deployment sa iba't ibang cloud provider
• (AWS, Google Cloud).
• Sinusuportahan ang on-premise na Kubernetes cluster.
• Nagbibigay-daan sa mga organisasyon na gamitin ang kasalukuyang imprastraktura.
• Pinapanatili ang kontrol sa data at mga mapagkukunan.
• Mga Pag-optimize at Pagsasama:
• Kasama ang mga pag-optimize para sa pagganap at pagbabawas ng gastos.
• Mga pagsasama sa mahahalagang ML na tool:
• Weights & Biases para sa pagsubaybay sa eksperimento.
• Astronomer para sa orkestrasyon ng daloy ng trabaho (gamit ang
• Apache Airflow).
• Tumutok sa AI Demokratisasyon:
• Pinapasimple ang mga kumplikado ng distributed computing.
• Nilalayon na gawing mas naa-access ang mga advanced na AI at ML na kakayahan.
• Ray AI Mga Aklatan
• Ray Data: Para sa nasusukat na pagproseso ng data, partikular na angkop para sa hindi nakabalangkas na data tulad ng mga larawan, audio, at video.
• Ray Train: Para sa distributed model training, na may mga integrasyon para sa mga framework tulad ng
• PyTorch, PyTorch Lightning, at Hugging Face Transformers.
• Ray Tune: Isang framework para sa scalable at fault-tolerant hyperparameter tuning at execution ng eksperimento.
• Ray Serve: Para sa pag-deploy at paghahatid ng mga modelo ng machine learning bilang scalable, programmable APIs na may mababang latency.
• RLlib: Isang library sa antas ng industriya para sa reinforcement learning, na sumusuporta sa malawak na hanay ng mga application mula sa robotics hanggang sa pananalapi.

Ahensyang Arkitektura para sa Pagsunod

Pagsisimula

• Magsisimula ang proseso kapag ang mga modelo ng panganib sa pagsunod sa malalim na pag-aaral ay nag-trigger ng mga alerto sa mga kaso na may mataas na panganib.
• Nagsisimula ng isang holistic na pagsusuri, isang komprehensibong pagsisiyasat ng mga kaso ng mataas na panganib sa pagsunod.
• Compliance Auto Resolution Engine (CAR)
• Sentral sa solusyon, na kumikilos bilang orkestra para sa proseso ng holistic na pagsusuri.
• Pinapakilos ang parehong automation at kadalubhasaan ng tao sa isang agentic AI-driven na workflow.
• Human-in-the-Loop Proseso
• Pakikipag-ugnayan sa dalawang persona ng tao:
• Mga Ahente ng Pagpapatakbo ng Pagsunod: Suriin ang AI mga natuklasan ng system at magbigay ng feedback para sa pagpapabuti.
• Mga End Customer: Makipag-ugnayan para sa karagdagang impormasyon kung kinakailangan.
• Pagsasama-sama at Synthesis ng Data
• Pinagsasama-sama at sini-synthesize ng engine ang data mula sa iba't ibang pinagmulan (internal, external, open-source intelligence) sa pamamagitan ng standardized MCP data connectors.
• Mga resulta sa isang matatag na AI-na nabuong ulat na tinatawag na buod ng salaysay.
• Pangwakas na Desisyon
• Sinusuri ng human compliance operations agent ang pangangatwiran at katibayan ng pagsunod ni AI.
• Tinutukoy kung ang isang kaso ay nangangailangan ng paghahain ng kahina-hinalang ulat ng aktibidad sa mga awtoridad ng gobyerno.

Produktibo ng Developer

AI sa SDLC

• Tinutulungan ng mga ahente ng AI ang mga engineering team sa iba't ibang yugto ng ikot ng buhay ng pagbuo ng software (SDLC).
• Pinagsasama-sama ang mga gawain tulad ng coding, ticketing, pagdodokumento, paggawa ng pull request, at pagsusuri ng mga pull request.
• Mga Pokus na Lugar
• Pagsulat ng Code
• Pagsusuri ng Code
• Pagtiyak sa Kalidad

Mga Tool sa Pag-akda ng Code

Cloud Code

• Ang makabagong coding assistant na direktang nagsasama sa IDEs o command line.
• Cursor
• Idinisenyo ang matalino, alam sa konteksto IDE para sa mas mabilis, mas collaborative, at mahusay na pagbuo ng software.
• Inaalok bilang isang opsyon para sa mga developer na pumili batay sa kanilang mga kagustuhan.
• Mga Modelong Pagpapalakas
• Mga tool na pinapagana ng Anthropic na mga modelong inihatid sa pamamagitan ng Bedrock.

Pull Request at Code Reviewing

Kasangkapan sa Bahay

• Iniangkop mula sa isang open-source na tool at pinahusay ng mga modelo mula sa Bedrock.
• Ipinatupad bilang isang AI-powered GitHub na pagkilos upang i-automate ang PR review.
• Kahulugan:
• Ang "Homegrown Tool" ay software, application, o solusyon na binuo sa loob ng isang kumpanya o komunidad upang matugunan ang mga partikular at natatanging problema.
• Diskarte sa Pag-unlad:
• Madalas na ginawa gamit ang mga custom na script.
• Gumagamit ng mga kasalukuyang platform tulad ng Visio o Excel.
• Iniiwasan ang pag-asa sa mga produktong wala sa istante.
• Mga tampok
• Nagbubuod ng mga pull request at pinagbabatayan na mga pagbabago sa code.
• Bumubuo ng malinaw na natural na mga komento sa pagsusuri sa wika.
• Nagpapatupad ng mga coding convention.
• Itinatampok ang mga puwang sa saklaw ng pagsubok ng unit.
• Nagbibigay ng mga tip para sa mga pagkabigo sa pag-debug ng CI.
• Epekto
• Nag-automate ng mga nakagawiang aspeto ng pagsusuri ng code, na nagbibigay-daan sa mga developer ng tao na tumuon sa mga nuanced na aspeto at maghatid ng mas mataas na halaga.

Pagtiyak sa Kalidad

Automated na Tool sa UI Testing

• Homegrown AI-powered tool para sa end-to-end quality assurance automation para sa web at mobile UI.
• Kino-convert ang mga natural na paglalarawan ng pagsubok sa wika sa mga autonomous na pagkilos ng browser.
• Mga tampok
• Nagsasagawa ng mga pagkilos sa browser sa iba't ibang form factor gamit ang mga serbisyo tulad ng BrowserStack.
• Ginagaya ang mga pagkilos ng browser sa pamamagitan ng mga framework tulad ng Playwright.
• Mga Benepisyo
• Nagbibigay-daan sa pagsubok sa UI tulad ng ginagawa ng isang tao, na nagpapahusay sa pagiging epektibo ng mga proseso ng pagtiyak ng kalidad.

Epekto ng AI sa Produktibo ng Developer

Pagbuo ng Code

• Halos 40% ng lahat ng code na nakasulat araw-araw sa Coinbase ay AI-nabuo o AI-naimpluwensyahan.
• Layunin na malampasan ang 50% sa lalong madaling panahon, na nangangailangan pa rin ng pagsusuri at pag-unawa ng tao.
• Mga Automated PR Review
• Tinatayang taunang matitipid na humigit-kumulang 75,000 oras.
• Itinataas ang kalidad ng code sa pamamagitan ng pagpapatupad ng mga coding convention.
• Quality Assurance
• Nakakamit ng AI-powered UI testing tool ang katumpakan sa par sa mga human tester.
• Nakatuklas ng tatlong beses na mas maraming mga bug kaysa sa isang tao sa parehong tagal ng oras.
• Kapansin-pansing pinapabilis ang proseso ng pagpapakilala ng mga bagong pagsubok (kasing liit ng 15 minuto).
• 86% na pagbawas sa gastos kumpara sa tradisyonal na manu-manong pagsubok.