Pagbabalik-tanaw sa AWS re:Invent

Pagbuo ng Hinaharap na Platform ng Trading na Gumagamit ng AI at AWS

Serye ng Pagbabalik-tanaw

Mga Tala ng Sesyon

Pagbuo ng hinaharap na platform ng kalakalan sa paggamit ng AI at AWS

(tinatampok ang LPL Financial) (itinampok ni Cognizant)

Panimula ng Sesyon

  • Pag-modernize at pagbuo ng susunod na henerasyong platform ng kalakalan
  • Kahalagahan ng bilis, sukat, katatagan, at katalinuhan sa pamamahala ng kayamanan
  • Pangkalahatang-ideya ng agenda ng session Pangkalahatang-ideya ng industriya ng pamamahala ng yaman:
  • Kahulugan at pangunahing layunin ng pamamahala ng kayamanan
  • Laki ng industriya: $144 trilyong asset sa ilalim ng pamamahala, 300,000 financial advisors, 68 milyong kliyente
  • Generational wealth transfer: $100 trilyong asset na lumilipat mula sa mga baby boomer patungo sa tech-savvy na susunod na henerasyon

Panimula sa LPL Financial

  • Ang posisyon ni LPL bilang isang kumpanya ng Fortune 500 at ang nangungunang broker-dealer sa bansa
  • Ang modelo ng negosyo ni LPL at kasalukuyang mga platform ng kalakalan Paliwanag ng isang independiyenteng broker-dealer:
  • Isang kumpanya na nagpapahintulot sa mga tagapayo sa pananalapi na magpatakbo ng kanilang sariling mga negosyo habang nagbibigay ng kinakailangang suporta (teknolohiya, mga operasyon, pagsunod, atbp.) Ang posisyon ni
  • LPL Financial:
  • 32,000 tagapayo sa pananalapi
  • $2.3 trilyong asset sa ilalim ng pamamahala ng LPL's customer-centric approach:
  • Misyon: Upang matulungan ang mga kliyente na magtagumpay sa bawat hakbang
  • Vision: Upang maging pinakamahusay na wealth management firm Mga kinakailangan sa teknolohiya para makamit ang vision ni LPL:
  • Adaptive, cutting-edge, future-ready na teknolohiya Kahulugan ng pangangalakal sa LPL:
  • Connective tissue para sa mga financial advisors sa merkado Behind-the-scenes trading process:
  • Daan-daang mga system na may mataas na pagganap na gumagana nang sabay-sabay
  • 2,000+ tseke na tumatakbo sa sub-milliseconds
  • Pag-asa sa maraming kasosyo (mga sentro ng merkado, mga organisasyon ng fintech) Mga inaasahan ng user para sa pangangalakal:
  • Mga ligtas na pangangalakal
  • Palaging naka-on na mga sistema
  • Mga instant, malapit na real-time na tugon
  • Cost-effective na kalakalan Mga layunin sa teknolohiya upang makamit ang mga layunin ng negosyo:
  • Walang mga insidente sa seguridad
  • 100% na pagsunod
  • Ultra-resilient, palaging naka-on na mga system na may mabilis na pagbawi
  • Mga sistema ng pangangalakal na idinisenyo para sa pinakamataas na dami ng Cloud journey:
  • Paulit-ulit at incremental na proseso, hindi isang big bang migration
  • Analogy: Pagbuo ng skyscraper (pundasyon, core, kuryente, pagtutubero, mga automation)
  • Hanggang 2024: Pag-migrate ng mga proseso mula sa mga on-prem na data center patungo sa cloud, pagpapatakbo ng mga kritikal na system sa EKS, paggamit ng AI at machine learning algorithm
  • 2024 focus: Auto scaling at decoupling platform para sa mas mahusay na scalability
  • Mga plano sa hinaharap: Pagpapahusay sa katatagan ng platform, paglipat mula sa multi-availability zone patungo sa multi-region, multi-availability zone, pagbabawas ng on-prem dependencies

Kasalukuyang arkitektura ng estado

  • On-prem data center at multi-availability zone sa cloud
  • Mga workflow na idinisenyo upang makipagkamay sa pagitan ng on-prem at cloud Kasalukuyang mga bahagi ng arkitektura ng estado mula sa AWS:
  • S3 bucket para sa layer ng presentasyon at pag-render ng nilalaman
  • EKS Kubernetes para sa walang server na disenyo at auto-scaling/self-healing architecture
  • Postgres SQL para sa mga relational na pangangailangan at mataas na transaction throughput
  • Dynamo DB para sa mga database ng dokumento (karamihan ay binabasa ang mga kaso ng paggamit)
  • Memory DB para sa mababang latency, mataas na pag-compute sa mga proseso sa memorya
  • Kafka bilang isang broker ng mensahe upang mabawasan ang mga cascading dependencies at pagkabigo
  • SageMaker para sa machine learning algorithm at AI use case
  • CloudWatch para sa instrumentation at end-to-end observability Mga layunin ng susunod na gen na arkitektura:
  • Alisin ang on-prem dependency para sa tier one na kritikal na application
  • Gamitin ang buong kapangyarihan ng cloud para sa end-to-end na resiliency at mas simpleng failover
  • Paglipat sa isang aktibo, aktibong multi-rehiyon na kapaligiran
  • Mga Hamon: Tinitiyak ang pagkakapare-pareho ng data sa mga rehiyon at pagsasaayos ng mga kahilingan sa pagitan ng maraming rehiyon sa isang aktibo, aktibong paraan
  • Potensyal na solusyon: Paggamit ng Aurora DB para sa katutubong multi-region na suporta Pag-ampon ng susunod na gen na arkitektura:
  • Bedrock kasama ng SageMaker para sa mas mahusay na pagsasama ng Gen AI at LLM sa mga pangunahing daloy ng trabaho
  • Mas madaling learning curve gamit ang Bedrock

Kaso ng paggamit: Klein Works Rebalancer

  • Ang flagship homegrown trading platform ng LPL
  • Batay sa mga modelong nakabatay sa prinsipyo ng kalakalan
  • Ang mga tagapayo ay gumagawa ng mga portfolio para sa mga kliyenteng may iba't ibang pangangailangan sa pamumuhunan, layunin, at profile ng panganib
  • Ang mga merkado ay palaging nagbabago, na nagiging sanhi ng mga portfolio na lumihis mula sa kanilang nilalayon na diskarte
  • Ang pangkalakal na nakabatay sa mga modelo ay awtomatiko ang proseso ng pagsasaayos ng mga portfolio upang matugunan ang mga layunin ng kliyente
  • Isa-sa-maraming relasyon mula sa modelo hanggang sa mga account
  • Nangyayari ang pangangalakal sa mga modelo, hindi sa mga indibidwal na account
  • Gumagawa ang Client rebalancer ng milyun-milyong drift checks nang magkatulad, awtomatikong nagsasagawa ng mga trade, at ganap na sumusunod
  • Analogy: Ang Client rebalancer ay parang GPS na nagre-recalibrate batay sa mga pattern ng trapiko
  • Kasalukuyang ginagamit ng 14,000 tagapayo sa 32,000 sa
  • LPL Financial
  • Incremental na rollout sa nakalipas na 5 taon
  • Mahigit sa 70 milyong trade ang naisagawa sa platform
  • Isang milyong drift check ang ginagawa araw-araw

Kaso ng paggamit: Klein Works Rebalancer

  • pinapagana ng AWS para sa hyperscaling
  • Ang bawat trade sa platform ay nagsasagawa ng 50+ na pagsusuri (mga detalye ng account, presyo sa merkado, paglilisensya, mga panuntunan sa pagsunod, atbp.)
  • Libu-libong trade sa daan-daang account at adviser ang nagreresulta sa daan-daang libong dami ng kalakalan kada minuto Disenyo ng platform:
  • Ang mga kahilingan sa rebalance mula sa mga tagapayo ay natatanggap ng isang orkestra
  • Hinahati-hati ng Orchestrator ang malalaking kahilingan sa rebalance sa mas maliliit na mini-batch
  • Ang mga mini-batch ay ipinapadala sa Kafka, na ginagarantiyahan ang paghahatid
  • Gumagana ang algorithm ng rebalance sa isang EKS cluster na idinisenyo para sa awtomatikong pag-scale
  • Ang algorithm ay independyente at sinusukat batay sa CPU, paggamit ng memorya, at Kafka lalim ng queue na pagpapatunay bago ang kalakalan:
  • Higit sa 200 mga pagsusuri ang ginagawa upang matukoy kung ang isang kalakalan ay maaaring isagawa
  • Ginagamit ang in-process na caching para sa agarang millisecond na feedback sa validity ng trade
  • Ang mga di-wastong trade ay ibinabalik sa pila at hindi na naproseso ng karagdagang
  • Parallelization at CQRS:
  • 60+ code microservices at mga tawag sa database ay pinagsama-sama sa dependency map at tumatakbo nang magkatulad
  • Command Query Responsibility Segregation (CQRS) paradigm ay inilapat
  • Ang mga pagsusulat ay na-optimize para sa isang server, naka-batch, at naka-buffer para mabawasan ang mga hit sa database
  • Ang mga pagbabasa ay na-optimize para sa mga nabasang pagkakataon dahil sa mas mataas na dami ng nabasa at naka-cache na nasa memorya gamit ang AWS Memory DB Adaptive scaling sa mga nabasang pagkakataon:
  • Dahil sa mabigat na pagbabasa ng system, inilalapat ang adaptive scaling sa mga instance ng pagbabasa
  • Awtomatikong nagsusukat ang EKS, at ang mga pagbabasa ay idinisenyo upang awtomatikong masukat pati na rin End-to-end observability na may CloudWatch:
  • Ang bawat kalakalan ay itinalaga ng isang ugnayan ID para sa ganap na traceability
  • Ang CloudWatch ay ginagamit para sa pagsubaybay at pag-log
  • Ang system ay idinisenyo upang alertuhan ang sarili at pagalingin ang sarili Synthetics:
  • Ginagawa ang mga sintetikong transaksyon upang gayahin ang mga pagkilos ng tagapayo
  • Ang mga transaksyong ito ay paulit-ulit na pinapatakbo sa system upang matukoy ang mga potensyal na isyu bago maapektuhan ang mga user
  • Pinangangasiwaan ng system ang libu-libong transaksyon sa bawat segundo at nakakita ng halos isang milyong transaksyon sa panahon ng peak volume AI na mga kaso ng paggamit sa LPL:
  • Mas gusto ang human-in-the-loop na diskarte, kung saan kinokontrol ng mga tagapayo ang AI-mga iminungkahing resulta at matalinong rekomendasyon Sitwasyon ng paggamit: Market center outage detection
  • Ang mga market center ay maaaring makaranas ng kabagalan, mga hamon, o pagkawala, na humahantong sa mga isyu sa pagpapatakbo at mga duplicate na order
  • Layunin: Upang matukoy ang mga pagkawala ng market center nang maaga
  • Ginawa ang daloy ng trabaho upang ibigay ang mga real-time na trade at execution sa isang algorithm
  • Algorithm na ginamit: Random Cut Forest, isang time series na anomaly detection algorithm
  • Kapag may nakitang mga anomalya, inaalertuhan ang operational team at magsasagawa ng aksyon Pangalawang kaso ng paggamit: ETF classification
  • Ang mga ETF ay may iba't ibang mga pag-aari at dapat na maiuri sa mga kategorya (hal., crypto, mga kalakal, mga dayuhang pondo) batay sa kanilang metadata
  • Ang mga implikasyon ng regulasyon ay nangangailangan ng mga pagsusuri sa paglilisensya, mga panuntunan sa pagsunod, at pagsasanay para sa mga tagapayo
  • Tradisyonal na ginagawa nang manu-mano, ngunit awtomatiko gamit ang sinanay na modelo na tumatakbo gabi-gabi
  • Ginamit na modelo: Artificial Neural Network (ANN), isang hindi pinangangasiwaang modelo na may mataas na katumpakan
  • Sinusuri at tinatanggap ng mga kawani ng pagpapatakbo ang mga mungkahi ng modelo

AI arkitektura ng modelo

  • Imbakan ng data: Ang makasaysayang data para sa parehong mga kaso ng paggamit ay nakaimbak sa database ng
  • RDS Aurora PostgreSQL.
  • Lambda function: Kinukuha ang na-curate, na-update na data araw-araw, pinoproseso ito, at itinatapon ito sa isang S3 bucket para sa pag-aaral
  • SageMaker: Mga modelo ng tren at host; ang mga sinanay na modelo ay na-publish bilang mga endpoint para sa downstream na pagkonsumo Daloy ng trabaho para sa real-time na pagtuklas ng anomalya:
  • Ang stream ng real-time na data ng kalakalan ay kinuha ng isang Lambda function
  • Ang data ay pinapatakbo sa pamamagitan ng sinanay na modelong endpoint (hal., Random Cut Forest algorithm)
  • Natutukoy ang mga anomalya at inaalerto ang mga tauhan
  • Ang data ay ibinalik sa RDS para sa hinaharap na pag-aaral batay sa mga desisyon ng modelo Daloy ng trabaho para sa pag-uuri ng ETF:
  • Ang bagong ETF data ay ipinadala sa isang Lambda function
  • Ang data ay pinapatakbo sa pamamagitan ng sinanay na modelong endpoint
  • Ang resulta ay ibinibigay sa operator
  • Ang data ay iniimbak sa RDS instance

Automation ng Trading Back Office

Konteksto ng Negosyo

  • Layunin ng pamumuhunan: Palakihin ang pera
  • Ang paglago ng portfolio ay humahantong sa mas mataas na buwis sa capital gains
  • Ang mga malalaking account, lalo na para sa mga kliyenteng napakataas ng net worth, ay nahaharap sa malalaking resulta ng buwis
  • Pagkakaroon ng mga limitasyon sa buwis para sa mga account
  • Rebalancer Complexity
  • Ang proseso ng rebalancer ay kumplikado
  • Ang pagdaragdag ng kaalaman sa buwis at pag-optimize ay nagpapataas ng pagiging kumplikado
  • Isinasaalang-alang ng algorithm ang higit sa 50 variable na may mataas na interdependency at sensitivity na
  • Multi-Agentic AI Framework
  • Paggalugad ng paggamit ng agentic AI upang malutas ang problema
  • Ang mga ahente ay mga modelo na may mga partikular na tungkulin at aksyon na
  • Rebalancer Agent
  • Sinanay na may 22 set ng data
  • Kasama sa mga data set ang algorithm na may 50+ parameter at makasaysayang pagpapatakbo ng mga tax trade rebalancer
  • Pinangangasiwaan ang daan-daang kahilingan bawat araw
  • Ang mga resulta ay ibabalik para sa karagdagang pagproseso ng Ahente ng Pagpapatunay
  • Sinusuri para sa mga nag-iisang dependency at epekto sa ecosystem ng account
  • Inaprubahan ang mga kanais-nais na resulta upang magpatuloy sa ahente ng kalakalan
  • Nagpapadala ng feedback para sa reprocessing kung nabigo ang validation
  • Trading Agent
  • Nagsasagawa ng mga pakikipagkalakalan sa mga gumagawa ng pamilihan at mga sentro ng pamilihan
  • Bahagi ng agentic loop na nagpakita ng 10x na sukat sa throughput na Trend ng Industriya
  • Lumipat patungo sa pangkalakal na nakabatay sa modelo
  • Ang ilang mga account ay hindi pa na-transition dahil sa mga makasaysayang dahilan at intensity ng pagpapatakbo
  • AI Solution
  • Sinusuri ang kasalukuyang libro at mga hawak ng account ng tagapayo
  • Nagmumungkahi ng mga modelo para sa mga account na lumipat patungo sa kasanayang nakabatay sa modelo
  • Naglalayong pataasin ang kahusayan para sa mga tagapayo sa pamamagitan ng pagbabawas ng gawaing pagpapatakbo at pagtaas ng oras ng pakikipag-ugnayan ng kliyente