Pagpapahusay ng mga Distributed System gamit ang Amazon Time Sync na Nagtatampok ng Nasdaq

Mga Tala ng Sesyon

• Quote mula kay Barbara Lipskovoff: Ang mga naka-synchronize na orasan ay maaaring mapabuti ang distributed system performance sa pamamagitan ng pagbabawas ng komunikasyon.
• Layunin ng Mga Orasan
• Mga orasan bilang karaniwang sukatan ng pagsukat.
• Tradisyonal na paggamit sa mga distributed system: hindi pinagkakatiwalaan, ginagamit para sa pagmamasid ng tao.
• Mga Application:
• Mag-log ng mga mensahe, sukatan, pagsubaybay, UI dashboard.
• Pag-audit sa mga industriya tulad ng mga serbisyo sa pananalapi, pangangalaga sa kalusugan, broadcast media, online gaming.
• Potensyal sa mga distributed system upang pasimplehin ang mga operasyon, bawasan ang pag-lock, at pagpili ng lider na may maaasahang mga orasan.

Ano ang isang Orasan?

Mga pangunahing kaalaman sa pagbuo ng orasan sa kompyuter

• Nangangailangan ng isang bagay na pana-panahong ticks at isang bagay na binibilang ang mga ticks na ito.
• Karaniwan ang isang piraso ng hardware na pinagsasama ang parehong mga function.
• Representasyon ng Equation:
• Sa oras na T, ang orasan C ay mababasa bilang ang bilang ng mga lumipas na cycle na hinati sa dalas at pare-pareho.
• Simpleng Halimbawa:
• Ang pagbibilang ng mga 1000 cycle na may hardware ticking sa 1 cycle bawat segundo ay nagreresulta sa 1000 segundo na lumipas.
• Konklusyon:
• Pangunahing bahagi para sa pagbuo ng isang orasan sa isang computer.

Mga Opsyon sa Hardware para sa Mga Orasan

Saklaw ng Hardware

• Mula sa maliliit na form factor na crystal oscillator hanggang sa malalaking kagamitan tulad ng mga cesium beam, hydrogen maser, at paparating na optical clock.
• Ang mga form factor ay nag-iiba mula sa ilang millimeters hanggang sa cabinet-size na kagamitan.
• Mga Punto ng Presyo:
• ang maliliit na form factor ay mas cost-effective para sa cloud computing.
• ang malalaking kagamitan ay maaaring nagkakahalaga ng daan-daang libong dolyar.
• Kalidad at Katumpakan:
• Ang katumpakan sa pagpapanatili ng oras sa loob ng isang microsecond ay nag-iiba:
• Maliit na form factor: tumpak sa loob ng ilang segundo.
• Hydrogen maser at optical na orasan: tumpak sa loob ng maraming taon, posibleng mga siglo.

Clock Drift

Lahat ng Oscillator Drift

• Kahit na ang pinakatumpak na atomic na orasan ay nakakaranas ng drift.
• Ang pag-anod sa antas ng microsecond ay maaaring tumagal ng maraming siglo upang maobserbahan sa mga napakatumpak na orasan.
• Mga Sanhi ng Drift:
• Proseso ng paggawa, pagtanda (mga alalahanin para sa mga pisiko).
• Para sa mga cloud provider: maliit na pagkakaiba sa power supply o mga pagkakaiba-iba ng temperatura dahil sa epekto ng workload sa mga CPU at server.
• Epekto ng Drift:
• Ang dalas ng mga pag-ikot ay nagbabago sa paglipas ng panahon, na humahantong sa pag-anod ng orasan.
• Halimbawa: Isang EC2 instance na tumatakbo sa loob ng 5 na araw ay nagpakita ng 75 millisecond drift nang walang pagwawasto.
• Pag-address sa Clock Drift
• Pagsubaybay at Pagwawasto:
• Katulad ng mga tao na nag-aayos ng wristwatch, kailangang subaybayan at itama ng mga computer para sa drift.
• Network Time Protocol (NTP):
• Ginamit sa loob ng ilang dekada upang i-synchronize ang mga orasan.
• Kinasasangkutan ng orasan ng kliyente na nagpapadala ng mensahe sa isang server (reference na orasan) upang ayusin ang oras.

Mga Hamon sa Pag-synchronize ng Orasan

Kailangan ang Tuloy-tuloy na Pagsasaayos

• Ang dalas ng mga cycle ng orasan ay patuloy na nagbabago.
• Nangangailangan ng paulit-ulit na paghingi ng tamang oras, hindi isang beses.
• Mga Isyu sa Komunikasyon sa Network:
• Ang mga mensaheng ipinagpapalit sa mga network ay may iba't ibang pagkaantala.
• Panganib ng pagkabigo ng mensahe kapag na-drop ang mga ito.

Network bilang Bahagi ng Problema

Viability at Pagkaantala

• Ang maingay na pagkaantala sa komunikasyon ay nagpapahirap na makilala ang aktwal na pag-anod ng orasan.
• Asymmetry ng Network:
• Ang network ay hindi simetriko, na humahantong sa mga pagkakaiba sa oras na naobserbahan kahit na may perpektong orasan.
• Mahirap na makilala sa pagitan ng error sa orasan at kawalaan ng simetrya ng network.

AWS Solusyon: Amazon Time Sync Service

• Tugunan ang mga kumplikado ng pag-synchronize ng orasan sa mga hindi deterministikong network para sa mga customer.
• Pagpapatupad:
• Ipinakilala sa 2017.
• Gumagamit ng NTP (Network Time Protocol) endpoint.
• Available nang lokal para sa bawat EC2 instance sa buong mundo.
• Pamumuhunan:
• Makabuluhang pamumuhunan sa engineering at hardware upang suportahan ang serbisyong ito sa buong mundo.

Amazon Time Sync Service

Basic Setup

• EC2 instance na may Nitro system at software time daemon.
• NTP packet mula sa AWS distribution system sa pamamagitan ng Nitro system para itama ang server clock.
• Katumpakan:
• NTP katumpakan ng serbisyo: sa ilalim ng 1 millisecond, karaniwang 500-700 microseconds.
• Benepisyo ng Customer:
• Madali, hands-off na serbisyo; hindi na kailangang maunawaan ng mga customer ang pinagbabatayan na teknolohiya.

Mga Hamon at Solusyon para sa Katumpakan ng Nanosecond

Demand ng Customer

• Ang mga customer ay naghanap ng mas mahusay kaysa sa 1 millisecond na katumpakan para sa mga distributed system.
• AWS Diskarte:
• Namuhunan sa hardware para sa katumpakan sa antas ng nanosecond.
• Gumamit ng mga dedikadong cable mula sa GPS at mga redundant atomic hardware clock. Direktang ipinadala ang
• Signal (GPS) sa EC2 instance, na lumalampas sa mga AWS network.
• Nakatuon na Pag-synchronize ng Orasan:
• Ang signal para sa pag-synchronize ng orasan ay ganap na nakatuon, hindi sa data o control plane.

Nitro-Based System

• Nitro clock: hardware reference clock.
• NTP packet communication: direkta sa Nitro card at likod, walang kinalaman sa network.
• PTP Hardware Clock:
• Idinagdag ang Precision Time Protocol (PTP) hardware clock sa Nitro system.
• Binabasa ng mga user ang PTP hardware clock (PHC) para iwasto ang system clock nang lokal.
• Mga Antas ng Katumpakan:
• NTP: sa ilalim ng 100 microseconds sa antas ng software.
• PTP: sa paligid ng 20 microseconds sa antas ng software.
• Laganap na Pagpapatupad:
• Reference PTP hardware clocks na idinagdag sa iba't ibang uri ng server (Graviton, Intel, AMD, GPUs).
• Batay sa Nitro system hardware, na sumusuporta sa pandaigdigang pamumuhunan sa imprastraktura.

Hardware Packet Timestamping

Pangunahing Aplikasyon at Mga Benepisyo

Layunin

• Pinapagana ang katumpakan sa antas ng nanosecond para sa mga timestamping na packet ng network.
• Mga Benepisyo:
• Pinahusay na obserbasyon ng pagganap ng network para sa mga distributed workload.
• Nagbibigay-daan sa pag-order ng mga mensaheng natanggap ng server na may nanosecond na resolusyon.
• Built-in na pasilidad sa driver, naa-access sa pamamagitan ng classic socket API o DPDK toolkit.

Paano Ito Gumagana

Bago ang Paglabas ng Tampok

• timestamping ng layer ng application:
• Dumating ang mensahe, dumaan sa Nitro system, umabot sa halimbawa.
• Ang application ay nagbabasa ng oras mula sa system clock at nakakabit ng timestamp sa mensahe.
• Gumamit ng 4 linya ng C code gamit ang socket API.
• Pagkatapos ng Feature Release (Hardware Packet Timestamping):
• Nitro system at Nitro clock:
• Dumating ang mensahe, ang packet ay na-timestamped ng Nitro system at Nitro clock bago makarating sa instance.
• Ang mga timestamped na mensahe ay ipinapasa sa mga layer ng application.

Pagpapatupad at Pag-access

Mga Paraan ng Pag-access

• Classic socket API.
• DPDK (Data Plane Development Kit) toolkit para sa direktang packet access na lumalampas sa imprastraktura ng kernel.
• Resolusyon:
• Nagbibigay ng nanosecond na resolusyon sa mga natanggap na timestamp para sa mga network packet.

Halimbawang Paghahambing

dati

• Simpleng proseso na kinasasangkutan ng oras ng pagbabasa mula sa system clock pagkatapos ng pagtanggap ng mensahe.
• Pagkatapos:
• Pinahusay na proseso sa packet timestamping na ginawa ng hardware bago maabot ng mensahe ang application, na nagbibigay ng mas tumpak na timestamp.

Pinahusay na Mga Benepisyo ng Hardware Packet Timestamping

Tumaas na Katumpakan

• Nagbibigay ng mas tumpak na pagtingin sa pagganap ng network.
• Halimbawa: Pagsukat ng oras ng pag-ikot sa pagitan ng dalawang pagkakataon.
• Pagsusukat ng application space ng user: ~400 microseconds.
• Pagsukat ng timestamping ng hardware packet: ~100-150 microseconds.
• Nakikitang Pagkakaiba:
• Pagkakaiba ng ~250 microsecond na nauugnay sa oras na ginugol sa operating system at network stack.
• Kinakatawan ang tungkol sa 2/3 ng oras ng round trip, na nagha-highlight ng mas tumpak na pagmamasid.
• Pagganap ng Crisper Network:
• Pinapayagan ang pagkakakilanlan at pagkasira ng mga pagkaantala sa pagitan ng application at network.

Panimula sa Use Case ni NASDAQ

Layunin

• Upang ipakita ang pag-unlad ni NASDAQ tungo sa pagpapatakbo ng mga merkado sa isang pampublikong kapaligiran sa cloud gamit ang teknolohiya ng precision time ng AWS.

NASDAQ Background

Innovator sa Financial Markets

• Ang unang electronic exchange sa mundo, nilikha noong 1971.
• Nagpapatakbo sa mga 30 market sa buong mundo, kabilang ang mga stock, bond, opsyon, at derivatives.
• Kilala sa pagho-host ng mga nangungunang kumpanya ng teknolohiya ayon sa market cap, kabilang ang Amazon.
• Tagabigay ng Teknolohiya:
• Naglilingkod sa 130 market operators at 2300 financial institutions.
• Sinusuportahan ang higit sa 44,400 pampublikong kumpanyang nakalista sa NASDAQ exchange sa buong mundo.
• Nagbibigay ng teknolohiya sa mga 6000 corporate para sa capital market lifecycle support.

NASDAQ's Cloud Journey

Started Over 10 Years ago

• Nagsimula sa mga data repository at data warehousing gamit ang AWS Redshift (2012-2013).
• Kasalukuyang nag-iimbak ng mga 60 petabytes ng data, na sumusuporta sa mga function ng back-office.
• Ebolusyon sa Real-Time na Pagproseso:
• Pagsubaybay sa merkado gamit ang streaming real-time na impormasyon sa merkado.
• Available ang pamamahagi ng market data sa pamamagitan ng pampublikong cloud.
• Paglunsad ng Options Exchange sa AWS Outpost:
• Sa 2022, inilunsad ang NASDAQ MRX sa AWS Outpost.
• Kasalukuyang nagpapatakbo ng 6+ market systems sa Outpost.
• Mga Kritikal na System sa Public Cloud:
• Nagho-host ng mga system na nagbibigay ng mga real-time na insight sa mga kalahok sa market.
• Pinakikinabangan ang cloud scalability, performance, at tamang sukat para sa malalaking volume ng mensahe at pinakamataas na pinamamahalaang kapasidad.

Mga Tukoy na Hamon sa Paglipat sa Cloud

Mga Hadlang sa Heograpiya

• Pangunahing nangyayari ang pangangalakal sa hilagang New Jersey para sa mga equities at mga opsyon sa equity.
• Ang mga dependency sa latency ay nangangailangan ng pag-deploy ng computer sa mga partikular na lokasyon.
• Mga Ultra Low Latency na Transaksyon:
• Sinusukat ang mga transaksyon sa oras ng order-to-act na ~20 microseconds.
• Mataas na Dami ng Mensahe:
• Pinoproseso sa hilaga ng 100 bilyong mensahe sa isang araw.
• Ang mga partikular na exchange system ay humahawak ng hanggang 2-3 milyong mensahe kada segundo.
• High Resiliency at Uptime Expectations:
• Kritikal para sa mahusay at mahusay na pagpapatakbo ng mga capital market.
• Pangunahing lugar ng listahan para sa maraming pampublikong kumpanya.

NASDAQ Exchange System Architecture

Katugmang Engine

• Pinangangasiwaan ang pangunahing lohika para sa pag-book ng mga order, pangangalakal, at pagtutugma ng mga mamimili at nagbebenta.
• Mga Port ng Order:
• Interface para sa mga customer na nagpapadala ng daloy ng order sa exchange.
• Nagsasagawa ng validation, pre-trade risk, at iba pang function.
• Mga Feed ng Data ng Pampublikong Market:
• Nagpa-publish ng view ng pagtutugma ng aktibidad ng engine sa merkado (hal., NASDAQ I).
• Mga kliyente:
• Magbigay ng daloy ng order upang mag-order ng mga port at tumutugmang makina sa pamamagitan ng mga papasok na transaksyon.

Tradisyunal na On-Premises na Modelo

Layunin

• Magbigay ng deterministiko at patas ayon sa istatistika na merkado sa mga kalahok.
• Pag-asa sa Pisikal na Katangian:
• Mga haba ng fibers sa data center.
• Bilang ng switch hops sa pagitan ng mga bahagi ng system at mga customer.
• Mga Pinagmumulan ng Network Latency:
• D1 at D2:
• Mga pangunahing mapagkukunan ng latency ng network dahil sa pisikal na pag-setup.
• D3:
• Sinasaklaw ang parehong mga bahagi ng network at pagproseso.
• Tinatayang kalahati ng round trip latency, humigit-kumulang 10 microseconds.
• Maayos na Pagproseso:
• Tinitiyak ng sunud-sunod na pagpoproseso ng tumutugmang engine na ang mga order ay naproseso nang tuluy-tuloy at paulit-ulit gaya ng isinumite ng mga customer at ibinalik sa kanila at sa feed ng data ng pampublikong merkado.

Mga Hamon sa Public Cloud

• Hindi Mahuhulaan na Kondisyon sa Network.
• Walang nakapirming haba ng cable o kilalang switch hops.
• Mga potensyal na pagkaantala mula sa ibang trapiko sa network o hindi nahuhulaang mga pagkakalagay ng node.

Solusyon: Mga Timestamp ng Hardware at Reordering Buffer

Pangunahing Panahon ng Panahon

• Tumutok sa D1, D2, at D3 upang maunawaan ang mga oras ng transaksyon sa pamamagitan ng network.
• Mga Timestamp ng Hardware:
• Itala ang oras ng bawat transaksyon sa bawat network point gamit ang nanosecond precision.
• Ibinigay sa pamamagitan ng Nitro at Amazon Time Sync Service.
• Muling Pag-aayos ng Buffer:
• Nakaupo sa harap ng katugmang makina.
• Nakatuon sa pag-order ng mga papasok na transaksyon (nalalapat ang mga katulad na pamamaraan para sa papalabas na daloy).
• Batay sa Oras na Hangganan:
• Tukuyin gamit ang mga timestamp ng hardware (hal., T1, T2, T3 para sa mga order mula sa mga kliyente).
• Tinitiyak na ang mga transaksyon ay naproseso sa pagkakasunud-sunod ng kanilang pinagmulan.
• Patented na Teknik:
• Pundasyon para sa pagbabago ng postura ni NASDAQ patungo sa pampublikong ulap para sa mga low latency system.

Prototype at Eksperimento

AWS Mga Instance na Ginamit

• M7I.2XL mga pagkakataon.
• Mga Pangkat ng Proximity Placement:
• Ang mga tiyak na compute node ay inilagay nang magkakalapit sa loob ng ilang rack o sa parehong rack.
• Mga Timestamp ng Hardware para sa Muling Pag-aayos:
• Ginagamit upang muling ayusin ang mga packet batay sa mga timestamp.
• Pagsubok na may Hangganan ng Oras:
• Ang 5 microsecond boundary ay muling inayos ang ~25% ng mga packet.
• 50 microsecond boundary na muling inayos hanggang 84% o mas mataas ng mga packet.
• Pag-ulit at Ebolusyon:
• Patuloy na trabaho sa mga function ng proximity placement at Amazon Time Sync Service para sa higit na granularity.

Madiskarteng Pananaw

Scalable Trading System

• Layunin na bumuo ng mga scalable at high-performance na system kung naka-deploy man sa pampublikong cloud o on-premise.
• Innovation sa Public Cloud:
• Yakapin ang cloud innovation, kabilang ang AI at data migration sa public cloud.
• Pinahusay na Seguridad at Pagkakaaasahan:
• Mataas na inaasahan para sa availability, seguridad, at pagiging maaasahan.
• Nag-aalok ang pampublikong cloud ng mga makabuluhang pakinabang kung itinayo nang responsable na may mga pagsasaalang-alang sa katatagan.
• Paggamit ng Dalubhasa sa Market:
• Bilang isang lider na nagpapatakbo ng 30 ay nakikipagpalitan sa buong mundo at nagsusuplay ng teknolohiya sa mga 130 marketplace, NASDAQ ay nag-iisip nang madiskarte tungkol sa paglalapat ng teknolohiya.

Paggamit ng Magandang Orasan sa Software

• Binibigyang-diin ang pagbabawas ng komunikasyon sa mga distributed system gamit ang mga naka-synchronize na orasan.
• AWS Time Sync Service:
• Nagbibigay ng nanosecond-range na mga orasan na may microsecond accuracy sa software.
• Timestamping ng Hardware Packet:
• Binibigyang-daan ang mga application na makinabang mula sa mas tumpak na timing, pagpapahusay ng pagganap at pagmamasid.

Mga Hamon sa Mga Distributed System

Maramihang Mga Orasan

• Ang mga distributed system ay may maraming server, bawat isa ay may sariling orasan.
• Ang mga orasan ay hindi perpektong naka-synchronize, na humahantong sa pagiging kumplikado sa pag-order ng mga kaganapan.
• Mga Tradisyunal na Solusyon:
• Ibinahagi ang mga kandado, halalan ng pinuno, at mga algorithm ng pinagkasunduan na ginagamit para sa pag-order.
• Nililimitahan ng mga algorithm na ito ang pagganap at pinapataas ang pagiging kumplikado habang lumalaki ang mga system.

Kawalang-katiyakan ng Orasan at Margin ng Error

Pananaw ng Tao

• Iniisip ng mga tao ang oras bilang tumpak (hal., 2 p.m.), ngunit ang mga orasan ay may kawalang-katiyakan.
• Katumpakan na Orasan:
• AWS katumpakan ng mga orasan sa layer ng software ay may kawalan ng katiyakan (hal., ±20 microseconds).
• Margin ng Error sa Mga Application:
• Ang mga aplikasyon ay dapat na salik sa margin ng error na ito.
• Halimbawa: Ang mga transaksyon sa bank account ay nangangailangan ng tamang pag-order upang maiwasan ang mga overdraft.

Pagtatantya ng Kawalang-katiyakan ng Orasan

Komplikadong Tanong

• Kailangang maunawaan ng mga customer ang mga pagitan ng kawalan ng katiyakan para sa kanilang mga orasan.
• Halimbawa:
• Suriin ang time synchronization daemon sa isang EC2 instance para matantya ang error.
• Mga mapagkukunan ng pag-synchronize ng oras:
• Mga NTP server ng Internet (hal., time.aws.com): ~395 microseconds uncertainty.
• Mga lokal na NTP server sa pamamagitan ng Nitro system: ~90 microseconds uncertainty.
• PTP hardware clock (pinahusay na Amazon Time Sync Service sa pamamagitan ng Nitro system): Mas tumpak.

AWS Pagpapasimple

• Nilalayon ng AWS na gawing simple ang pag-unawa at pamamahala sa kawalan ng katiyakan ng orasan para sa mga customer.
• Ang mga detalyadong paliwanag ay ibinigay upang matulungan ang mga customer nang hindi nangangailangan ng malalim na teknikal na kaalaman.

AWS Clockbound Software

Layunin

• Pinapasimple ang pag-unawa at pamamahala sa kawalan ng katiyakan ng orasan para sa mga customer.
• Availability:
• Open-source, available sa GitHub simula noong 2021.
• Mga Pangunahing Tampok:
• Nagbibigay ng tatlong piraso ng impormasyon sa isang operasyon:
• Kasalukuyang Oras: E.g., Lunes sa 2:00 p.m.
• Window of Uncertainty: E.g., ±20 microseconds.
• Katayuan ng Orasan: Sinimulan, malayang tumatakbo, o naka-synchronize.
• Suporta at Scalability:
• Sinusuportahan ang PTP hardware at NTP source.
• Mga sukat sa hinihingi na mga workload, na may kakayahang milyon-milyong mga query bawat segundo.
• Wika at Pagkakatugma:
• Nakasulat sa Rust para sa pagganap at kaligtasan ng memorya.
• Magagamit sa RSS bilang isang ulap at para sa mga C application.

Nakatali sa Error sa Orasan

• Ang pinakamahigpit na hangganan sa pinakamasamang kaso ng error sa orasan dahil sa oscillator drift at pagkaantala sa komunikasyon.
• Tungkulin ng Clockbound:
• Nagbibigay ng mga tumpak na sagot sa kabila ng mga naipon na error, na nagniningning sa mga sitwasyon ng katumpakan sa antas ng nanosecond at microsecond.
• YugabyteDB Paggamit ng Clockbound
• Open-source database gamit ang open-source na Clockbound software ng AWS.
• Hybrid Logical Clock System:
• Pinagsasama ang tradisyonal na lohikal na pag-order sa mga orasan ng katumpakan.
• Mga Benepisyo na Naobserbahan:
• Pinababang Latency: Nakaranas ang mga customer ng 3 na mas kaunting latency.
• Tumaas na Throughput: Nadoble ang throughput ng transaksyon.
• Mas Kaunting Pagsubok: 1000 beses na mas kaunting pagsubok muli dahil sa nabawasang mga salungatan sa pagitan ng mga transaksyon (hal., magbasa at magsulat).
• Pinahusay na Karanasan ng Customer:
• Pinahusay na pagkakapare-pareho, paghihiwalay, at pangkalahatang karanasan ng user sa database.

Paggamit ni AWS ng Precision Clock

Mga Serbisyong Gumagamit ng Precision Clock

• Aurora DSQL: Multi-region, global-scale database.
• Dynamo DB Global Tables: Multi-region, global-scale database.
• Dahilan ng Paggamit:
• Mga network latency sa mga rehiyon (hal., 70 millisecond sa pagitan ng US West 2 at US East 1).
• Bentahe ng Precision Clock:
• Ang mga orasan sa microseconds hanggang nanosecond range ay nagbibigay-daan para sa mas mabilis na pag-order ng transaksyon kaysa sa pagpapadala ng mga packet sa network.

Ang Paggamit ni AWS ng Precision Clock sa Aurora DSQL

Multi-Region Database Consistency

• Kritikal para sa pagpapanatili ng pare-pareho at paghihiwalay sa isang database ng multi-rehiyon.
• Clockbound's Uncertainty Window:
• Ginagamit upang pamahalaan ang mga kaganapan sa iba't ibang rehiyon.
• Halimbawa: Ang Kaganapang 1 ay garantisadong nasa nakaraan kumpara sa Kaganapang 2 o 3.
• Ang mga kaganapan 2 at 3 ay may magkakapatong at nangangailangan ng maingat na pagproseso upang maiwasan ang muling pagsubok.
• Mga Posibleng Solusyon:
• Pag-antala sa pagsisimula ng isang kaganapan (hal., Kaganapan 3) upang maiwasan ang muling pagsubok.
• Mga Pagsasaalang-alang sa Disenyo ng Database:
• Depende sa disenyo ng system, uri ng mga kaganapan, at mga kinakailangan ng customer.

Bagong EST Daemon Release

Layunin

• Upang gawing simple ang paggamit ng mga advanced na feature ng timing para sa mga customer.
• Mga Pagpapabuti:
• Binuo sa ilalim ng parehong stack ng software gaya ng kasalukuyang Clockbound na software.
• Mga makabuluhang pagpapabuti para sa mas mataas na katumpakan at pagiging maaasahan.
• Pagtitiwala ng Customer:
• AWS ay naglalayong mapanatili at mapabuti ang tiwala at karanasan ng customer sa paglipas ng panahon.
• Stand-Alone Time Client:
• Kasama na ngayon sa Clockbound ang isang stand-alone na time client at daemon.
• Pag-synchronize at Pagbibigay ng Impormasyon:
• Sini-synchronize ang orasan ng operating system.
• Nagbibigay ng kasalukuyang oras, laki ng window ng kawalan ng katiyakan, at status ng orasan sa mga application.
• Mga Dahilan sa Regulatoryo at Pagmamasid:
• Mahalaga para sa pagsunod sa regulasyon at pagmamasid ng system.
• Mga Built-In na Sukatan at Pagmamasid:
• Ang Observability ay isang first-class na mamamayan na may mga built-in na sukatan.
• Mataas na Pagganap at Kaligtasan sa Memory:
• Itinayo sa parehong Rust software stack para sa kaligtasan ng memorya at mataas na pagganap.
• Nakakamit ang mataas na pagganap sa pamamagitan ng isang shared memory segment para sa inter-process na komunikasyon.

Cloud-First Design Paradigm Shift

• Muling idisenyo ang system upang maging cloud-first.
• Lumilipat mula sa tradisyonal na feedback loop system patungo sa isang feed-forward na sistema ng impormasyon, na mas angkop para sa mga cloud application.
• Simulator para sa Pagsubok
• Nagpapadala ang bagong software stack na may simulator.
• Nagbibigay-daan sa mga user na subukan ang software, mag-ulat ng mga isyu, at magmungkahi ng mga pagpapabuti.
• Cloud-Native Synchronization
• Ang pagiging available ay isang pangunahing priyoridad sa lahat ng mga layer ng virtualization.
• Nag-ambag ng bagong feature sa Linux kernel na tinatawag na VM clock (virtual machine clock).
• Kumbinasyon sa Bagong Clockbound Release:
• Nagbibigay-daan sa direktang paglipat ng oras mula sa Nitro clock papunta sa instance.
• Nagpapabuti ng pagganap sa panahon ng mga kaganapan sa pagpapanatili, na tinitiyak ang maayos na pagpapatakbo ng workload.
• Pagganap ng Bagong Sistema
• Nagagawa ng system na subaybayan at itama ang drift sa loob ng ±1 microsecond sa loob ng maraming oras.
• Bintana ng Kawalang-katiyakan:
• Ang laki ng window ng kawalan ng katiyakan na na-plot sa pamamagitan ng pag-query sa Clockbound na daemon.
• Pag-uugali ng sawtooth: lumalaki at lumiliit habang ina-update ang orasan.
• Nakamit na window ng kawalan ng katiyakan: sa pagitan ng 20 at 26 microseconds sa loob ng application.

Ang mga equities at opsyon sa Northern New Jersey ay makabuluhan dahil sa papel nito bilang pangunahing financial data hub (tulad ng Equinix in Secaucus) na nagpapagana sa Wall Street trading, proximity na nakakaakit ng mga propesyonal sa pananalapi, at isang matatag na lokal na ekonomiya na may mga kumpanyang tulad ng NJR na nag-aalok ng matatag na mga dibidendo, lahat suportado ng matibay na imprastraktura at commuter link sa NYC, na lumilikha ng magkakaibang pamumuhunan

landscape mula sa mga high-tech na data center hanggang sa mga itinatag na kumpanya.

Bakit ang Northern NJ ay isang Hub para sa Equities at Options

• Data Center Powerhouse: Secaucus, NJ, nagho-host ng mga pangunahing data center (tulad ng Equinix NY4) na kritikal para sa high-frequency na kalakalan, paglipat ng aktibidad mula sa Manhattan at paggawa ng NJ na isang sentral na lokasyon para sa financial tech.
• NYC Proximity: Mahusay na transportasyon (mga tren, ferry) ang nag-uugnay sa NJ sa NYC, nakakaakit ng mga propesyonal sa pananalapi at ginagawa itong isang pangunahing lugar ng tirahan para sa mga nagtatrabaho sa distritong pinansyal ng Manhattan, na nagpapalakas ng mga lokal na ekonomiya sa mga lugar tulad ng Bergen & Hudson Counties.
• Mga Malakas na Lokal na Kumpanya: Nagtatag ang New Jersey ng mga kumpanya, gaya ng New Jersey Resources (NJR), na kaakit-akit para sa mga investor na equity na nakatuon sa dibidendo, na kilala para sa pare-parehong mga dibidendo at sukatan ng halaga.
• Investment Ecosystem: Ang rehiyon ay nakikinabang mula sa malakas na pagpapahalaga sa real estate (isang anyo ng equity), stable na demand, at lumalaking "innovation ecosystem" na sinusuportahan ng NJEDA (New Jersey Economic Development Authority), na nagsusulong sa parehong tradisyonal at tech-driven na pamumuhunan.
• Tax at Regulatory Environment: May mga partikular na regulasyon ang New Jersey, tulad ng para sa kita ng opsyon sa stock na hindi residente, na nagpapahiwatig ng isang sopistikadong balangkas ng regulasyon sa pananalapi na nakakaapekto sa mga mamumuhunan.
• Ano ang ibig sabihin nito para sa mga Namumuhunan
• Data at Tech Focus: May mga pagkakataon sa mga lugar na nauugnay sa teknolohiya at imprastraktura ng data na sumusuporta sa pananalapi.
• Halaga at Kita: Maghanap ng mga matatag, nagbabayad ng dibidendo na kumpanya na nakabase sa o malapit sa estado, kasama ng pamumuhunan sa ari-arian (real estate equity).
• Commuter Appeal: Ang mga lugar na may malalakas na commute papuntang NYC (hal., Weehawken, Bergen County) ay nakakakita ng mataas na demand, na kumakatawan sa isang solidong real estate equity play.

Ang Equinix's Secaucus, NJ campus (NY2, NY4, NY5, NY6) ay isang mahalagang low-latency hub para sa Wall

Kalye, nag-aalok ng mga direktang koneksyon sa mga pangunahing pagpapalitan ng pananalapi at mga ekosistema ng kalakalan,

pabahay ng maraming financial firm, at pagbibigay ng mataas na seguridad, maaasahang colocation para sa

high-frequency trading (HFT) at mahahalagang serbisyo ng data tulad ng mga feed ng balita sa Dow Jones, na tinitiyak

bilis at malapit sa mga pamilihan. Ang mga pasilidad na ito ay nagsisilbing digital backbone, na nagpapahintulot sa mga kumpanya na

ilagay ang kanilang mga server malapit sa mga palitan para sa mas mabilis na pangangalakal.

Bakit Ito Mahalaga para sa Wall Street

• Mababang Latency: Ang pisikal na kalapitan sa mga palitan ay nagpapaliit sa oras ng paglalakbay ng data, kritikal para sa HFT.
• Access sa Market: Mga direktang koneksyon sa mga lugar ng pangangalakal, mga tagapagbigay ng data (tulad ng Dow Jones), at iba pang mga kalahok sa pananalapi.
• Pagiging Maaasahan: Dinisenyo nang may malakas na kapangyarihan, pagpapalamig, at seguridad para sa walang patid na mga operasyong pinansyal.

Mga pattern ng disenyo ng Amazon Aurora HA at DR para sa pandaigdigang katatagan

(DAT442)

Depinisyon ng katatagan

• Kakayahan ng isang workload na makabawi mula sa mga pagkagambala
• Kinasasangkutan ng dynamic na pagkuha ng mga mapagkukunan at pagpapagaan ng mga pagkaantala
• High Availability (HA):
• Proporsyon ng oras na available ang isang workload
• Sinusukat ayon sa kasaysayan (hal., 5 9s availability)
• Disaster Recovery (DR):
• Mga diskarte para mabawi ang workload pagkatapos ng mga insidente
• Layunin ng Oras ng Pagbawi (RTO): Pinakamataas na oras upang ipagpatuloy ang serbisyo
• Layunin ng Recovery Point (RPO): Pinakamataas na pagkawala ng data na katanggap-tanggap
• Pagtuon sa Aurora:
• Aurora PostgreSQL (APG) at Aurora MySQL (AMS)
• Mga katulad na tampok at kakayahan sa katatagan

Mataas na Availability (HA)

• Layunin: Panatilihing patuloy na tumatakbo ang mga system, bawasan ang mga pagkaantala, at maiwasan ang mga solong punto ng pagkabigo.
• Paano: Redundancy, automatic failover, load balancing, madalas sa loob ng parehong data center o rehiyon.
• Mga halimbawa: Isang web server na may maraming instance, isang database cluster na may awtomatikong switchover kung nabigo ang isang node.
• Focus: Fault tolerance para sa maliliit, madalas na isyu (hal., hardware failure, maintenance).
• Disaster Recovery (DR)
• Layunin: Ibalik ang mga operasyon ng negosyo pagkatapos ng isang malaking sakuna (natural na sakuna, napakalaking data corruption).
• Paano: Mga backup, replikasyon, mga offsite na data center, tinukoy na mga pamamaraan sa pagbawi (RTO/RPO).
• Mga Halimbawa: Pagpapanumbalik ng data mula sa mga pag-backup ng cloud, hindi pagpunta sa pangalawang rehiyon pagkatapos ng pagkawala ng rehiyon.
• Pokus: Katatagan laban sa malakihan, sakuna na mga kaganapan.
• Mga Pangunahing Pagkakaiba at Relasyon
• Saklaw: HA humahawak ng maliliit na kabiguan; DR humahawak ng malalaki.
• Pagdulog: HA ay maagap; DR ay reaktibo.
• Pagsasama-sama: Ang mga ito ay komplementaryo; ang matatag na HA ay binabawasan ang pangangailangan para sa DR, habang ang DR ay nagbibigay ng pinakaligtas na net para sa kapag HA ay hindi sapat.

Paano kung nabigo ang aking database node?

Self-managed database

• Isang node na may pinagsamang database engine at storage
• Mga potensyal na isyu sa pagganap sa panahon ng pag-backup
• Ang RPO ay maaaring kasing taas ng 24 na oras
• RTO ay maaaring maraming oras kung ang node ay nabigo sa
• Aurora durability:
• Nagsisimula sa iisang database cluster sa isang availability zone
• Gumagamit ng Aurora storage para sa pagtitiklop ng data
• Multi-tenant storage fleet na may mga node na nakakalat sa mga 3 AZ
• Ang bawat pagsusulat ay ginagaya nang 6 beses sa mga 3 AZ
• Ang mga gumagamit ay nagbabayad lamang ng isang kopya
• Ang RPO ay 0 na walang asynchronous replication
• Ang Aurora ay nagsusulat lamang ng mga tala ng log, hindi mga pahina, na nagpapahusay ng tibay at pagganap ng
• Backup at Restore sa Aurora:
• Patuloy na bina-back up ng storage engine ang data sa S3 nang hindi naaapektuhan ang performance.
• Available ang point-in-time na pag-restore (PITR) mula sa pinakamaagang oras na maibabalik (hanggang sa 35 araw) hanggang sa pinakahuli (mga 5 minuto ang nakalipas para sa isang abalang database).
• Kasama sa proseso ng pagpapanumbalik ang pagkuha ng data mula sa S3, paglalapat ng mga panloob na talaan ng log, at pagsisimula ng makina para sa pagbawi ng transaksyon.
• Availability ng Database Instance:
• Ang pangunahing pagsasaayos ay may kasamang isang halimbawa; ang pagkabigo ay nangangailangan ng 10-15 minuto upang mapalitan.
• Ang pagdaragdag ng standby instance ay nagpapabuti sa kakayahang magamit; Pinapanatili ito ng Aurora na naka-sync sa pangunahin.
• Failover sa standby instance ay nangyayari sa loob ng ilang segundo, pinapanatili ang parehong laki at kapasidad ng pagkarga.
• Nagreresulta sa isang RPO ng 0 at isang RTO na karaniwang humigit-kumulang 30 segundo, na nakakakuha ng multi-AZ availability pattern.

Performance Resilience

• Maaaring magbago ang pagganap batay sa mga hinihingi ng aplikasyon, na humahantong sa mga potensyal na nasayang na mapagkukunan.
• Ang mga open-source na solusyon ay nag-aalok ng pag-scale up (pag-upgrade ng hardware) o pag-scale out (paghahati sa database sa mga piraso), parehong mapaghamong para sa pare-pareho at maingay na mga kapitbahay.