AWS FSI Meetup 回顧

現代交易生命週期:從交易到結算

回顧系列

場次筆記

Brian Cassen 開場介紹:

  • Brian 負責 AWS 資本市場與資料領域的市場開發。
  • 他已在 AWS 任職七年,協助客戶進行雲端轉型與創新。
  • 本場次將聚焦於資本市場交易生命週期的現代化。

NASDAQ 的 Mark Murphy:

  • 任職於金融科技部門,提供關鍵的市場與金融服務軟體。
  • 使用 NASDAQ 銷售的產品。
  • 過去十年與 AWS 合作,將技術堆疊現代化,並與 ASX 等客戶分享技術。

Fidelity Investments 的 John Foley:

  • 任職於市場資料團隊,處理即時報價、交易,並將資料發布給客戶。
  • 已在 Fidelity 任職 20 年,並在行情資料處理系統遷移至雲端期間領導網站可靠性工程。

Australian Securities Exchange (ASX) 的 Tim Whitley:

  • ASX 的資訊長。
  • 負責監督 ASX 的整體技術計畫;該交易所在澳洲舉足輕重,但以全球規模而言相對較小。

討論主題:

  • 現代化過程中的經驗與所面臨的挑戰。

Mark Murphy 的關鍵轉捩點:

  • NASDAQ 工程師的好奇心,促使他們在十多年前便開始嘗試 AWS。
  • 關鍵時刻出現在 COVID-19 疫情期間,當時交易所的交易量翻倍,而內部部署伺服器難以負荷。
  • 團隊體認到,若要具備韌性並持續提供市場服務,雲端基礎設施不可或缺。
  • 加速 NASDAQ 全公司的現代化工作,聚焦於現代技術與雲端能力。

John Foley 介紹:

  • John 任職於財富管理公司 Fidelity Investments;該公司擁有超過 77,000 名員工,管理的資產超過 15 兆美元。
  • 他已在公司任職 20 年,主要服務於市場資料團隊。
  • 他的職責包括處理即時報價、交易、歷史內容、新聞及社群市場情緒,並將這些資料發布給客戶與業務合作夥伴。
  • 在行情資料處理系統遷移至雲端期間,他負責領導網站可靠性工程。

Tim Whitley 介紹:

  • Tim 是 Australian Securities Exchange (ASX) 的資訊長。
  • 他已在該交易所任職數年。
  • ASX 營運兩個交易場所及三項結算服務,因此在澳洲舉足輕重,但以全球規模而言相對較小。
  • Tim 目前正在監督 ASX 的大型技術計畫,這也是該交易所的重點工作。

促使每位與談人開始使用 AWS 的關鍵時刻或動力。

Mark Murphy 的關鍵轉捩點:

  • NASDAQ 工程師的好奇心,促使他們在十多年前便開始嘗試 AWS。
  • 關鍵時刻出現在 COVID-19 疫情期間,當時交易所的交易量翻倍,而內部部署伺服器難以負荷。
  • 團隊體認到,若要具備韌性並持續提供市場服務,雲端基礎設施不可或缺。
  • 加速 NASDAQ 全公司的現代化工作,聚焦於現代技術與雲端能力。

John Foley 的關鍵轉捩點:

  • John 與 AWS 的歷程始於他領導網站可靠性工程、將 Fidelity 的行情資料處理系統遷移至雲端之時。
  • 這次遷移凸顯了雲端基礎設施對於處理即時資料及確保服務可靠性的重要性。
  • 這段經驗進一步確立了 Fidelity 持續投資雲端技術的必要性。

轉捩點與策略制定

  • 初始挑戰:必須在 3 至 4 年內更換 ASX 的全部五套核心系統。
  • 疑慮:更換系統後,可能只會產生「外表光鮮的新舊式系統」。
  • 策略制定:投入時間擬定平台策略,作為系統更新的基礎。
  • 關鍵組成:建置同時支援營運與分析用途的資料平台。
  • 目標:運用資料平台支援核心系統,並促成系統之外的創新。
  • 額外焦點:評估數套後台系統的託管選項。
  • 主要焦點:資料平台及其在核心系統之外的能力。

未來展望與雲端策略

  • 當前市場波動,以及人們存取市場和使用資料方式的預期變化。
  • 公司的長期定位:站在資本市場雲端技術的最前線。
  • 所有產品均已支援雲端。
  • 與 AWS 合作,強化基礎設施並最佳化產品。
  • 為客戶的各類系統提供更多選擇(超低延遲交易、結算、資料平台)。
  • AWS 是這項計畫的關鍵合作夥伴。
  • 強調雲端的韌性及處理大量交易的能力。
  • 雲端可縮短產品上市時間,並讓高風險創新成為可能。

AWS 資料平台的優點

  • 無須對資料平台投入大量資本。
  • 能在平台之上進行創新。
  • 普及資料平台的存取權並提供優良工具,可激發組織內部自發性的創新。
  • 目標:NASDAQ 希望將此資料平台提供給全球交易所,以推廣其交易所、增加流動性,並促成組織創新。

AI 對市場資料的影響

  • AI 正快速進步,並顛覆技術的各個面向,包括撰寫程式碼、文件、測試程式碼、程式碼重構、聊天機器人、客戶服務、個人化、自動化、DevOps,以及 SRE(網站可靠性工程)。
  • 在市場資料領域,AI 的角色是為客戶提供洞察,協助其做出可獲利的決策。
  • 挑戰:AI 難以處理大型資料集與大量參數。
  • 解決方案:需要雲端基礎設施及強大的運算能力,才能整合即時交易活動、歷史趨勢、新聞與社群媒體情緒。
  • 未來焦點:在雲端彈性擴展或縮減資源,以執行計算並快速提供洞察。

由資料與 AI 驅動的轉型

  • 平台概念應將資料平台置於技術堆疊的最上層。
  • 撮合引擎與結算系統是重要的標準化基礎能力,但並非核心業務。
  • 資料將推動整體業務轉型與客戶體驗。
  • 運用資料來創造更佳成果的能力至關重要。
  • 妥善準備資料並採用正確的架構,是在 AI 驅動的未來保持領先的必要條件。

重要經驗與洞察

  • 現代化的挑戰:推出 NASDAQ Eqlipse 智慧平台,凸顯了協助客戶將資料平台與策略現代化的困難。儘管客戶了解現代化的必要性,實際執行並達成這些目標仍極具挑戰。
  • 人才招募與留任:在交易所環境中,很難招募並留住所需人才,以成功推動資料平台現代化。
  • AWS 產品與現代化:AWS 提供的優秀產品持續現代化及改善,也變得更容易使用。然而,要在交易所環境中大規模導入這些產品,仍然相當困難。
  • 客戶支援與手把手協助:多數客戶知道自己想達成什麼目標,但需要大量協助與支援才能實現。僅啟用 AWS 服務,可能不足以支撐大規模的日常營運。
  • 法規遵循:要說服監管機關允許國家級交易所遷移至公有雲,尤其是在不同國家及司法管轄區,必須證明雲端解決方案的安全性、資安防護與韌性。
  • 經驗教訓:必須為全球客戶提供完整支援與手把手協助,使其能成功因應現代化及法規遵循的複雜性。

將 Fidelity 市場資料行情處理系統遷移至雲端的重要經驗

  • 全新經驗:將即時市場資料行情處理系統遷移至雲端,對 AWS 和 Fidelity 而言都是全新經驗,也帶來獨特挑戰。
  • 超級盃模式與市場資料的差異:不同於流量突然暴增的超級盃模式,市場資料會在開市時出現單一且猛烈的流量高峰,因此需要不同的處理方式。
  • 與 AWS 的關鍵合作關係:與 AWS 的合作至關重要,其中包含由熟悉 Fidelity 基礎設施與架構的 AWS 專家參與 OEM 流程。如此一來,問題發生時便能取得即時意見並立即採取行動。
  • 異常偵測與警示:AWS 協助建置異常偵測及警示,讓團隊無須升級通報即可迅速處理問題。
  • 重構應用程式:一項重要經驗是,將應用程式遷移至雲端時必須進行重構。單純將單體式應用程式直接搬移並不可行,且會衍生問題。
  • 服務導向架構:應用程式必須拆分成多項服務,妥善加以保護並進行適當擴展。導入安全模式、艙壁及斷路器等故障模式至關重要。
  • 健康狀態檢查與警示:過於敏感的健康狀態檢查若管理不當,可能會拆除基礎設施。確保容器處於良好狀態至關重要,以免在問題持續時仍將正常流量送入。
  • 長期效益:雖然針對雲端重構應用程式需要前期投入,但在擴展能力、最佳化與效能方面能帶來長期回報。

其他經驗與洞察

  • 雙速變革模式:目標是在交易所內導入雙速變革模式,讓不同團隊以不同速度運作,在維持合規的同時促進創新。
  • 聚焦資料平台:持續聚焦資料平台,以實現雙速變革模式,並協助 ASX 推進其轉型歷程。
  • 感謝與未來合作:感謝與談人分享寶貴洞察,並期待未來三至五年與 AWS 持續合作。

雙速變革模式

  • 採用兩種不同運作速度的企業架構方法
  • 由於快速的前端系統依賴較慢的後端資料,因而產生整合問題與組織摩擦
  • DevOps 和「全面敏捷」思維等現代方法,大致上已取代此模式

「快速層」(步調層 1)

  • 面向客戶的應用程式與系統
  • 使用敏捷方法,頻繁且快速地更新
  • 範例:電子商務平台、行動應用程式

「慢速層」(步調層 2)

  • 穩定且任務關鍵的後端舊式系統
  • 可靠性與穩定性最為重要
  • 以更有條理的方式進行變更
  • 範例:核心銀行業務、信用卡處理

艙壁

  • 在軟體架構中導入艙壁模式
  • 將應用程式的元素隔離至不同資源池,以防止連鎖故障

程式碼層級(資源隔離)

  • 執行緒集區隔離:為不同類型的作業使用不同的執行緒集區
  • 連線集區隔離:為不同作業使用不同的資料庫連線集區

系統層級(架構隔離)

  • 服務層級隔離:在微服務架構中獨立部署服務
  • 基礎設施隔離:利用雲端原生平台限制形成天然艙壁

「行情資料處理系統」

  • 金融業中用於彙整及發布即時市場資料的系統
  • 彙整來自交易所的原始資料饋送、將其標準化,再把處理後的資料發布給客戶

主要功能

  • 資料彙整:收集來自多個交易場所的原始資料
  • 資料標準化:將不同的資料格式轉換為標準格式
  • 資料發布:將標準化後的市場資料發布給各類客戶
  • 資料記錄:將傳入及處理後的資料寫入日誌檔案,以供復原
  • 訂閱管理:管理下游訂閱者的請求