FSI Meetup 2025 Q4 - Stifel 現代化資料平台

場次筆記

Stifel 概覽：

• 在北美與歐洲約有 10,000 名員工
• 管理資產規模約 5,400 億美元
• 使命：透過房貸、退休規劃與資金提供，協助人們實現夢想
• 代表性專案：在 1950 年代為麥基諾大橋提供融資

資料歷程的類比：

• 現代化前：如同等待一艘載客量有限、候船時間長且營運負擔沉重的渡輪
• 現代化後：如同麥基諾大橋，實現持續流動與無縫連結

現代化資料平台：

• 目標：無縫連結人員、流程與洞察
• 如同連結密西根州的麥基諾大橋
• 透過資料串聯整個企業

現代化前的環境：

• 使用昂貴且強大的 SQL Server
• 透過六個節點實現高可用性
• 其中一個節點位於 AWS 雲端
• 面臨成長所帶來的問題（包括自然成長以及透過合併與收購所帶來的成長）

現代化前的挑戰：

• 由於儲存與運算位於相同伺服器上，資源彼此爭用
• 快速成長導致多個業務團隊各自開發自己的商業邏輯
• 不同業務單位的處理方式僅有些微差異，卻造成技術蔓延
• 缺乏資料治理、資料目錄，以及對可用資料的瞭解

推動現代化的業務因素：

• 建立一套統一的資料，並將完整整合的商業邏輯集中於一處
• 不重複建置，且系統應能不受限制地成長
• 技術應與業務需求一致，而非根據主觀認定的重要性來制定流程
• 提升營運效率、減少阻礙，並確保客戶可取得資料
• 強化治理、法規遵循與控管

平台的高階需求：

• 集中式商業邏輯
• 由業務負責人核准的預先定義資料產品
• 可擴充、易於調整，且在任何資料量或處理壓力下均能維持效能的系統
• 以中繼資料驅動，並採用事件式通知以實現無縫整合
• 資料來源就緒後便持續處理，以符合 SLA
• 發生問題時立即通知維運部門
• 透過全面的監控、警示與工單機制實現可觀測性

選定的方法：資料網格架構

• 採用中樞輻射模型，資料領域與業務單位一致
• 資料產品可在業務單位之間共用，即使並非擁有者也能存取
• 以中繼資料驅動，並採用事件式通知以實現無縫整合
• 持續處理、立即通知問題，並提供全面監控

資料目錄與集中式發布：

• 完全開放的資料目錄，讓業務人員瞭解有哪些可用資料
• 提供集中式位置，向業務端發布及定義資料

三層式架構： 原始資料擷取：

• 從不同供應商與交易系統收集資料
• 資料格式各異，部分資料來自國外
• 儲存在包含歷史資料（最長達 20 多年）的資料湖中
• 資料湖中資料最新的區段

中央治理帳戶：

• 作為所有元件之間的黏著劑
• 支援資料領域與原始資料擷取作業之間的資料共用
• 資料湖中有新資料可用時傳送通知
• 負責治理、資料目錄與業務詞彙表
• 每天執行處理程序以收集資料目錄資訊
• 建立業務詞彙表

資料領域：

• 與業務營運一致
• 每個領域擁有並產出自己的資料，但也會與其他領域共用
• 分析資料領域會收集所有資料，供分析、BI 儀表板、報表、AI 應用程式與智慧化流程使用

導入此架構的主要重點：

聯邦式治理：

• 在領域自主權與組織一致性之間取得平衡
• 讓各領域能建立及管理資料產品，同時遵循集中的品質標準
• 確保創新、可靠性與卓越營運
• 藉由減少系統間的相依性並簡化維護工作，提升營運效率
• 透過降低開發與基礎設施支出達成成本最佳化

技術最佳實務： 事件驅動架構：

• 採用發布／訂閱模式
• 訊息模式：稱為發布者的訊息傳送者將訊息分類，並在無須知道哪些元件會接收訊息的情況下加以傳送。
• 擺脫僵化的批次相依關係
• 實現可動態回應業務事件的即時資料流

中繼資料驅動架構：

• 集中管理相依關係與管線狀態
• 能針對工作流程執行與資源配置做出智慧決策

開放資料格式標準化：

• 使用 Apache Hudi 儲存資料湖資料
• 確保整個技術堆疊之間的互通性
• 為批次與串流工作負載提供最佳化的儲存模式
• 維持資料一致性

組織轉型： 打破資料孤島：

• 將工具集標準化，並導入資料產品方法
• 實現無縫資料共用，並改善跨職能協作

賦予業務領域自主權：

• 在資料治理方面給予更大的自主權
• 能就資料共用或領域專屬資料做出充分掌握資訊的決策

以客戶為優先的資料集：

• 導入可進行即時資料處理並提供個人化客戶體驗的系統
• 強化動態回應客戶需求的能力

敏捷且反應迅速的組織：

• 專注於打造能更妥善服務客戶的組織
• 維持集中管理與領域自主權之間的平衡
• 採用最新的技術變革

歷程時間軸：

• 2021 年：從高階架構著手
• 2023 年：完善架構、向領導團隊簡報並取得核准
• 與 AWS Proserve 合作：協助建置此架構

導入階段：

• 2024 年 9 月：建置並測試核心元件
• 2025 年 1 月：將有限的資料匯入新架構
• 2025 年 9 月：使用架構內的資料建置 API 端點
• 目前：API 已成為支援客戶之應用程式的一部分；持續擴充資料領域並讓更多應用程式上線

未來重點：

• 建立新的資料領域：同時充實現有領域
• 全企業採用：隨著平台上可用的資料增加
• 營運效率：逐步汰換舊有平台
• 非結構化資料與 AI 使用案例：擴充平台以納入非結構化資料與新興 AI 應用

資料網格概覽：

• 去中心化資料架構
• 將資料視為產品
• 將擁有權從中央團隊轉移至各個業務領域

主要原則： 以領域為導向的去中心化：

• 由各個業務領域擁有並管理資料
• 每個領域管理自己的資料產品

資料即產品：

• 將資料視為具備明確價值主張的可使用產品
• 著重資料品質、可探索性與可存取性

自助式資料基礎設施：

• 提供平台，讓各領域能獨立管理自己的資料
• 為各領域提供資料處理與分析所需的工具和能力

聯邦式運算治理：

• 建立資料品質、安全性與法規遵循的標準及準則
• 在領域自主權與組織一致性之間取得平衡
• 確保資料產品符合組織標準，同時保有創新空間

效益：

• 提升敏捷性與擴充能力
• 改善資料產品的管理、共用與分析
• 強化協作與跨職能資料運用
• 提升營運效率並達成成本最佳化
• 支援即時資料處理與個人化客戶體驗