FSI Meetup 2025 Q4 - Stifel 现代数据平台

场次笔记

Stifel 概览：

• 在北美和欧洲拥有约 10,000 名员工
• 管理资产约 5,400 亿美元
• 使命：通过抵押贷款、退休规划和资金支持帮助人们实现梦想
• 代表性项目：20 世纪 50 年代为 Mackinac Bridge 提供融资

数据历程类比：

• 现代化改造前：如同等待运力有限、候船时间长且运营开销高昂的渡轮
• 现代化改造后：如同 Mackinac Bridge，实现持续流动和无缝连接

现代数据平台：

• 目标：无缝连接人员、流程和洞察
• 类似于连接 Michigan 的 Mackinac Bridge
• 通过数据将业务连接起来

现代化改造前的环境：

• 使用昂贵且功能强大的 SQL Server
• 通过六个节点实现高可用性
• 其中一个节点位于 AWS 云上
• 面临增长方面的问题（包括自然增长以及并购带来的增长）

现代化改造前的挑战：

• 由于存储和计算位于相同服务器上，资源争用严重
• 快速增长导致多个业务团队各自开发业务逻辑
• 不同业务部门的处理方式存在细微差异，造成技术无序扩张
• 缺乏数据治理、数据目录以及对可用数据的了解

现代化改造的业务驱动因素：

• 在一个位置提供统一的数据集和完全整合的业务逻辑
• 消除重复，系统应能够不受限制地扩展
• 技术应与业务需求保持一致，而不是根据主观认定的重要性来制定流程
• 提高运营效率、减少阻碍，并确保客户可以获得数据
• 加强治理、合规和控制

平台的高层要求：

• 集中式业务逻辑
• 由业务负责人批准的预定义数据产品
• 系统可扩展、易于调整，并能在任何数据或流程压力下保持高性能
• 由元数据驱动，采用基于事件的通知以实现无缝集成
• 数据源就绪后持续处理，以满足 SLA
• 出现问题时立即通知运营部门
• 通过全面的监控、告警和工单机制实现可观测性

选定方案：数据网格架构

• 采用中心辐射模型，数据域与业务部门保持一致
• 数据产品在业务部门之间共享，即使不是所有者也可以访问
• 由元数据驱动，采用基于事件的通知以实现无缝集成
• 持续处理、立即通知问题并进行全面监控

数据目录与集中发布：

• 完全开放数据目录，让业务部门了解可用数据
• 集中发布数据并为业务定义数据

三层架构： 原始数据摄取：

• 从各种供应商和交易系统收集数据
• 数据格式各异，部分数据来自境外
• 存储在包含历史数据（最长超过 20 年）的数据湖中
• 数据湖中最新的数据区域

中央治理账户：

• 充当所有组件之间的黏合剂
• 支持数据域与原始数据摄取之间的数据共享
• 数据湖中有新数据可用时发送通知
• 负责治理、数据目录和业务术语表
• 每天运行流程以收集数据目录信息
• 制定业务术语表

数据域：

• 与业务运营保持一致
• 每个域拥有并生成自己的数据，同时与其他域共享
• 分析数据域收集用于分析、BI 仪表板、报告、AI 应用程序和智能流程的所有数据

实施该架构的关键要点：

联邦式治理：

• 在数据域自治与组织一致性之间取得平衡
• 使各数据域能够创建和管理数据产品，同时遵循集中制定的质量标准
• 确保创新、可靠性和卓越运营
• 通过减少系统间依赖并简化维护来提高运营效率
• 通过减少开发和基础设施支出来实现成本优化

技术最佳实践： 事件驱动架构：

• 采用发布-订阅模式
• 消息传递模式：称为发布者的消息发送方将消息归类并发送，而无需知道哪些组件会接收消息
• 摆脱僵化的批处理依赖关系
• 实现可动态响应业务事件的实时数据流

元数据驱动架构：

• 集中管理依赖关系和流水线状态
• 支持对工作流执行和资源分配做出智能决策

开放数据格式标准化：

• 使用 Apache Hudi 进行数据湖存储
• 确保整个技术栈的互操作性
• 为批处理和流式处理工作负载提供优化的存储模式
• 保持数据一致性

组织转型： 打破数据孤岛：

• 统一工具集并实施数据产品方法
• 实现无缝数据共享并改善跨职能协作

赋能业务域：

• 赋予业务域更大的数据治理自主权
• 支持就共享数据还是保留域专用数据做出明智决策

客户优先的数据体系：

• 实施支持实时数据处理和个性化客户体验的系统
• 增强动态响应客户需求的能力

敏捷且响应迅速的组织：

• 专注于打造能够更好地服务客户的组织
• 在集中管理与数据域自治之间保持平衡
• 积极采用最新技术变革

历程时间线：

• 2021 年：从高层架构入手
• 2023 年：完善架构，向管理层展示并获得批准
• 引入 AWS ProServe：协助构建架构

实施阶段：

• 2024 年 9 月：构建并测试核心组件
• 2025 年 1 月：将少量数据导入新架构
• 2025 年 9 月：使用架构内的数据构建 API 端点
• 当前：API 已成为支持客户的应用程序的一部分；持续充实数据域并接入更多应用程序

未来重点：

• 构建新数据域：同时充实现有数据域
• 全企业采用：随着平台上可用数据不断增加而推进
• 运营效率：逐步淘汰旧平台后实现提升
• 非结构化数据和 AI 使用场景：扩展平台，使其涵盖非结构化数据和新兴 AI 应用程序

数据网格概览：

• 去中心化数据架构
• 将数据视为产品
• 将所有权从中央团队转移到各个业务域

关键原则： 面向领域的去中心化：

• 由各个业务域拥有并管理数据
• 每个域管理自己的数据产品

数据即产品：

• 将数据视为具有明确价值主张的可消费产品
• 注重数据质量、可发现性和可访问性

自助式数据基础设施：

• 提供一个支持各数据域独立管理数据的平台
• 为各数据域提供数据处理和分析所需的工具与能力

联邦式计算治理：

• 制定数据质量、安全和合规方面的标准与指南
• 在数据域自治与组织一致性之间取得平衡
• 确保数据产品符合组织标准，同时允许创新

优势：

• 提高敏捷性和可扩展性
• 更好地管理、共享和分析数据产品
• 加强协作和跨职能数据使用
• 提高运营效率并优化成本
• 支持实时数据处理和个性化客户体验