AWS FSI Meetup 回顾

现代交易生命周期:从交易到结算

回顾系列

场次笔记

Brian Cassen 致开场辞:

  • Brian 负责 AWS 资本市场和数据领域的市场拓展。
  • 他已在 AWS 工作七年,协助客户开展云转型和创新。
  • 本场会议将聚焦资本市场交易生命周期的现代化。

来自 NASDAQ 的 Mark Murphy:

  • 就职于金融科技部门,提供关键的市场和金融服务软件。
  • 使用 NASDAQ 销售的产品。
  • 在过去十年中与 AWS 合作,实现技术栈现代化,并与 ASX 等客户共享技术。

来自 Fidelity Investments 的 John Foley:

  • 就职于市场数据团队,负责处理实时报价和交易,并向客户分发数据。
  • 已在 Fidelity 工作 20 年,在行情数据处理系统迁移上云期间负责站点可靠性工程。

来自 Australian Securities Exchange (ASX) 的 Tim Whitley:

  • ASX 首席信息官。
  • 负责 ASX 的综合技术计划,该交易所在澳大利亚举足轻重,但从全球范围来看规模较小。

讨论主题:

  • 现代化过程中获得的经验和面临的挑战。

Mark Murphy 的决定性时刻:

  • 十多年前,NASDAQ 工程师的好奇心促使他们开始对 AWS 进行早期试验。
  • 关键时刻出现在 COVID-19 疫情期间,当时交易所成交量翻倍,本地服务器难以应对。
  • 意识到云基础设施对于实现韧性和保障市场持续服务不可或缺。
  • 加快 NASDAQ 全面的现代化工作,重点关注现代技术和云能力。

John Foley 的介绍:

  • John 就职于 Fidelity Investments,这是一家拥有超过 77,000 名员工、管理资产超过 15 万亿美元的财富管理公司。
  • 他已在该公司工作 20 年,主要任职于市场数据团队。
  • 他的职责包括处理实时报价、交易、历史内容、新闻和社交媒体市场情绪,并将这些数据分发给客户和业务合作伙伴。
  • 在行情数据处理系统迁移上云期间,他负责站点可靠性工程。

Tim Whitley 的介绍:

  • Tim 是 Australian Securities Exchange (ASX) 的首席信息官。
  • 他已在该交易所工作数年。
  • ASX 运营两个交易场所和三项清算服务,该交易所在澳大利亚举足轻重,但从全球范围来看规模较小。
  • Tim 目前负责 ASX 的一项大型技术计划,这是该交易所当前的重点工作。

促使每位嘉宾开始使用 AWS 的决定性时刻或推动因素。

Mark Murphy 的决定性时刻:

  • 十多年前,NASDAQ 工程师的好奇心促使他们开始对 AWS 进行早期试验。
  • 关键时刻出现在 COVID-19 疫情期间,当时交易所成交量翻倍,本地服务器难以应对。
  • 意识到云基础设施对于实现韧性和保障市场持续服务不可或缺。
  • 加快 NASDAQ 全面的现代化工作,重点关注现代技术和云能力。

John Foley 的决定性时刻:

  • John 的 AWS 之旅始于他负责站点可靠性工程、将 Fidelity 的行情数据处理系统迁移上云之时。
  • 此次迁移凸显了云基础设施对于处理实时数据和确保服务可靠性的重要性。
  • 这段经历坚定了 Fidelity 继续投资云技术的必要性。

转折点与战略制定

  • 初始挑战:需要在 3-4 年内更换 ASX 的全部五套核心系统。
  • 顾虑:更换系统可能只会造就一个“崭新的遗留系统”。
  • 战略制定:投入时间制定平台战略,为系统更新奠定基础。
  • 关键组成部分:实施兼顾运营和分析用途的数据平台。
  • 目标:使用数据平台支持核心系统,并推动系统之外的创新。
  • 其他关注点:研究几套后台系统的托管方案。
  • 主要关注点:数据平台及其在核心系统之外的能力。

未来展望与云战略

  • 当前市场的波动,以及人们访问市场和使用数据的方式预计将发生变化。
  • 公司的长期定位:站在资本市场云技术的前沿。
  • 所有产品均已为云就绪。
  • 与 AWS 合作增强基础设施并优化产品。
  • 为客户的各种系统提供更多选择(超低延迟交易、清算、数据平台)。
  • AWS 是此项计划的关键合作伙伴。
  • 强调云的韧性及其处理高容量负载的能力。
  • 云在缩短上市时间和支持高风险创新方面发挥作用。

AWS 数据平台的优势

  • 无需对数据平台进行大规模资本投入。
  • 支持在平台之上进行创新。
  • 普及数据平台的访问权限并提供出色的工具,可激发组织内部自发创新。
  • 目标:NASDAQ 计划向全球交易所提供该数据平台,帮助其推广交易所、提高流动性并推动组织创新。

AI 对市场数据的影响

  • AI 正在快速发展,并颠覆技术的多个方面,包括代码编写、文档、测试代码、代码重构、聊天机器人、客户服务、个性化、自动化、DevOps 和 SRE(站点可靠性工程)。
  • 在市场数据领域,AI 的作用是为客户提供洞察,帮助其做出有利可图的决策。
  • 挑战:AI 难以处理大型数据集和大量参数。
  • 解决方案:需要云基础设施和强大的算力,以整合实时交易活动、历史趋势、新闻和社交媒体情绪。
  • 未来重点:在云中弹性扩缩容,以快速完成计算并提供洞察。

由数据和 AI 驱动的转型

  • 平台理念应将数据平台置于技术栈的顶层。
  • 撮合引擎和清算系统是重要的通用能力,但并非核心业务。
  • 数据将推动整体业务转型和客户体验提升。
  • 利用数据获得更好成果的能力至关重要。
  • 要在 AI 驱动的未来保持领先,准备好数据并采用适当的架构必不可少。

主要经验与洞察

  • 现代化的挑战:NASDAQ Eqlipse 智能平台的发布凸显了帮助客户实现数据平台和战略现代化的困难。尽管客户了解现代化的必要性,但执行并实现这些目标极具挑战。
  • 人才招聘与留任:在交易所环境中,很难招聘并留住所需人才,以成功实现数据平台现代化。
  • AWS 产品与现代化:AWS 提供了出色的产品,并持续对其进行现代化和改进,使其更易于使用。然而,在交易所环境中大规模实施这些产品仍然充满挑战。
  • 客户支持与全程协助:大多数客户知道自己想实现什么,但需要大量帮助和支持才能达成目标。仅仅启用 AWS 服务可能不足以支持大规模日常运营。
  • 监管合规:要说服监管机构允许国家级交易所迁移到公有云,尤其是在不同国家和地区,需要证明云解决方案的安全性、保障能力和韧性。
  • 经验总结:需要为全球客户提供全面支持和全程协助,帮助其成功应对现代化和监管合规的复杂问题。

将 Fidelity 市场数据行情处理系统迁移上云的主要经验

  • 全新经历:将实时市场数据行情处理系统迁移上云对 AWS 和 Fidelity 而言都是全新经历,带来了独特挑战。
  • 超级碗模式与市场数据的对比:市场数据不同于流量突然激增的超级碗模式,它会在开市时出现一次集中而猛烈的流量爆发,需要采用不同的处理方式。
  • 与 AWS 的关键合作:与 AWS 的合作至关重要,其中涉及 OEM 流程,由 AWS 专家深入了解 Fidelity 的基础设施和架构。这样一来,出现问题时便可实时反馈并立即采取行动。
  • 异常检测与告警:AWS 协助构建异常检测和告警机制,从而无需逐级上报即可快速响应问题。
  • 应用程序重构:一项重要经验是,在迁移上云时需要重构应用程序。简单地原样迁移单体应用程序并不可行,还会引发问题。
  • 面向服务的架构:应用程序需要拆分为服务,获得适当保护并合理扩缩容。实施安全模式、舱壁和断路器等故障应对模式至关重要。
  • 运行状况检查与告警:如果管理不当,过于敏感的运行状况检查可能会拆除基础设施。确保容器处于良好运行状态至关重要,以免在错误的基础设施上继续发送正常流量。
  • 长期收益:尽管针对云重构应用程序需要前期投入,但会在可扩展性、优化和性能方面带来长期回报。

其他经验与洞察

  • 双速变革模式:目标是在交易所内部实施双速变革模式,允许不同团队以不同速度运作,在保持合规的同时促进创新。
  • 聚焦数据平台:继续聚焦数据平台,以支持这种双速变革模式,并帮助 ASX 推进其转型之旅。
  • 致谢与未来合作:感谢嘉宾分享宝贵洞察,并期待未来三到五年继续与 AWS 合作。

双速变革模式

  • 具有两种不同运行速度的企业架构方法
  • 快速前端系统依赖较慢的后端数据,导致集成问题和组织摩擦
  • DevOps 和“全面敏捷”思维等现代方法已在很大程度上取代该模式

“快速层”(节奏层 1)

  • 面向客户的应用程序和系统
  • 使用敏捷方法进行频繁、快速的更新
  • 示例:电子商务平台、移动应用

“慢速层”(节奏层 2)

  • 稳定且任务关键型的后端遗留系统
  • 可靠性和稳定性至关重要
  • 以更为审慎有序的方式进行变更
  • 示例:核心银行系统、信用卡处理

舱壁

  • 在软件架构中实施舱壁模式
  • 将应用程序的各个元素隔离到不同资源池中,防止级联故障

代码级(资源隔离)

  • 线程池隔离:为不同类型的操作使用独立线程池
  • 连接池隔离:为不同操作使用独立的数据库连接池

系统级(架构隔离)

  • 服务级隔离:在微服务架构中独立部署服务
  • 基础设施隔离:将云原生平台的限制用作天然舱壁

“行情数据处理系统”

  • 金融行业中用于汇总和分发实时市场数据的系统
  • 汇总来自交易所的原始数据源,对其进行标准化,并将处理后的数据发布给客户

主要功能

  • 数据汇总:从多个交易场所收集原始数据
  • 数据标准化:将不同的数据格式转换为标准格式
  • 数据分发:向不同客户发布标准化的市场数据
  • 数据日志记录:将传入数据和处理后的数据写入日志文件,以便恢复
  • 订阅管理:管理下游订阅者的请求