FSI Meetup 2025 Q4 - Graviton 迁移成功案例

场次笔记

利用 AWS 和 EC2 Graviton 推动系统转型

Numora 概览

• 成立已有 100 年，总部位于东京
• 五大业务部门：财富管理、投资管理、销售、全球市场和投资银行
• 口号：“连接东西方市场”
• 秉承纪律严明、锐意进取、提供创新解决方案和发挥思想领导力的传统
• 为企业风险职能提供支持
• 为全球业务运行市场风险和交易对手风险模型
• 计算和数据密集型运营非常适合使用云
• 对延迟基本没有顾虑

部署规模

• 每天使用 EC2 Spot 部署超过 65,000 个核心来执行定价批处理
• 每天生成约 2 TB 数据
• 数据最长保留 7 年
• 目前 S3 占用空间约为 2 TB，并利用 S3 Integring 以经济高效的方式存储历史数据

数据聚合与汇总

• Numora 选择在内存中进行聚合
• 使用超过 100 个超大型 EC2 实例，对信用风险和市场风险模型进行亚秒级聚合

议程

• 公有云对金融机构计算风险的影响
• Numora 风险系统的高层架构
• 定价和聚合使用场景的 Graviton 案例研究
• 迁移过程中的其他注意事项和经验

Numora 系统的高层架构

数据湖仓存储所有输入和输出

• 输入包括交易、历史市场数据和参考数据（账户、货币、国家/地区）
• 混合数据湖仓：主要在本地处理数据，并将数据导出到 S3 以供云端部署使用

定价引擎

• 由 C++ 定价计算器组成
• 加载输入数据、运行模型并输出交易级结果

聚合引擎

• 同时加载数据和参考数据，以便按账簿、国家/地区、货币或交易对手进行亚秒级切片分析

内部定制 BI 工具

• 基于事件的平台
• 提供预设视图，并允许用户创建自己的视图
• 创建虚拟表，以便在应用程序和电子表格中通过 SQL 访问并进行数据透视

定价使用场景与 Graviton 实施

• 大约 5 年前在 AWS 上正式启用定价功能，最初在北弗吉尼亚区域使用 Intel，一年后又增加了俄亥俄区域
• 大约 3 年前将所有定价引擎迁移到 Graviton
• 由于数值准确性至关重要，需要完整地重新编译 C++ 定价引擎并进行数值回归测试
• 在北弗吉尼亚和俄亥俄区域使用完全由 Spot 实例组成的 Auto Scaling 组运行定价引擎
• 利用多种实例类型和不同的 T 恤式规格
• 使用所有 Graviton 实例系列（Graviton 2、3 和 4）及其实例

定价层迁移到 Graviton 后的成果

• 在 4xlarge 实例上运行一个引擎，在 24xlarge 实例上运行四个引擎
• 成本降低 50%
• 性能没有下降，且观察到小幅提升
• 经验总结：谨慎选择部署区域、利用多区域并优化批处理尾部以降低成本

聚合使用场景与 Graviton 实施

• 聚合由大型 JVM 完成
• Java 供应商提供兼容 ARM 的 JVM 后，将聚合层切换到 Graviton
• 由于系统基于 Java，无需重新编译，但进行了全面回归测试
• 使用按需实例加载有状态数据并提供切片分析功能（切片分析通过将数据拆分为更小、更易管理的部分（切片），并重新排列这些元素来观察模式和趋势（切块）。其功能包括：将数据细分以便开展详细分析，以及支持对数据进行多维分析）
• 实施 Compute Savings Plans，覆盖 80% 的用量并降低成本
• 改用可提供额外优化的供应商
• 为聚合引擎实施定制 Spot 实例方案，可暂停或回收未使用的实例，进一步降低成本
• 目前使用 X2GD 实例（带磁盘存储的 Graviton），但也可以利用其他实例类型
• 计划近期迁移到 Graviton 4

聚合平台迁移到 Graviton 后的成果

• 据估算，在相同成本下，聚合平台的扩展能力提升到 3 倍
• 在保持成本不变的同时，支持部署 FRTB IMA 模型等新业务功能

Numora 云迁移历程中的关键经验与建议

尽早投资部署流水线并强制实施资源标记

• 使用集成了实例和操作系统控制引擎的集中式部署流水线
• 有助于保持成本效益并减少错误

在团队中培养创业意识和主人翁精神

• 通过 AWS 节省的成本可再投资于其他使用场景，或直接转化为利润
• 实施一流的可观测性和防护机制

重点关注韧性

• 首先在区域内进行多可用区部署
• 实施多区域部署以增强韧性
• 紧跟 AWS 创新，并在此基础上打造自己的创新
• AWS 为构建系统和解决问题提供了强大的环境