Zurich Insurance Group：在 AWS 上构建高效的日志管理解决方案

场次笔记

议程从基础知识开始

什么是日志管理，以及它为何对金融行业组织至关重要
日志管理在合规、安全和运营效率方面的作用

探讨金融机构在日志管理方面面临的独特挑战

处理海量数据
满足监管要求
管理成本

讨论 Zurich 对日志管理解决方案的具体目标

了解所选方案

深入了解解决方案的技术细节

概述使用的主要 AWS 服务
说明可扩展性、成本效益和效率方面的设计原则

回顾取得的成果和收益

将经验应用于其他金融行业组织

最后总结关键要点

为正在使用或考虑使用 AWS 进行日志管理的组织提供可行建议

内容注重实用性和共鸣，以现实策略为重点，并为受众的实践之路提供启发

从基本原理讲起：

为什么日志管理在金融行业中很重要？

日志管理基础知识

日志来源：日志来自服务器、设备、网络设备、云服务等
日志收集：集中收集日志对于可见性和合规至关重要
处理与分析：过滤噪声、补充上下文，以及识别模式或危险信号
存储与保留：安全、有序的长期存储（例如 S3 存储层）对于合规至关重要
洞察与行动：利用数据获得可付诸行动的洞察并采取应对措施

日志管理对金融服务至关重要，主要有以下三个原因：

合规：监管机构要求提供已履行审慎义务的证明，而日志可作为证据。
安全：日志对于及早发现和缓解威胁至关重要。
运营效率：系统平稳运行能让客户、员工和监管机构都满意。
日志管理不只是收集数据，更要将数据转化为有用的洞察，从而保护系统、遵守法规并提高运营效率。

主要痛点：

Zurich 在日志管理方面面临的具体挑战：

集中式日志记录的成本可能迅速攀升。
原有方案对所有日志一视同仁，将一切内容存入高成本存储，并将所有日志都作为关键日志处理，导致成本快速上升。

数据量：

金融服务会从各种来源（防火墙规则、访问尝试、漏洞扫描等）生成海量日志数据。
由于需要处理敏感数据，安全系统每天会生成数 TB 的日志。
并非所有安全日志都同等重要；有些可以稍后分析，而关键告警则需要立即处理。

合规法规：

PCI DSS 和 GDPR 等法规要求保留日志（例如，为审计保留七年）以及详细的访问记录。
要在不过度增加成本的前提下，确保日志安全、防篡改且可访问，颇具挑战。

成本效益：

在全面日志管理的需求与高性价比解决方案之间取得平衡至关重要。

对所有日志一视同仁会造成资源浪费：

并非所有日志都需要成本高昂的实时处理。
示例：一次性调试日志与包含安全关键信息的 API 访问日志。
需要根据日志的重要性和潜在用途进行存储和保留。

复杂性和集成挑战：

日志来自各种来源（遗留系统、云服务、应用和设备），格式各不相同。
系统之间的转换可能导致延迟和监控盲区。
示例：漏洞管理系统和 CASB 工具（云访问安全代理）使用不同的格式。

安全与实时分析：

SIME（安全信息与事件管理）日志对于威胁检测和响应至关重要。
需要快速高效地分析日志以发现模式（例如，登录失败尝试可能表明暴力破解攻击）。
信任在金融行业至关重要，因此及时检测威胁不可或缺。

挑战总结：

数据量过于庞大
严格的合规要求
高昂的日志记录成本
混乱的集成
实时安全需求

解决方案目标：

对日志管理方案进行现代化改造：
不再对所有日志一视同仁。
使用可扩展的工具，根据重要性确定数据收集的优先级。

降低成本：

在不影响性能和合规的前提下，降低每 GB 数据的摄取成本。
在摄取前过滤不必要的日志，以更智能的方式管理数据。

停用旧的 SIME（安全信息与事件管理）基础设施：

淘汰遗留系统，以减少技术债务、高昂的维护成本、性能缓慢和扩展能力有限等问题。
释放资源，用于更现代、更高效的解决方案。

提高分析性能：

降低延迟并缩短日志搜索时间，从而更快获得洞察并进行实时决策。
专注于提供更优性能，避免不必要的延迟。

目标总结：

实现更智能的日志管理，以降低成本、简化环境并提供更优性能。
聚焦最重要的事项。

解决方案架构：根据重要性确定日志优先级：

高优先级日志（例如安全事件）会被路由以供立即分析。
较低优先级的日志（例如合规相关日志）存储在 S3 等经济高效的归档存储中。
确保资源集中用于关键数据，同时控制成本。

ETL 管道：

充当日志的流量控制器，过滤不必要的数据以降低摄取成本。
使用额外的元数据丰富数据，使日志更便于采取行动。
将数据路由到适当的目标位置（实时分析或长期存储）。
对于降低每 GB 数据的摄取成本，并确保有价值的数据能在需要的位置使用，此管道至关重要。

将日志路由到 SIME 和 AWS 基础设施：

完成优先级划分和处理后，日志会被导入 SIME（安全信息与事件管理）和 AWS 基础设施，以供进一步分析和存储。

AWS 基础设施组件及其作用： Amazon OpenSearch Service：

通过快速日志搜索实现实时分析。
为 DevOps 和安全团队提供控制面板及监控工具。
有助于快速确定根本原因（例如，登录失败尝试突然激增）。

Amazon S3：

存储所有日志以满足合规要求。
可扩展、安全且经济高效。
非常适合满足合规需求。

AWS Glue 和 Data Catalog：

整理日志并使其可供搜索。
减少搜索原始数据所花费的时间。

Amazon Athena：

无需移动数据即可直接查询 S3 中的数据。
对深入调查和临时分析而言经济高效。
适合用于调查潜在的合规问题。

结合数据优先级划分、ETL 功能和 AWS 服务：

实现日志管理方案的现代化。
仅存储和处理最重要的日志，从而降低成本。
通过淘汰遗留的 SIME（安全信息与事件管理）系统来简化基础设施。
通过更快的日志搜索和更强的分析能力提升性能。

解决方案的收益和成果：成本节省：

将 SIME（安全信息与事件管理）的每日摄取量从 5 TB 降至 500 GB。
通过部署带有版本控制和自动备份的 Cribl 实现。
在摄取前过滤掉不必要的日志。
使用 Terraform 实现快速扩展。

性能提升：

按防火墙统计防火墙事件的示例查询耗时从 93 秒缩短至 2 秒。
OpenSearch 经验证速度快且易于管理。
一键部署和升级。
使用受版本控制的 Terraform，实现一致且可靠的发布。

全面整顿和减少技术债务：

淘汰旧的 SIME（安全信息与事件管理）基础设施，消除技术债务。
迁移到精简的现代化架构。

可扩展性：

使用 S3 等 AWS 服务进行分层数据存储（频繁访问、低频访问和 Glacier）。
使用 Terraform 对 Cribl 和其他组件实现快速扩展。
系统可随组织需求增长而扩展。

合规与安全：

日志安全地存储在 S3 中，并可在 OpenSearch 中轻松搜索。
使监管报告和安全监控更快速、更简单、更可靠。

实践过程中获得的关键经验：优先处理正确的数据：

并非所有日志都同等重要；应根据重要性区别对待。
Zurich 通过优先处理关键日志，将摄取成本降低了 50% 以上。

投资现代化工具：

使用针对当前挑战而设计的工具（例如 Cribl、AWS OpenSearch 和 S3）。
这些工具可随组织发展实现无缝扩展。

通过自动化确保一致性：

利用自动化（例如 Terraform）完成部署、升级和扩展。
减少人为错误，并让团队腾出精力处理战略性任务。

不局限于合规：

现代日志管理可以提供更快的搜索、实时洞察和更好的安全监控。
重点应是让数据为组织发挥作用，而不只是满足监管要求。

总结：

更智能的日志管理方案能够带来变革。
优先处理重要事项、投资现代化工具、实现流程自动化，并超越单纯的合规要求。

日志管理的未来计划：

继续专注于节省成本：

完善 S3 分层策略，优化存储效率。
根据使用情况，在频繁访问、低频访问和 Glacier 存储层之间转移日志。

扩展自动化：

使用 Terraform 进一步简化扩展和配置更新。
目标是让基础设施几乎能够自行运行。

集成高级分析：

利用 OpenSearch 的内置机器学习功能，例如异常检测。
在日志数据中的异常模式升级之前将其发现。

导入并优化 SIME 关联搜索和告警：

继续从旧的遗留 SIME（安全信息与事件管理）迁移，将这些搜索和告警导入 OpenSearch 并加以优化。
在采用现代化平台的同时保持高标准的监控。

加强数据治理：

使用 AWS Glue 等工具增强元数据管理。
保持日志井然有序，并提前满足合规要求。

探索将生成式 AI 与 OpenSearch 结合使用：

将 OpenSearch 用作向量数据库，为 AI 使用场景中的检索增强生成（RAG）提供支持。
示例：使用日志训练 AI 模型，在系统问题发生前进行预测。

Zurich Insurance Group：在 AWS 上构建高效的日志管理解决方案

回顾系列

场次笔记