AWS Amarathon 2025 回顾

使用 CNCF Kagent、K8sGPT 和 Nova Sonic 转型 K8s 对话式智能体 AIOps

回顾系列

场次笔记

Kubernetes 运维挑战

运维数据量庞大,故障排查耗时

  • 平均 MTTR 超过 4 小时,其中人工分析占 65%
  • 分析数据量可达 TB 级。资源类型繁多、关联复杂
  • 大量集群对象、事件和日志数据。在多种工具之间切换复杂
  • SRE 每天在 8 种以上工具之间切换,上下文切换成本高。针对告警进行故障排查既复杂又耗时
  • 自动化能力有限
  • 只有 30% 的常见故障可以自动修复,复杂场景仍依赖人工决策。K8s 的学习成本和门槛高
  • 运维效率对比
  • 采用 AIOps 的企业,其平均故障恢复时间(MTTR)比传统模式缩短 90%,运维成本降低 50%。核心价值

1. 故障自愈:通过 AI 预测和自动化脚本,实现部分故障的无人值守修复。

2. 智能监控:从海量日志和指标中精准定位问题根本原因,告别大海捞针式搜索。

3. 释放人力资源:让 SRE 团队摆脱重复性工作,专注于更有价值的创新任务。


Kagent 驱动的 AIOps 解决方案

Kagent:云原生智能体 AI 框架

  • CNCF 2025 开源沙箱项目,是专为 K8s 云原生场景打造的智能体框架。
  • 通过集成多个模型平台(Amazon Bedrock、Anthropic、OpenAI 等),构建基于 K8s 的智能体系统。核心优势:
  • K8s 云原生:与 K8s 生态系统原生集成,自然融入现有集群
  • 丰富的使用场景:适用于任何 AI 智能体使用场景
  • 丰富的工具集成:支持自定义 MCP 工具、内置多种 K8s 工具和预配置的智能体
  • 可视化界面:UI 界面演进为多智能体工作流编排,更直观、更高效
  • 全面的可观测性:内置跟踪、日志记录和监控能力,支持集成常用的可观测性工具。使用场景:
  • 云原生运维自动化、多集群管理、任何多智能体协作系统、AIOps 实践等。

Amazon Nova Sonic:推动语音对话式 AIOps

  • Amazon Nova Sonic 是 Amazon Bedrock 提供的语音对话模型。
  • 它统一了传统上相互分离的语音理解和语音生成模型,能够进行贴近现实、类似人类的语音对话,支持多种语言和语调,并具有低延迟和高性能。使用场景:
  • AI 智能客服:全天候响应客户咨询
  • 企业语音助手:集成知识库、智能体和外部工具,提供定制化服务
  • 多语言学习工具:支持多种语言
  • 多行业应用:金融科技、医疗健康、智能家居等。与运维场景结合的核心价值:
  • 将传统复杂的人工故障排查 + 修复简化为语音对话,最大限度发挥 AIOps 智能运维能力,降低 MTTR

K8sGPT:开源 K8s 故障诊断专家

  • CNCF 开源沙箱项目,为 Kubernetes 维护提供 AI 驱动的可观测性和自动化运维
  • 支持 CLI 和 Operator 双模式,可进行即时分析和持续监控
  • 扫描集群资源、事件、日志和指标,集成 Amazon Bedrock 上的 AI 模型来生成文本洞察和解释,还可以与 Kiro 的 MCP 功能集成,通过自然语言观察和维护集群
  • 解决传统运维被动响应的问题,采用主动式 AI 智能运维
  • 支持多种自定义分析器和可观测性工具,可与 Prometheus、Alertmanager、Grafana 等集成。

演示集群:

  • 部署在 Amazon Web Services 上的 EKS 托管集群,集群名称:eks-cluster
  • 集群资源概览:该集群通过 ArgoCD 的 application 部署从 GitHub 读取的多项 K8s 资源。包括 2 个 pods、1 个 service 和 1 个 Deployment
  • Pod 问题:内存限制设置为 200Mi,但运行的是一个 205Mi 的进程,导致 CrashLoopBackOff。实验性修复场景:
  • K8sGPT 识别 Pod 问题,并提供解释和修复建议。
  • 最后,通过 ArgoCD 调整 application 内 Helm Chart 的内存限制参数,触发 ArgoCD 修改 pod 配置,使 pod 成功启动。

总结

  • 了解如何以 Amazon Bedrock AgentCore 为基础,在 AI 多智能体协作系统的赋能下,从零开始构建 K8s 智能运维解决方案。
  • 只需一个简单句子,即可完成从问题识别、诊断到全自动修复的整个过程,大幅简化海量运维数据分析和人工修复操作,降低人为错误风险。
  • 与 K8sGPT 原有的有限自动修复能力相比,该解决方案增加了更多基于业务的自动修复功能,使其更加灵活且可扩展。
  • 对于自动修复场景,我们引入 HITL(Human-in-the-Loop)流程,以确保自动修复的可靠性和可控性。
  • 利用 ArgoCD 的原生能力,所有修复操作均可审计、可回滚,从而降低维护风险。
  • 运维工程师可以直接通过语音最大限度发挥 AIOps 智能运维能力,显著降低 MTTI 和 MTTR。
  • 未来计划:集成 CloudWatch Anomaly Detection(AD)和 DevOps Guru,根据历史数据分析预测潜在的 K8s 集群故障。