从观察到优化：从 LLM 可观测性迈向 AIOps，将实时洞察转化为智慧自动化

场次笔记

LLM 运营的主要挑战

• 追踪跨租户与模型的使用情况
• 防止滥用与提示注入
• 在不牺牲 SLA 的情况下优化成本
• 使用情况、安全性与成本方面的盲点，可能使 LLM 规模化功亏一篑。实时洞察驱动 AIOps 决策
• 监控每个提示、Token 与延迟
• 检测异常与滥用模式
• 推动智慧自动化
• 实时指标可将异常转化为立即的自动修复。通过智慧可观测性实现公平定价
• 让云支出与实际 LLM 使用量一致
• 找出未充分利用的资源，并自动调整为适当规模
• 触发节省成本的动作（缩减至零、突发容量）
• 只为价值付费——由使用量驱动、可自行调整适当规模的计量方式。使用 AIOps 从可观测性迈向优化
• 更智慧的自动化可加快事件解决速度
• 无须手动调校即可持续提升成本效益
• 高性能 AI 工作负载
• 将 LLM 可观测性转化为智慧 AIOps 动作。—- 架构 1：客户使用 Toby AI 的聊天／AI 服务使用情况
• SaaS 集群
• Toby AI 服务
• 应用程序性能
• 监控
• 真实用户监控
• 日志与指标分析
• 合成监控
• 监控规则与告警 2：遥测数据 SaaS（自我监控集群）
• Toby AI 服务
• 应用程序性能
• 监控
• 真实用户监控
• 日志与指标分析
• 合成监控
• 监控规则与告警 3：使用 AIOps Orchestrator 进行订阅检查
• 上下文丰富化
• 政策决策
• 触发动作 4：使用 DevOps Orchestrator 执行 Runbook、扩缩、节流与优化
• GitOps Runbook

捋