從觀察到最佳化：從 LLM 可觀測性邁向 AIOps，將即時洞察轉化為智慧自動化

場次筆記

LLM 營運的主要挑戰

• 追蹤跨租戶與模型的使用情況
• 防止濫用與提示注入
• 在不犧牲 SLA 的情況下最佳化成本
• 使用情況、安全性與成本方面的盲點，可能使 LLM 規模化功虧一簣。即時洞察驅動 AIOps 決策
• 監控每個提示、Token 與延遲
• 偵測異常與濫用模式
• 推動智慧自動化
• 即時指標可將異常轉化為立即的自動修復。透過智慧可觀測性實現公平定價
• 讓雲端支出與實際 LLM 使用量一致
• 找出未充分利用的資源，並自動調整為適當規模
• 觸發節省成本的動作（縮減至零、突發容量）
• 只為價值付費——由使用量驅動、可自行調整適當規模的計量方式。運用 AIOps 從可觀測性邁向最佳化
• 更智慧的自動化可加快事件解決速度
• 無須手動調校即可持續提升成本效益
• 高效能 AI 工作負載
• 將 LLM 可觀測性轉化為智慧 AIOps 動作。—- 架構 1：客戶使用 Toby AI 的聊天／AI 服務使用情況
• SaaS 叢集
• Toby AI 服務
• 應用程式效能
• 監控
• 真實使用者監控
• 日誌與指標分析
• 合成監控
• 監控規則與警示 2：遙測資料 SaaS（自我監控叢集）
• Toby AI 服務
• 應用程式效能
• 監控
• 真實使用者監控
• 日誌與指標分析
• 合成監控
• 監控規則與警示 3：使用 AIOps Orchestrator 進行訂閱檢查
• 脈絡豐富化
• 政策決策
• 觸發動作 4：使用 DevOps Orchestrator 執行 Runbook、擴縮、節流與最佳化
• GitOps Runbook