観測から最適化へ – LLM オブザーバビリティから AIOps へ、リアルタイムの洞察をインテリジェントな自動化に変える

セッションノート

LLM 運用における主な課題

• テナントおよびモデルを横断した使用状況の追跡
• 不正利用とプロンプトインジェクションの防止
• SLA を犠牲にしないコスト最適化
• 使用状況、セキュリティ、コストに関する死角は、LLM のスケールを頓挫させる可能性がある。AIOps の意思決定を促進するリアルタイムの洞察
• すべてのプロンプト、トークン、レイテンシーを監視
• 異常と不正利用のパターンを検出
• インテリジェントな自動化を推進
• ライブメトリクスにより、異常を即座に自動修正へつなげる。スマートなオブザーバビリティによる公正な料金設定
• クラウド支出を実際の LLM 使用量に整合
• 使用率の低いリソースを特定し、自動的に適正化
• コスト削減アクション（ゼロへのスケール、バーストキャパシティ）をトリガー
• 価値に対してのみ支払う – 使用量に基づき自動で適正化されるメータリング。オブザーバビリティから AIOps による最適化へ
• よりスマートな自動化により、インシデント解決を迅速化
• 手動調整なしで継続的なコスト効率を実現
• 高パフォーマンスの AI ワークロード
• LLM オブザーバビリティをインテリジェントな AIOps アクションへ変換。—- アーキテクチャ 1 Toby AI を利用する顧客のチャット / AI サービス使用状況
• SaaS クラスター
• Toby AI サービス
• アプリケーションパフォーマンス
• モニタリング
• リアルユーザーモニタリング
• ログおよびメトリクス分析
• 合成モニタリング
• モニタリングルールとアラート 2 テレメトリデータ SaaS（自己監視クラスター）
• Toby AI サービス
• アプリケーションパフォーマンス
• モニタリング
• リアルユーザーモニタリング
• ログおよびメトリクス分析
• 合成モニタリング
• モニタリングルールとアラート 3 AIOps オーケストレーターによるサブスクリプション確認
• コンテキストの拡充
• ポリシーの決定
• アクションをトリガー 4 DevOps オーケストレーターによるランブック、スケール、スロットル、最適化
• GitOps ランブック