Pagbabalik-tanaw sa AWS Amarathon 2025

Mag-obserba upang Mag-optimize – Mula LLM Observability tungong AIOps: Ginagawang intelligent automation ang mga real-time insight

Serye ng Pagbabalik-tanaw

Mga Tala ng Sesyon

Mga Pangunahing Hamon sa Operasyon ng LLM

  • Pagsubaybay sa paggamit sa iba't ibang tenant at model
  • Pagpigil sa pang-aabuso at prompt injection
  • Pag-optimize ng gastos nang hindi isinasakripisyo ang SLA
  • Maaaring makasira sa pag-scale ng LLM ang mga blind spot sa paggamit, seguridad, at gastos. Mga Real-Time Insight na Gumagabay sa mga Desisyon ng AIOps
  • Subaybayan ang bawat prompt, token, at latency
  • Tukuyin ang mga anomaly at pattern ng pang-aabuso
  • Isulong ang intelligent automation
  • Ginagawang agaran at awtomatikong pag-aayos ng mga live metric ang mga anomaly. Makatarungang Pagpepresyo sa Pamamagitan ng Matalinong Observability
  • Itugma ang gastos sa cloud sa aktuwal na paggamit ng LLM
  • Tukuyin ang mga resource na hindi lubos na nagagamit at awtomatikong i-right-size ang mga ito
  • Mag-trigger ng mga aksyong nakakatipid sa gastos (scale-to-zero, burst capacity)
  • Magbayad lamang para sa halagang nakukuha – usage-driven metering na kusang nagra-right-size. Mula Observability tungong Optimization gamit ang AIOps
  • Pinabibilis ng mas matalinong automation ang paglutas ng incident
  • Tuloy-tuloy na cost efficiency nang walang manual tuning
  • Mga high-performing AI workload
  • gawing matatalinong aksyon ng AIOps ang LLM observability. —- Arkitektura 1 Paggamit ng Chat / AI Services kasama ang mga Customer na gumagamit ng Toby AI
  • SaaS Cluster
  • Toby AI Services
  • Performance ng Application
  • Pagsubaybay
  • Pagsubaybay sa Tunay na User
  • Analytics ng mga Log at Metric
  • Synthetic Monitoring
  • Mga Panuntunan at Alert sa Pagsubaybay 2 Telemetry Data SaaS (Cluster na Sinusubaybayan ang Sarili)
  • Toby AI Services
  • Performance ng Application
  • Pagsubaybay
  • Pagsubaybay sa Tunay na User
  • Analytics ng mga Log at Metric
  • Synthetic Monitoring
  • Mga Panuntunan at Alert sa Pagsubaybay 3 Pagsusuri ng Subscription gamit ang AIOps Orchestrator
  • Pagpapayaman ng Context
  • Desisyon sa Policy
  • Mga Trigger Action 4 Runbook, Pag-scale, Pag-throttle, at Pag-optimize gamit ang DevOps Orchestrator
  • GitOps Runbooks