관찰을 통한 최적화 – LLM 관찰 가능성에서 AIOps까지, 실시간 인사이트를 지능형 자동화로 전환

세션 노트

LLM 운영의 주요 과제

• 테넌트와 모델 전반의 사용량 추적
• 악용과 프롬프트 인젝션 방지
• SLA를 희생하지 않는 비용 최적화
• 사용량, 보안 및 비용의 사각지대는 LLM 확장을 좌초시킬 수 있음. AIOps 의사 결정을 이끄는 실시간 인사이트
• 모든 프롬프트, 토큰 및 지연 시간 모니터링
• 이상 징후와 악용 패턴 탐지
• 지능형 자동화 추진
• 실시간 지표가 이상 징후를 즉각적인 자동 수정으로 전환. 스마트 관찰 가능성을 통한 공정한 가격 책정
• 클라우드 지출을 실제 LLM 사용량에 맞춤
• 활용도가 낮은 리소스를 식별하고 자동으로 적정 규모 조정
• 비용 절감 작업 트리거(제로 스케일링, 버스트 용량)
• 가치에 대해서만 지불 – 사용량 기반 측정으로 자체 적정 규모 조정. 관찰 가능성에서 AIOps를 활용한 최적화로
• 더 스마트한 자동화로 인시던트 해결 가속화
• 수동 튜닝 없이 지속적인 비용 효율성 달성
• 고성능 AI 워크로드
• LLM 관찰 가능성을 지능형 AIOps 작업으로 전환. —- 아키텍처 1 Toby AI를 사용하는 고객의 채팅/AI 서비스 사용
• SaaS 클러스터
• Toby AI Services
• 애플리케이션 성능
• 모니터링
• 실제 사용자 모니터링
• 로그 및 지표 분석
• 합성 모니터링
• 모니터링 규칙 및 알림 2 텔레메트리 데이터 SaaS(자체 모니터링 클러스터)
• Toby AI Services
• 애플리케이션 성능
• 모니터링
• 실제 사용자 모니터링
• 로그 및 지표 분석
• 합성 모니터링
• 모니터링 규칙 및 알림 3 AIOps 오케스트레이터를 통한 구독 확인
• 컨텍스트 보강
• 정책 결정
• 작업 트리거 4 DevOps 오케스트레이터를 통한 런북, 확장, 조절, 최적화
• GitOps 런북