Coinbase re:Invent 요약 (IND3312)

세션 노트

Coinbase의 대화식 AI를 통한 확장 지원, 규정 준수 및 생산성

금융 서비스의 생성형 AI 개발 개요

2023년: LLM의 등장

• 고객 및 엔터프라이즈 애플리케이션용 LLM이 시장에 진입하기 시작했습니다.
• 초기에는 데이터의 신뢰성과 보안에 중점을 두었습니다.
• 데이터의 안전성과 유용성에 관한 의문이 제기되었습니다.
• 기업에서 검색 증강 생성(RAG)의 중요성이 부각되었습니다.
• FSI 고객은 가치 있는 데이터를 보유하고 있었지만 이를 안전하게 활용하는 방법을 확신하지 못했습니다.

고객지원 챗봇

• 50% 이상의 고객은 지원 채널로 채팅을 선호합니다.
• Coinbase의 광범위한 지식 기반에 대한 교육을 받았습니다.
• 시장 변동성에 맞춰 24시간 즉각적이고 정확한 지원을 제공합니다.

FAQ 스타일 RAG 응답

• 간단한 FAQ-style 응답으로 일반적인 쿼리(예: 로그인 문제, 2단계 인증)를 자동화합니다.
• 탄탄한 기반을 구축하기 위해 정확성에 중점을 둡니다.

Cohere의 Rerank 모델은 검색 관련성을 향상시킵니다.

• 초기 검색 결과를 의미론적으로 재정렬합니다.
• 키워드 이상의 쿼리 문서 컨텍스트를 이해합니다.
• 100 언어를 통해 지원
• JSON 및 코드와 같은 복잡한 데이터를 처리합니다.
• Retrieval-Augmented Generation (RAG) 시스템을 개선합니다.
• 기업 검색 정확도 향상
• 더 빠른 사용자 경험을 제공합니다
• 검색 파이프라인의 강력한 두 번째 단계로 기능합니다.
• 깊은 관련성 점수를 기준으로 키워드 또는 벡터 검색 결과를 정렬합니다.
• 주요 기능
• Rerank-v3.5: 최첨단 성능, 향상된 추론 및 광범위한 데이터 호환성(텍스트, JSON, 코드).
• Rerank-english-v3.0: 영어 문서 및 반구조화된 데이터.
• Rerank-multilingual-v3.0: 영어가 아닌 콘텐츠의 경우 100 언어를 통해 지원됩니다.
• Rerank 3 Nimble: 전자상거래 검색과 같은 대용량 사용 사례에 대해 효율성을 우선시하고 대기 시간을 줄여 전환율을 높입니다.

크로스 인코더 아키텍처

• 모든 토큰 간의 교차 주의 메커니즘을 사용하여 관련성을 결정하는 두 가지 입력(예: 쿼리 및 문서)을 단일 시퀀스로 공동 처리하는 모델입니다.
• 주요 특징
• 공동처리
• 교차주의
• 단일 출력
• 첫 번째 단계(바이-인코더)
• 두 번째 단계(크로스 인코더)

규정 준수 프로세스

• KYC, KYB 및 TMS를 구현합니다.
• 인력에 대한 의존도가 높고 철저한 조사가 이루어집니다.
• 국가별 다양한 규제 요구 사항에 대한 자세한 설명 및 적응성이 필요합니다.
• 규정 준수 전략
• MCP 인터페이스를 통해 LLM 및 데이터에 액세스하기 위한 내부 플랫폼을 활용합니다.
• AnyScale 기반 ML 플랫폼을 기반으로 구축된 고위험 규정 준수 사례를 탐지하기 위한 기존 기계 학습 모델을 포함합니다.

Ray-powered 확장성

• Ray clusters를 최적화하고 관리합니다.
• 수천 개의 CPU 및 GPU에 걸쳐 효율적인 배포 및 확장이 가능합니다.
• 대규모 데이터 세트와 복잡한 모델을 처리합니다.
• Ray AI 라이브러리
• Ray Data: 확장 가능한 데이터 처리를 위해 특히 이미지, 오디오, 비디오와 같은 구조화되지 않은 데이터에 적합합니다.
• Ray Train: PyTorch, PyTorch Lightning 및 Hugging Face Transformers와 같은 프레임워크에 대한 통합을 통해 분산 모델 훈련을 위한 것입니다.
• Ray Tune: 확장 ​​가능하고 내결함성이 있는 하이퍼 매개변수 조정 및 실험 실행을 위한 프레임워크입니다.
• Ray Serve: 기계 학습 모델을 지연 시간이 짧은 확장 가능하고 프로그래밍 가능한 API로 배포하고 제공합니다.
• RLlib: 로봇 공학부터 금융까지 광범위한 애플리케이션을 지원하는 강화 학습을 위한 업계 수준의 라이브러리입니다.

Compliance Auto Resolution Engine (CAR)

• 전체 검토 프로세스의 조정자 역할을 하는 솔루션의 중심입니다.
• 에이전틱 AI 기반 워크플로에서 자동화와 사람의 전문 지식을 모두 활용합니다.
• 사람 참여형 프로세스
• 두 인간 페르소나와의 상호 작용:
• 규정 준수 운영 에이전트: AI 시스템 결과를 검토하고 개선을 위한 피드백을 제공합니다.
• 최종 고객: 필요한 경우 추가 정보를 문의하세요.

Coinbase re:Invent 요약(IND3312)

Coinbase의 대화식 AI를 통한 확장 지원, 규정 준수 및 생산성

고객지원 챗봇

• 50% 이상의 고객은 지원 채널로 채팅을 선호합니다.
• Coinbase의 광범위한 지식 기반에 대한 교육을 받았습니다.
• 시장 변동성에 맞춰 24시간 즉각적이고 정확한 지원을 제공합니다.

FAQ 스타일 RAG 응답

• 간단한, FAQ-style 응답을 통해 일반적인 쿼리를 자동화합니다(예: 로그인 문제, 2단계 인증)
• 강력한 인증 기반 구축을 위해 정확성에 중점을 둡니다).

Cohere의 Rerank 모델은 검색 관련성을 향상시킵니다.

• 초기 검색 결과를 의미적으로 재정렬합니다.
• 키워드 이상의 쿼리-문서 컨텍스트를 이해합니다.
• 100 언어 이상 지원
• JSON 및 코드와 같은 복잡한 데이터를 처리합니다.
• Retrieval-Augmented Generation (RAG) 시스템을 개선합니다.
• 기업 검색 정확도 향상
• 더 빠른 사용자 경험을 제공합니다
• 검색 파이프라인의 강력한 두 번째 단계로 기능합니다.
• 깊은 관련성 점수를 기준으로 키워드 또는 벡터 검색 결과를 정렬합니다.

Cohere의 Rerank 모델 주요 기능

• Rerank-v3.5: 최첨단 성능, 향상된 추론 및 광범위한 데이터
• Rerank-english-v3.0: 영어 문서 및 반구조화된 데이터. 호환성(텍스트, JSON, 코드).
• Rerank-multilingual-v3.0: 영어가 아닌 콘텐츠의 경우 100 언어를 지원합니다.- Rerank 3 Nimble: 전자상거래 검색과 같은 대용량 사용 사례에 대해 효율성을 우선시하고 대기 시간을 줄여 전환율을 높입니다.

크로스 인코더 아키텍처

두 개의 입력(예: 쿼리 및 문서)을 단일로 공동으로 처리하는 모델

시퀀스, 모든 토큰 간의 교차 주의 메커니즘을 사용하여 관련성을 결정합니다.

주요 특징

• 공동처리
• 교차주의
• 단일 출력
• 1단계(바이인코더)
• 두 번째 단계(크로스 인코더)

규정 준수 프로세스

• KYC, KYB 및 TMS의 구현입니다.
• 인력에 대한 의존도가 높고 철저한 조사가 이루어집니다.
• 다양한 규제 요구 사항에 대한 자세한 설명 및 적응성이 필요합니다.

국가.

🛠규정 준수 전략

• MCP 인터페이스를 통해 LLM 및 데이터에 액세스하기 위한 내부 플랫폼을 활용합니다.
• 고위험 규정 준수 사례를 감지하기 위해 기존 기계 학습 모델을 포함하여 구축됨

AnyScale 기반 ML 플랫폼에서.

Ray-powered 확장성

• Ray clusters를 최적화하고 관리합니다.
• 수천 개의 CPU 및 GPU에 걸쳐 효율적인 배포 및 확장이 가능합니다.
• 대규모 데이터 세트와 복잡한 모델을 처리합니다.

Ray AI 라이브러리

• Ray Data: 확장 가능한 데이터 처리를 위해 특히 이미지와 같은 구조화되지 않은 데이터에 적합합니다.
• Ray Train: 분산 모델 훈련을 위해 PyTorch와 같은 프레임워크 통합을 통해,

오디오 및 비디오.

• Ray Tune: 확장 가능하고 내결함성을 갖춘 하이퍼파라미터 튜닝 및

PyTorch Lightning 및 Hugging Face Transformers.

• Ray Serve: 확장 가능하고 프로그래밍 가능한 기계 학습 모델을 배포하고 제공하기 위해

실험 실행.

• RLlib: 광범위한 강화 학습을 지원하는 업계 수준의 라이브러리입니다.

지연 시간이 짧은 API.

로봇 공학에서 금융까지의 응용 프로그램입니다.

Compliance Auto Resolution Engine (CAR)

• 전체 검토 프로세스의 조정자 역할을 하는 솔루션의 중심입니다.
• 에이전트적 AI-driven 워크플로에서 자동화와 인간의 전문 지식을 모두 동원합니다.

Human-in-the-Loop 프로세스

두 인간 페르소나와의 상호 작용

• 규정 준수 운영 에이전트: AI 시스템 결과를 검토하고 다음에 대한 피드백을 제공합니다.
• 최종 고객: 개선이 필요한 경우 추가 정보를 문의하세요.

Coinbase re:Invent 요약 (IND3312)

대화형 AI를 통한 지원, 규정 준수 및 생산성 확장

고객 지원 챗봇

• 50%가 넘는 고객이 지원 채널로 채팅을 선호합니다.
• Coinbase의 방대한 지식 베이스를 기반으로 학습되었습니다.
• 시장 변동성에 맞춰 연중무휴로 즉각적이고 정확한 지원을 제공합니다.

FAQ 형식의 RAG 응답

• 로그인 문제나 2단계 인증 같은 일반적인 문의를 간단한 FAQ 형식의 응답으로 자동화합니다.
• 견고한 기반을 구축하기 위해 정확성에 집중합니다.

Cohere의 Rerank 모델로 검색 관련성 향상

• 최초 검색 결과를 의미론적으로 재정렬합니다.
• 키워드를 넘어 쿼리와 문서의 맥락을 이해합니다.
• 100개 이상의 언어를 지원합니다.
• JSON과 코드 같은 복잡한 데이터를 처리합니다.
• 검색 증강 생성(RAG) 시스템을 개선합니다.
• 엔터프라이즈 검색 정확도를 높입니다.
• 더 빠른 사용자 경험을 제공합니다.
• 검색 파이프라인의 강력한 두 번째 단계로 작동합니다.
• 키워드 또는 벡터 검색 결과를 심층 관련성 점수로 정렬합니다.

Cohere Rerank 모델의 주요 기능

• Rerank-v3.5: 최첨단 성능, 향상된 추론, 폭넓은 데이터 호환성(텍스트, JSON, 코드)을 제공합니다.
• Rerank-english-v3.0: 영어 문서와 반정형 데이터를 지원합니다.
• Rerank-multilingual-v3.0: 영어 이외의 콘텐츠를 위해 100개 이상의 언어를 지원합니다.
• Rerank 3 Nimble: 전자상거래 검색 같은 대규모 사용 사례에서 효율성과 짧은 지연 시간을 우선하여 전환율을 높입니다.

크로스 인코더 아키텍처

모든 토큰 사이의 교차 어텐션 메커니즘을 사용해 쿼리와 문서 같은 두 입력을 하나의 시퀀스로 함께 처리하고 관련성을 판단하는 모델입니다.

주요 특징

• 공동 처리
• 교차 어텐션
• 단일 출력
• 첫 번째 단계(바이 인코더)
• 두 번째 단계(크로스 인코더)

규정 준수 프로세스

• KYC, KYB 및 TMS를 구현합니다.
• 인력과 철저한 조사에 크게 의존합니다.
• 국가별로 다양한 규제 요건에 맞출 수 있는 상세한 설명 가능성과 적응성이 필요합니다.

🛠규정 준수 전략

• MCP 인터페이스를 통해 LLM과 데이터에 접근할 수 있도록 내부 플랫폼을 활용합니다.
• AnyScale 기반 ML 플랫폼에서 구축한 전통적인 머신 러닝 모델을 포함하여 고위험 규정 준수 사례를 탐지합니다.

Ray 기반 확장성

• Ray 클러스터를 최적화하고 관리합니다.
• 수천 개의 CPU와 GPU에 작업을 효율적으로 분산하고 확장합니다.
• 방대한 데이터 세트와 복잡한 모델을 처리합니다.

Ray AI 라이브러리

• Ray Data: 확장 가능한 데이터 처리용으로, 특히 이미지, 오디오, 동영상 같은 비정형 데이터에 적합합니다.
• Ray Train: PyTorch, PyTorch Lightning, Hugging Face Transformers 같은 프레임워크와 통합되는 분산 모델 학습 도구입니다.
• Ray Tune: 확장 가능하고 내결함성이 있는 하이퍼파라미터 튜닝 및 실험 실행 프레임워크입니다.

Transformers 등의 프레임워크

• Ray Serve: 머신 러닝 모델을 확장 가능하고 프로그래밍 가능한 저지연 API로 배포하고 서비스합니다.
• RLlib: 로보틱스부터 금융까지 다양한 애플리케이션을 지원하는 산업용 강화 학습 라이브러리입니다.

규정 준수 자동 해결 엔진(CAR)

• 전체 검토 프로세스를 조율하는 솔루션의 핵심입니다.
• 에이전틱 AI 기반 워크플로에서 자동화와 사람의 전문 지식을 모두 활용합니다.

👥 Human-in-the-Loop 프로세스

두 사람 역할과의 상호 작용:

• 규정 준수 운영 에이전트: AI 시스템의 조사 결과를 검토하고 개선을 위한 피드백을 제공합니다.
• 최종 고객: 필요한 경우 추가 정보를 요청받습니다.

2024: 채택 및 확장

• 안전한 데이터 액세스 및 관리를 위한 Amazon Bedrock 및 기타 솔루션 출시.
• 고객은 고객 지원과 같은 주요 영역에서 AI를 사용하기 시작했습니다.
• 규모, 용량, 세분화된 보안으로 초점이 옮겨졌습니다.
• 향후 성장을 위해 잘 설계된 프레임워크를 AI에 적용하는 방법을 모색합니다.
• 2025: 고급 AI 애플리케이션
• 다중 에이전트 자율 애플리케이션의 출현.
• 고객은 핵심 비즈니스 운영과 부서의 변화를 목표로 합니다.
• 측정 가능한 영향과 비즈니스 KPI에 중점을 둡니다.
• 단일 도구에서 고객 및 직원 워크플로를 혁신하는 것으로 전환하세요.

AWS Gen을 위한 서비스 AI

AWS

• 빠른 배포를 위해 사전 구축된 에이전트입니다.
• 오픈 소스 도구를 실험합니다.
• 사용자 지정 에이전트를 구축합니다.
• 모델, 도구, 인프라 및 전문 지식 제공.
• AI 인프라 및 도구
• 강력한 AI 인프라, 맞춤형 실리콘 및 데이터 기반 도구.
• 안전하고 탄력적이며 전 세계적으로 확장되는 인프라에 대한 수십 년간의 경험.
• 데이터 개인 정보 보호, 액세스 관리, 모니터링 및 관찰 가능성에 대한 고급 제어 기능입니다.
• AWS Transform
• 레거시 워크로드 현대화 자동화(예: .NET 프레임워크, VMware)
• Amazon Connect의 에이전트 및 Marketplace의 도구.
• AI에 대한 인터페이스, 프로토콜, 보안 및 네트워크 개선에 투자합니다.

Amazon Bedrock

서비스 개요

• Gen AI 애플리케이션을 구축, 배포 및 운영하기 위한 완전 관리형 서비스입니다.
• 단일 API를 통해 주요 기반 모델(Anthropic, Meta, Mistral, Amazon)에 액세스합니다.
• 새로운 모델이 지속적으로 추가됩니다.
• 맞춤화 및 안전
• 데이터를 사용하여 모델 및 애플리케이션을 비공개로 사용자 정의하기 위한 도구입니다.
• 안전 가드레일 적용, 비용 최적화, 지연 시간 단축.
• 신속한 반복 기능.
• AgentCore:
• 안전하고 확장 가능한 에이전트 배포 및 운영을 위한 서비스 집합입니다.
• 서버리스 특성으로 인해 인프라 관리가 필요하지 않습니다.

에이전트 배포의 과제

Gartner 예측

• 에이전트 AI 의 40% 이상 프로젝트는 2027.에 의해 취소될 것으로 예상됩니다.
• 이유: 비용 증가, 불분명한 비즈니스 가치, 불충분한 보안.
• 주요 과제
• 전문화된 런타임: 일반적인 애플리케이션과 달리 런타임 환경이 필요합니다.
• 상태 비저장 LLM: 에이전트는 컨텍스트를 유지하고 개인화된 경험을 제공하기 위해 메모리가 필요합니다.
• 세밀하게 조정된 자격 증명: 에이전트가 적절한 시스템과 데이터에만 액세스하도록 제어합니다.
• 사용자 정의 도구 상호 작용: AI 에이전트가 적절한 ID 제어를 통해 사용자 정의 도구 및 데이터 소스를 검색하고 상호 작용할 수 있도록 보장합니다.

자율적인 다단계 워크플로

• 에이전트가 복잡한 다단계 워크플로를 독립적으로 실행해야 합니다.
• 공유되거나 제한된 워크플로의 일반 도구에 대한 요구 사항입니다.
• 전문 모니터링
• 에이전트용으로 특별히 설계된 모니터링 시스템의 필요성 AI.
• 에이전트 프로토타입 제작과 프로덕션 배포의 차이점.

Amazon Bedrock AgentCore

모듈식 및 빠른 반복 접근 방식

• 확장 가능한 프로덕션 에이전트 구축을 위해 설계되었습니다.
• 에이전트 코어 런타임
• 동적 에이전트 및 도구를 배포하고 확장하기 위한 안전한 서버리스 런타임입니다.
• 다양한 프레임워크, 프로토콜 및 모델 선택을 지원합니다.
• 다중 모달, 실시간 및 장기 실행 에이전트를 안정적으로 실행합니다(최대 8 시간).
• 중단이나 실패를 적절하게 처리하기 위한 체크포인트 및 복구 기능을 제공합니다.
• 에이전트 코어 게이트웨이
• MCP 서버 및 API와 에이전트의 통합을 촉진합니다.
• 다양한 도구로 상담원의 역량을 강화합니다.
• 에이전트 코어 브라우저 및 코드 해석기
• 에이전트가 브라우저에서 자율적으로 작동하거나 지정된 조건 및 규칙에 따라 코드를 실행할 수 있도록 합니다.

지원 도구

Agent Core Identity

• 보안 및 ID 기능을 갖춘 엔터프라이즈급 AI 에이전트를 구축합니다.
• 표준 기반 인증, 기존 ID 공급자와의 호환성 및 OAuth 지원을 포함합니다.
• 원활한 사용자 경험을 위한 안전한 토큰 보관소를 제공합니다.
• 에이전트 코어 메모리
• 에이전트가 복잡한 워크플로에 대한 단기 및 장기 메모리를 저장하고 검색할 수 있도록 합니다.
• 공유 메모리에서 사용자 입력 및 기록의 지속적인 사용을 촉진합니다.
• 관찰 가능성
• 로그, 추적 및 지표를 결합하여 Gen AI에 대한 관찰 가능성 스택을 중앙 집중화합니다.
• 대규모 성능과 정확성을 측정합니다.

Coinbase의 생성적 사용 AI

암호화폐와 경제적 자유

• 암호화폐는 글로벌 경제에 대한 경제적 자유와 공정한 참여를 지원합니다.
• Coinbase의 사명은 10억 명 이상의 사람들에게 경제적 자유를 확대하는 것입니다.
• Coinbase의 주요 기둥
• 신뢰 구축
• 최고 수준의 보안으로 사용자의 자산을 안전하게 보호합니다.
• 사기 및 계정 탈취에 대한 강력한 보호 기능을 구현합니다.
• 암호화폐에 접근 가능하게 만들기
• AI 및 기계 학습을 사용하여 직관적이고 개인화된 경험을 디자인합니다.
• 복잡한 금융상품을 단순화합니다.
• 전 세계적으로 확장
• 100+ 국가에서 수백만 명의 사용자를 지원하기 위해 효율적이고 신속하게 운영됩니다.
• 수십억 달러의 거래량을 관리합니다.

사용자 여정 및 ML 애플리케이션

로그인 보안

• ML 모델은 사용자 로그인 중 계정 탈취를 방어합니다.
• 법정화폐를 암호화폐로 변환
• ML 모델은 통화를 암호화폐 거래소로 이동할 때 사용자의 정당성과 신용 불이행 위험을 평가합니다.
• 블록체인으로 자금 이체
• ML 모델은 블록체인에 자금을 공개하기 전에 반전 위험을 평가합니다.
• 사용자 경험의 개인화
• ML-Powered 개인화
• 개인화된 검색 결과, 맞춤형 뉴스 피드, 직관적인 추천 및 실시간 가격 알림.
• 대규모 데이터 세트에 대해 훈련된 고급 딥 러닝 모델을 사용합니다.
• 적응형 위험 점수 시스템
• 블록체인 주소의 점수를 매기기 위해 그래프 신경망을 사용하여 구축되었습니다.
• 악성 블록체인 주소를 탐지 및 차단하여 고객을 보호합니다.
• ERC20 사기 토큰 감지
• 스마트 계약 감사와 기계 학습을 결합합니다.
• 거래소 상장 전 자산을 검토하여 추가적인 고객 보호를 제공합니다.

예측 기계 학습 모델

암호화폐 시장의 변동성

• 암호화폐 시장은 변동성이 매우 높기 때문에 안정적인 인프라가 필요합니다.
• 예측 모델
• 급증이 발생하기 전에 백엔드 데이터베이스를 확장하는 데 사용되어 시장 변동성 중에 안정적인 성능을 보장합니다.

AI 투자의 새로운 세대

LLM(대형 언어 모델)

• 11월 이후 변혁적인 영향을 미쳤습니다. 2022,는 AI에서 역사적인 순간을 기록합니다.
• 주요 적용 분야
• 고객 지원: AI- 인간 에이전트를 위한 가상 비서 및 고급 도구를 제공합니다.
• 규정 준수: Generative AI(GenAI)는 복잡한 조사를 간소화하고 규제 환경을 탐색합니다.
• 개발자 생산성: Coinbase의 개발자 생산성 향상.
• 암호화폐 고객 지원의 과제
• 변동성: 사용자 활동은 한 달 내에 최대 50%까지 변동될 수 있으므로 확장 가능한 지원 시스템이 필요합니다.
• 신뢰: 고객은 시장 상황에 관계없이 안전하고 지원을 받아야 합니다.
• 글로벌 운영: 다양한 언어, 규정 및 기대에 걸쳐 사용자를 지원합니다.

GenAI 전략

• 표준 인터페이스(OpenAI API 표준 및 모델 컨텍스트 프로토콜)를 통해 여러 LLM 및 데이터 소스를 통합하는 내부 GenAI 플랫폼입니다.
• 깊이
• 고객 지원 내 영향력이 큰 영역에 대한 타겟 투자:
• 대화형 챗봇으로 고객 대면 워크플로를 자동화합니다.
• 효율성을 높이기 위해 인간 지원 상담원에게 지능형 도구를 제공합니다.
• 지원 티켓에서 귀중한 통찰력을 추출하여 제품과 서비스를 지속적으로 개선합니다.
• 사용 사례
• 고객은 GenAI로 강화된 지원 상호 작용 주기를 시작하기 위해 도움이 필요합니다.

고객지원 챗봇

• 50% 이상의 고객은 지원 채널로 채팅을 선호합니다.
• Coinbase의 광범위한 지식 기반에 대한 교육을 받았습니다.
• 시장 변동성에 맞춰 24시간 즉각적이고 정확한 지원을 제공합니다.

챗봇 개발

FAQ 스타일 RAG 응답

• 간단한, FAQ-style 응답으로 일반적인 쿼리(예: 로그인 문제, 2단계 인증)를 자동화합니다.
• 강력한 기반을 구축하기 위해 정확성에 중점을 둡니다.

에이전트 아키텍처

사용자 입력 및 대화 기록

• 메모리 레이어 역할을 하는 벡터 데이터베이스에 저장됩니다.
• RAG 리트리버
• Bedrock knowledge bases를 사용하여 Coinbase 도움말 기사를 벡터화하고 저장합니다.
• 검색된 기사의 정확도를 높이기 위해 Cohere의 순위 재지정 모델을 사용합니다.
• 응답 생성
• Bedrock을 통해 제공되는 클라우드 모델을 포함한 LLM의 혼합입니다.
• 정확한 응답 생성을 위해 배우 평론가 아키텍처에서 개발된 하위 에이전트가 필요합니다.
• 난간
• Bedrock 가드레일로 구동되는 입력 및 출력 가드레일입니다.
• 유해한 콘텐츠 및 민감한 PII 유출로부터 보호합니다.
• 프롬프트 삽입을 최소화하기 위한 사용자 정의 도메인별 필터입니다.
• 응답을 근거 있게 유지하고 환각을 줄이기 위한 맞춤 규칙입니다.

다음 개발 계층

• 업계 및 LLM 기능 진화
• 초기 RAG 레이어보다 더 많은 것을 달성해야 한다는 필요성을 인식합니다.

Cohere의 Rerank 모델은 검색 관련성을 향상시킵니다.

• 초기 검색 결과를 의미적으로 재정렬합니다.
• 키워드 이상의 쿼리-문서 컨텍스트를 이해합니다.
• 100 언어를 통해 지원
• JSON 및 코드와 같은 복잡한 데이터를 처리합니다.
• Retrieval-Augmented Generation (RAG) 시스템을 개선합니다.
• 기업 검색 정확도 향상
• 더 빠른 사용자 경험을 제공합니다
• 검색 파이프라인의 강력한 두 번째 단계로 기능합니다.
• 깊은 관련성 점수를 기준으로 키워드 또는 벡터 검색 결과를 정렬합니다.
• 주요 기능 및 모델
• Rerank-v3.5: 최첨단 성능, 향상된 추론 및 광범위한 데이터 호환성(텍스트, JSON, 코드).
• Rerank-english-v3.0: 영어 문서 및 반구조화된 데이터.
• Rerank-multilingual-v3.0: 영어가 아닌 콘텐츠의 경우 100 언어를 통해 지원됩니다.
• Rerank 3 Nimble: 전자상거래 검색과 같은 대용량 사용 사례에 대해 효율성을 우선시하고 대기 시간을 줄여 전환율을 높입니다.
• 작동 방식
• 입력: 사용자 쿼리 및 초기 문서 목록(Elasticsearch와 같은 키워드 검색 또는 벡터 검색에서).
• 처리: 크로스 인코더 아키텍처를 사용하는 Rerank 모델은 쿼리와 각 문서를 공동으로 처리하여 의미 관계를 이해합니다.
• 출력: 각각 관련성 점수가 할당된 정렬된 문서 목록으로, 상황에 가장 관련성이 높은 결과가 맨 위에 표시됩니다.
• 사용 사례 및 이점
• 향상된 기업 검색: 복잡한 내부 데이터(송장, 코드)에서 관련성이 높은 정보를 검색합니다.
• 향상된 RAG 시스템: LLM에 가장 관련성이 높은 조각을 제공하여 사실 기반을 보장합니다.
• 다국어 애플리케이션: 다양한 언어에 대한 의미 검색.
• 비용 및 복잡성 감소: 단일 API 호출을 통해 기존 검색 스택(예: Elasticsearch)과 쉽게 통합되어 전체 점검 없이 의미론적 힘을 추가합니다.

크로스 인코더 아키텍처

• 두 개의 입력(예: 쿼리 및 문서)을 단일 시퀀스로 공동 처리하는 모델로, 모든 토큰 간의 교차 주의 메커니즘을 사용하여 관련성을 결정합니다.
• 주요 특징
• 공동 처리: 핵심 기능은 쿼리와 후보 문서가 특수 토큰으로 구분된 단일 입력 시퀀스로 연결된다는 것입니다.
• Cross-Attention: 변환기 레이어 내에서 모델의 self-attention 메커니즘은 쿼리의 모든 토큰을 문서의 모든 토큰과 직접 비교할 수 있습니다. 이러한 세밀한 상호 작용을 통해 관계와 의미론적 관련성에 대한 깊고 미묘한 이해가 가능합니다.
• 단일 출력: 모델은 일반적으로 분류 계층을 통과한 토큰의 임베딩을 사용하여 쌍에 대한 단일 관련성 점수(예: 0.0와 1.0 사이의 숫자)를 출력합니다.
• 최신 AI 시스템에서의 역할:
• 이는 특히 Retrieval-Augmented Generation (RAG) 시스템에서 2단계 검색 프로세스에서 re-ranker로 주로 배포됩니다.
• 1단계(바이인코더): 빠르고 효율적인 바이인코더 모델은 방대한 문서 모음을 잠재적으로 관련성이 있는 후보의 더 작고 관리 가능한 목록으로 빠르게 좁힙니다(예: 상위 100).
• 두 번째 단계(크로스 인코더): 그런 다음 크로스 인코더는 이 작은 후보 하위 집합을 높은 정밀도로 꼼꼼하게 재평가하고 순위를 다시 지정하여 가장 정확하고 상황에 맞게 적절한 결과가 응답 생성을 위한 최종 LLM에 제공되도록 합니다.

비즈니스 프로시저 레이어

• 향상된 챗봇 기능
• LLM 기능이 향상되면서 챗봇이 업무 절차를 자율적으로 따르도록 강화되었습니다.
• 대화를 통해 정보를 수집하고 사용자를 대신하여 직접 조치를 취합니다.
• 비즈니스 절차는 인간과 AI 에이전트 모두가 사용하는 단일 정보 소스 역할을 합니다.
• 사용자 계정 및 보류 중인 거래에 대한 쿼리를 자동화합니다.

에이전트 아키텍처

• 비즈니스 절차 분류기 소개.
• 특정 비즈니스 절차를 에뮬레이트하는 올바른 하위 에이전트로 쿼리를 라우팅합니다.
• RAG 에이전트는 RAG 지식 기반과 관련된 절차를 실행하는 특수 하위 에이전트입니다.

사전 문제 해결 레이어(예측 기능)

• AI 에이전트는 플랫폼에서 사용자 신호와 활성 사건을 사용하여 일반적인 사용자 문제를 예측합니다.
• 에이전트 설계에 사전 문제 해결 레이어가 추가되었습니다.
• 사전 해결 방법이 없으면 사전 에이전트는 비즈니스 절차 분류자로 대체됩니다.
• 표준화된 MCP 서버를 통해 구동되는 사전 대응 에이전트에 대한 데이터 액세스입니다.

주요 디자인 원칙

모델 선택

• 정확성, 지연 시간, 확장성을 고려한 균형 잡힌 접근 방식입니다.
• 모델 기능이 발전함에 따라 지속적인 재평가가 이루어집니다.
• 도구 표준화
• 모델 컨텍스트 프로토콜(MCP)을 통한 도구 액세스 표준화.
• 고객 지원 및 기타 도메인을 위한 강력한 기반.
• 비즈니스 적응성
• 사람과 AI 모두를 지원하는 비즈니스 절차에 대한 단일 정보 소스입니다.
• 향상된 비즈니스 적응성.
• 근거 있는 반응
• 응답의 사실적 정확성을 강조합니다.

모니터링 및 평가

• LLM 심사위원 평가
• 관련성, 정확성, 잠재적 편견, 환각 등에 대한 챗봇 응답을 평가합니다.
• 품질 지표 및 추세를 적극적으로 추적하여 이상 현상을 신속하게 식별합니다.

상담원 지원 도구

목적

• 인간 고객 지원 담당자가 복잡한 문제를 처리할 수 있도록 설계되었습니다.
• 고객 문제 진단 및 완화를 위한 실시간 지원을 제공합니다.
• 특징
• 계정 신호, 진행 중인 사고 데이터 및 과거 고객 지원 티켓을 활용합니다.
• 맞춤형 안내를 제공하고 다국어로 정확한 응답을 생성합니다.
• 영향
• 더 빠른 해결, 더 행복한 고객, 지원 팀의 효율성 향상.
• 65%에 가까운 고객 연락처는 AI 시스템에 의해 자동으로 처리됩니다.
• 연간 거의 5 백만 직원 시간을 절약하고 상당한 비용을 절감합니다.
• 65% 자동화된 사례는 단일 상호 작용으로 해결되어 사용자 경험을 향상시킵니다.

규정 준수의 중요성

• Coinbase와 같은 핀테크 기업이 AML/CFT(자금 세탁 방지/테러 자금 조달 방지)의 표준을 유지하는 데 매우 중요합니다.
• 플랫폼 내 부정행위 방지를 위한 약속입니다.
• 규정 준수 프로세스
• KYC, KYB 및 TMS의 구현입니다.
• 인력에 대한 의존도가 높고 철저한 조사가 이루어집니다.
• 국가별 다양한 규제 요구 사항에 대한 자세한 설명 및 적응성이 필요합니다.
• 규정 준수 전략
• MCP 인터페이스를 통해 LLM 및 데이터에 액세스하기 위한 내부 플랫폼을 활용합니다.
• AnyScale 기반 ML 플랫폼을 기반으로 구축된 고위험 규정 준수 사례를 탐지하기 위한 기존 기계 학습 모델을 포함합니다.
• 깊이
• KYC, KYB 및 TMS에서 고위험 사례를 탐지하기 위한 고급 딥 러닝 모델입니다.
• AI를 통해 복잡한 조사를 자동화하고 가속화합니다.
• 규정 준수 워크플로 전반에 걸쳐 엄격한 조사를 위해 다양한 소스에서 데이터를 수집하고 합성합니다.

규정 준수 지원 도구

목적

• 고객 지원 상담원 지원 도구와 유사한 규정 준수 상담원을 위한 보조 도구입니다.
• 특징
• AI-내부 시스템 및 오픈 소스 인텔리전스에서 정보를 수집하고 종합합니다.
• 서술형 요약과 명확한 위험 검토 신호로 구성됩니다.
• 충분한 정보를 바탕으로 자신감 있는 의사 결정을 내릴 수 있도록 규정 준수 담당자에게 완벽하게 문서화되고 설명 가능한 조사를 제공합니다.
• 영향
• 규정 준수팀의 역량을 강화하고 규정 준수 운영 표준을 강화합니다.

Ray-powered 확장성

• Ray clusters를 최적화하고 관리합니다.
• 수천 개의 CPU 및 GPU에 걸쳐 효율적인 배포 및 확장이 가능합니다.
• 대규모 데이터세트와 복잡한 모델을 처리합니다.
• 통합된 개발자 경험:
• 실험부터 제작까지 워크플로가 간소화되었습니다.
• 대화형 개발 콘솔.
• 내장 IDE.
• 분산 워크로드 디버깅을 위한 도구입니다.
• 개발자 생산성 가속화를 목표로 합니다.
• 생산 준비:
• Ray 위에 엔터프라이즈급 기능을 추가합니다.
• 고급 관찰 가능성.
• 데이터 거버넌스.
• 비용 추적.
• 강력한 관리 도구.
• ML 모델의 안정성, 보안 및 성능을 보장합니다.
• 클라우드에 구애받지 않는 배포:
• 다양한 클라우드 제공업체(AWS, Google Cloud) 전반에 걸친 배포를 지원합니다.
• 온프레미스 Kubernetes 클러스터를 지원합니다.
• 조직이 기존 인프라를 활용할 수 있도록 합니다.
• 데이터 및 리소스에 대한 제어를 유지합니다.
• 최적화 및 통합:
• 성능 및 비용 절감을 위한 최적화가 포함되어 있습니다.
• 필수 ML 도구와의 통합: 실험 추적을 위한
• Weights & Biases.
• 워크플로 조정을 위한 천문학자(Apache Airflow 사용) AI에 집중하세요.
• 민주화:
• 분산 컴퓨팅의 복잡성을 단순화합니다.
• 고급 AI 및 ML 기능에 더 쉽게 접근할 수 있도록 하는 것이 목표입니다.
• Ray AI 라이브러리
• Ray Data: 확장 가능한 데이터 처리를 위해 특히 이미지, 오디오, 비디오와 같은 구조화되지 않은 데이터에 적합합니다.
• Ray Train: PyTorch, PyTorch Lightning 및 Hugging Face Transformers와 같은 프레임워크에 대한 통합을 통해 분산 모델 훈련을 위한 것입니다.
• Ray Tune: 확장 ​​가능하고 내결함성이 있는 하이퍼 매개변수 조정 및 실험 실행을 위한 프레임워크입니다.
• Ray Serve: 기계 학습 모델을 지연 시간이 짧은 확장 가능하고 프로그래밍 가능한 API로 배포하고 제공합니다.
• RLlib: 로봇 공학부터 금융까지 광범위한 애플리케이션을 지원하는 강화 학습을 위한 업계 수준의 라이브러리입니다.

규정 준수를 위한 에이전트 아키텍처

시작

• 딥 러닝 규정 준수 위험 모델이 고위험 사례에 대한 경고를 트리거하면 프로세스가 시작됩니다.
• 고위험 규정 준수 사례에 대한 종합적인 조사인 전체적인 검토를 시작합니다.
• Compliance Auto Resolution Engine (CAR)
• 솔루션의 중심이며 전체적인 검토 프로세스의 조정자 역할을 합니다.
• 에이전틱 AI 기반 워크플로에서 자동화와 사람의 전문 지식을 모두 활용합니다.
• 사람 참여형 프로세스
• 두 인간 페르소나와의 상호 작용:
• 규정 준수 운영 담당자: AI 시스템 결과를 검토하고 개선을 위한 피드백을 제공하세요.
• 최종 고객: 필요한 경우 추가 정보를 문의하세요.
• 데이터 집계 및 합성
• 엔진은 표준화된 MCP 데이터 커넥터를 통해 다양한 소스(내부, 외부, 오픈 소스 인텔리전스)의 데이터를 집계하고 합성합니다.
• 그 결과 서술형 요약이라는 충실한 AI 생성 보고서가 만들어집니다.
• 최종 결정
• 인간 규정 준수 운영 에이전트는 AI의 추론 및 규정 준수 증거를 검토합니다.
• 사건이 정부 당국에 의심스러운 활동 보고서를 제출해야 하는지 여부를 결정합니다.

개발자 생산성

SDLC의 AI

• AI 에이전트는 소프트웨어 개발 수명 주기의 다양한 단계에서 엔지니어링 팀을 지원합니다(SDLC).
• 코딩, 티켓팅, 문서화, 풀 요청 생성 및 풀 요청 검토와 같은 작업을 통합합니다.
• 중점 분야
• 코드 작성
• 코드 검토
• 품질 보증

코드 작성 도구

Cloud Code

• IDE 또는 명령줄에 직접 통합되는 최첨단 코딩 도우미입니다.
• Cursor
• 지능적이고 상황을 인식하는 IDE 더 빠르고 협업적이며 효율적인 소프트웨어 개발을 위해 설계되었습니다.
• 개발자가 선호도에 따라 선택할 수 있는 옵션으로 제공됩니다.
• 강력한 모델
• Bedrock을 통해 제공되는 Anthropic 모델로 구동되는 도구입니다.

풀 요청 및 코드 검토

자체 개발 도구

• 오픈 소스 도구를 적용하고 Bedrock의 모델로 향상되었습니다.
• PR 검토를 자동화하는 AI 기반 GitHub Action으로 구현되었습니다.
• 정의:
• "자체 개발 도구"는 특정하고 고유한 문제를 해결하기 위해 회사나 커뮤니티에서 내부적으로 개발한 소프트웨어, 애플리케이션 또는 솔루션입니다.
• 개발 접근 방식:
• 종종 사용자 정의 스크립트를 사용하여 생성됩니다.
• Visio 또는 Excel과 같은 기존 플랫폼을 활용합니다.
• 기성품에 대한 의존을 피합니다.
• 특징
• 풀 요청 및 기본 코드 변경 사항을 요약합니다.
• 명확한 자연어 검토 의견을 생성합니다.
• 코딩 규칙을 적용합니다.
• 단위 테스트 범위의 격차를 강조합니다.
• CI 실패 디버깅에 대한 팁을 제공합니다.
• 영향
• 코드 검토의 일상적인 측면을 자동화하여 인간 개발자가 미묘한 측면에 집중하고 더 높은 가치를 제공할 수 있도록 합니다.

품질 보증

자동화된 UI 테스트 도구

• 자체 개발 AI-웹 및 모바일을 위한 엔드투엔드 품질 보증 자동화를 위한 도구 UI.
• 자연어 테스트 설명을 자율적인 브라우저 작업으로 변환합니다.
• 특징
• BrowserStack과 같은 서비스를 사용하여 다양한 폼 팩터에서 브라우저 작업을 수행합니다.
• Playwright와 같은 프레임워크를 통해 브라우저 작업을 에뮬레이션합니다.
• 혜택
• 사람처럼 UI를 테스트할 수 있어 품질 보증 프로세스의 효율성이 향상됩니다.

AI가 개발자 생산성에 미치는 영향

코드 생성

• Coinbase에서 매일 작성되는 모든 코드 중 거의 40%는 AI-generated 또는 AI-influenced입니다.
• 50%를 곧 능가하는 것이 목표이며, 사람의 검토와 이해가 여전히 필요합니다.
• 자동화된 PR 리뷰
• 대략 75,000 시간의 연간 절감 효과가 예상됩니다.
• 코딩 규칙을 적용하여 코드 품질을 높입니다.
• 품질 보증
• AI 기반 UI 테스트 도구는 사람 테스터와 동등한 정확도를 달성합니다.
• 같은 시간에 사람보다 3배 많은 버그를 탐지합니다.
• 새로운 테스트 도입 프로세스의 속도를 대폭 향상시킵니다(최소 15 분).
• 86% 기존 수동 테스트에 비해 비용이 절감됩니다.