Coinbase re:Invent 回顾 (IND3312)

场次笔记

利用对话式技术扩展支持、合规和生产力

金融服务领域 Gen AI 发展概述

2023 年：LLM 的引入

• 面向客户和企业应用的 LLM 开始进入市场。
• 最初关注数据的可信度和安全性。
• 人们开始对数据安全性和实用性提出疑问。
• 检索增强生成（RAG）对企业非常重要。
• FSI 客户拥有宝贵数据，但不确定如何安全地加以利用。

客户支持聊天机器人

• 超过 50% 的客户更喜欢将聊天作为支持渠道。
• 基于 Coinbase 庞大的知识库进行训练。
• 全天候提供即时、准确的帮助，并能适应市场波动。

FAQ 风格的 RAG 响应

• 通过简单的 FAQ 风格响应自动处理常见查询（例如登录问题、双因素身份验证）。
• 注重准确性，以建立坚实的基础。

Cohere 的 Rerank 模型提升搜索相关性

• 对初始搜索结果进行语义重新排序
• 超越关键词，理解查询与文档的上下文
• 支持 100 多种语言
• 处理 JSON 和代码等复杂数据
• 改进检索增强生成（RAG）系统
• 提高企业搜索准确性
• 提供更快的用户体验
• 在搜索管道中充当强大的第二阶段
• 按深层相关性分数对关键词搜索或向量搜索结果进行排序 主要功能
• Rerank-v3.5：最先进的性能、增强的推理能力以及广泛的数据兼容性（文本、JSON、代码）。
• Rerank-english-v3.0：适用于英文文档和半结构化数据。
• Rerank-multilingual-v3.0：适用于非英文内容，支持 100 多种语言。
• Rerank 3 Nimble：针对电子商务搜索等高流量用例优先提高效率并降低延迟，从而提升转化率。

交叉编码器架构

• 一种在单个序列中联合处理两个输入（例如查询和文档）的模型，利用所有 token 之间的交叉注意力机制来确定其相关性。
• 主要特征
• 联合处理
• 交叉注意力
• 单一输出
• 第一阶段（双编码器）
• 第二阶段（交叉编码器）

合规流程

• 实施 KYC、KYB 和 TMS。
• 高度依赖人力资源和全面调查。
• 需要详尽的可解释性，并能适应各国不同的监管要求。
• 合规策略
• 利用内部平台，通过 MCP 接口访问 LLM 和数据。
• 纳入传统机器学习模型来检测高风险合规案例；该模型构建于基于 AnyScale 的 ML 平台之上。

Ray 驱动的可扩展性

• 优化并管理 Ray 集群。
• 在数千个 CPU 和 GPU 之间进行高效分配和扩展。
• 处理海量数据集和复杂模型。
• Ray AI 库
• Ray Data：用于可扩展数据处理，尤其适合图像、音频和视频等非结构化数据。
• Ray Train：用于分布式模型训练，可与 PyTorch、PyTorch Lightning 和 Hugging Face Transformers 等框架集成。
• Ray Tune：用于可扩展、容错的超参数调优和实验执行的框架。
• Ray Serve：将机器学习模型部署并提供为可扩展、可编程的低延迟 API。
• RLlib：工业级强化学习库，支持从机器人到金融等广泛应用。

合规自动解决引擎 (CAR)

• 作为整体审查流程的编排器，是解决方案的核心。
• 在智能体 AI 驱动的工作流中同时调动自动化能力和人类专业知识。
• 人在回路流程
• 与两类人员角色互动：
• 合规运营专员：审查 AI 系统的发现，并提供改进反馈。
• 最终客户：必要时联系客户以获取更多信息。

Coinbase re:Invent 回顾 (IND3312)

Coinbase 利用对话式 AI 扩展支持、合规和生产力

客户支持聊天机器人

• 超过 50% 的客户更喜欢将聊天作为支持渠道。
• 基于 Coinbase 庞大的知识库进行训练。
• 全天候提供即时、准确的帮助，并能适应市场波动。

FAQ 风格的 RAG 响应

• 通过简单的 FAQ 风格响应自动处理常见查询（例如登录问题、双因素
• 注重准确性，以建立坚实的基础 身份验证）。

Cohere 的 Rerank 模型提升搜索相关性

• 对初始搜索结果进行语义重新排序
• 超越关键词，理解查询与文档的上下文
• 支持 100 多种语言
• 处理 JSON 和代码等复杂数据
• 改进检索增强生成（RAG）系统
• 提高企业搜索准确性
• 提供更快的用户体验
• 在搜索管道中充当强大的第二阶段
• 按深层相关性分数对关键词搜索或向量搜索结果进行排序

Cohere 的 Rerank 模型主要功能

• Rerank-v3.5：最先进的性能、增强的推理能力和广泛的数据
• Rerank-english-v3.0：英文文档和半结构化数据。兼容性（文本、JSON、代码）。
• Rerank-multilingual-v3.0：适用于非英文内容，支持 100 多种语言。- Rerank 3 Nimble：针对电子商务搜索等高流量用例优先提高效率并降低延迟，从而提升转化率。

交叉编码器架构

一种在单个序列中联合处理两个输入（例如查询和文档）的模型，

利用所有 token 之间的交叉注意力机制来确定其相关性。

主要特征

• 联合处理
• 交叉注意力
• 单一输出
• 第一阶段（双编码器）
• 第二阶段（交叉编码器）

合规流程

• 实施 KYC、KYB 和 TMS。
• 高度依赖人力资源和全面调查。
• 需要详尽的可解释性，并能适应各国不同的监管要求

。

🛠合规策略

• 利用内部平台，通过 MCP 接口访问 LLM 和数据。
• 纳入传统机器学习模型来检测高风险合规案例；该模型构建

于基于 AnyScale 的 ML 平台之上。

Ray 驱动的可扩展性

• 优化并管理 Ray 集群。
• 在数千个 CPU 和 GPU 之间进行高效分配和扩展。
• 处理海量数据集和复杂模型。

Ray AI 库

• Ray Data：用于可扩展数据处理，尤其适合图像、
• Ray Train：用于分布式模型训练，可与 PyTorch、

音频和视频等非结构化数据。

• Ray Tune：用于可扩展、容错的超参数调优和

PyTorch Lightning 及 Hugging Face Transformers 等框架集成。

• Ray Serve：将机器学习模型部署并提供为可扩展、可编程的

实验执行框架。

• RLlib：工业级强化学习库，支持

低延迟 API。

从机器人到金融等广泛应用。

合规自动解决引擎 (CAR)

• 作为整体审查流程的编排器，是解决方案的核心。
• 在智能体 AI 驱动的工作流中同时调动自动化能力和人类专业知识。

人在回路流程

与两类人员角色互动

• 合规运营专员：审查 AI 系统的发现，并提供
• 最终客户：必要时联系客户以获取更多信息和改进反馈。

Coinbase re:Invent 回顾 (IND3312)

通过对话式人工智能扩展支持、合规和生产力

客户支持聊天机器人

• 超过50%的客户更喜欢聊天作为他们的支持渠道。
• 在Coinbase的广泛知识库上进行训练。
• 全天候提供即时、准确的帮助，适应市场波动。

FAQ风格的RAG响应

• 简单的FAQ风格响应，自动化常见查询（例如，登录问题、双因素认证）。
• 专注于准确性，以建立坚实的基础。

Cohere的Rerank模型提高搜索相关性

• 语义上重新排序初始搜索结果
• 理解查询-文档上下文，超越关键词
• 支持超过100种语言
• 处理复杂数据，如JSON和代码
• 改进检索增强生成（RAG）系统
• 提高企业搜索准确性
• 提供更快的用户体验
• 在搜索管道中作为强大的第二阶段功能
• 通过深度相关性分数对关键词或向量搜索结果进行排序

Cohere的Rerank模型主要特点

• Rerank-v3.5：最先进的性能，增强的推理和广泛的数据兼容性（文本、JSON、代码）。
• Rerank-english-v3.0：英文文档和半结构化数据。
• Rerank-multilingual-v3.0：用于非英语内容，支持超过100种语言。
• Rerank 3 Nimble：优先考虑效率和更低的延迟，适用于电子商务搜索等高容量使用案例，提高

转化率。

交叉编码器架构

一种模型，使用所有标记之间的交叉注意机制，共同处理两个输入（如查询和文档）的单个序

列，以确定它们的相关性。

主要特点

• 联合处理
• 交叉注意
• 单一输出
• 第一阶段（双编码器）
• 第二阶段（交叉编码器）

合规流程

• 实施KYC、KYB和TMS。
• 严重依赖人力资源和彻底调查。
• 需要详细的可解释性和适应各国不同监管要求的能力。

🛠合规策略

• 利用内部平台通过MCP接口访问LLM和数据。
• 包含一个传统的机器学习模型来检测高风险合规案例，基于AnyScale的ML平台构建。

Ray驱动的可扩展性：

• 优化和管理Ray集群。
• 在数千个CPU和GPU上高效分配和扩展。
• 处理大规模数据集和复杂模型。

Ray AI库

• Ray Data：用于可扩展数据处理，特别适合图像、音频和视频等非结构化数据。
• Ray Train：用于分布式模型训练，集成了PyTorch、PyTorch
• Lightning和Hugging Face
• Ray Tune：一个可扩展和容错的超参数调优和实验执行框架。

Transformers等框架。

• Ray Serve：用于部署和服务机器学习模型，作为可扩展、可编程的低延迟API。
• RLlib：一个工业级的强化学习库，支持从机器人到金融的广泛应用。

合规自动解决引擎（CAR）

• 解决方案的核心，作为整体审查流程的协调者。
• 在代理人工智能驱动的工作流程中调动自动化和人类专业知识。

👥 人类参与流程

与两个人类角色的互动：

• 合规运营代理：审查人工智能系统的发现并提供改进反馈。
• 最终客户：在必要时寻求额外信息。

2024 年：采用与扩展

• 发布 Amazon Bedrock 和其他用于安全数据访问与管理的解决方案。
• 客户开始在客户支持等关键领域使用 AI。
• 关注重点转向规模、容量和精细安全控制。
• 探索将良好架构框架应用于 AI，以支持未来增长。
• 2025 年：高级 AI 应用
• 多智能体自主应用开始涌现。
• 客户希望转型核心业务运营和部门。
• 强调可衡量的影响和业务 KPI。
• 从单一工具转向彻底革新客户和员工工作流。

用于 Gen AI 的 AWS 服务

AWS 产品

• 用于快速部署的预构建智能体。
• 试验开源工具。
• 构建自定义智能体。
• 提供模型、工具、基础设施和专业知识。
• AI 基础设施和工具
• 强大的 AI 基础设施、自研芯片和数据基础工具。
• 在安全、弹性和全球规模化基础设施方面积累了数十年经验。
• 针对数据隐私、访问管理、监控和可观测性的高级控制。
• AWS Transform
• 自动实现传统工作负载现代化（例如 .NET 框架、VMware）。
• Amazon Connect 中的智能体和市场中的工具。
• 投资改进 AI 的接口、协议、安全和网络。

Amazon Bedrock

服务概述

• 用于构建、部署和运营 Gen AI 应用程序的完全托管式服务。
• 通过单一 API 访问领先的基础模型（Anthropic、Meta、Mistral、Amazon）。
• 持续添加新模型。
• 定制与安全
• 提供使用数据对模型和应用程序进行私有定制的工具。
• 应用安全防护机制、成本优化和延迟降低措施。
• 支持快速迭代。
• AgentCore：
• 一组用于安全、可扩展地部署和运营智能体的服务。
• 无服务器特性消除了基础设施管理需求。

智能体部署面临的挑战

Gartner 预测

• 预计到 2027 年，超过 40% 的智能体 AI 项目将被取消。
• 原因：成本不断增加、业务价值不明确、安全性不足。
• 主要挑战
• 专用运行时：需要不同于典型应用程序的运行时环境。
• 无状态 LLM：智能体需要记忆来保留上下文并提供个性化体验。
• 精细训练的身份：通过访问控制确保智能体只能访问适当的系统和数据。
• 自定义工具交互：确保 AI 智能体能够在适当的身份控制下发现自定义工具和数据源并与之交互。

自主多步骤工作流

• 智能体需要独立执行复杂的多步骤工作流。
• 工作流中的通用工具需要设为共享或受限。
• 专用监控
• 必须使用专为智能体 AI 设计的监控系统。
• 智能体的原型设计与生产部署存在差异。

Amazon Bedrock AgentCore

模块化和快速迭代方法

• 专为构建可扩展的生产级智能体而设计。
• Agent Core Runtime
• 用于部署和扩展动态智能体与工具的安全无服务器运行时。
• 支持多种框架、协议和模型选择。
• 可靠执行多模态、实时和长时间运行的智能体（最长 8 小时）。
• 提供检查点和恢复能力，可从容处理中断或故障。
• Agent Core Gateway
• 帮助将 MCP 服务器和 API 与智能体集成。
• 为智能体提供多种工具。
• Agent Core Browser 和 Code Interpreter
• 允许智能体根据指定条款和规则在浏览器中自主操作或执行代码。

支持工具

Agent Core Identity

• 利用安全和身份功能构建企业级 AI 智能体。
• 包括基于标准的身份验证、与现有身份提供商的兼容性和 OAuth 支持。
• 提供安全 token 保管库，打造顺畅的用户体验。
• Agent Core Memory
• 使智能体能够存储和检索短期及长期记忆，以支持复杂工作流。
• 支持在共享记忆中持续使用用户输入和历史记录。
• 可观测性
• 集中管理 Gen AI 可观测性堆栈，整合日志、跟踪和指标。
• 大规模衡量性能和准确性。

Coinbase 对生成式 AI 的应用

加密货币与经济自由

• 加密货币赋能经济自由和全球经济中的公平参与。
• Coinbase 的使命是将经济自由拓展到超过 10 亿人。
• Coinbase 的关键支柱
• 建立信任
• 以顶级安全措施保护用户资产。
• 实施强有力的保护措施，防止欺诈和账户接管。
• 让加密货币触手可及
• 使用 AI 和机器学习设计直观、个性化的体验。
• 简化复杂的金融产品。
• 全球规模化
• 高效快速地运营，为 100 多个国家/地区的数百万用户提供支持。
• 管理数十亿美元的交易量。

用户旅程与 ML 应用

登录安全

• ML 模型在用户登录时防御账户接管。
• 法定货币兑换为加密货币
• 当货币转入加密货币交易所时，ML 模型评估用户是否合法以及信用违约风险。
• 将资金转移到区块链
• ML 模型在将资金释放到区块链之前评估撤销风险。
• 用户体验个性化
• ML 驱动的个性化
• 个性化搜索结果、定制新闻源、直观推荐和实时价格提醒。
• 使用基于海量数据集训练的高级深度学习模型。
• 自适应风险评分系统
• 使用图神经网络构建，对区块链地址进行评分。
• 检测并阻止恶意区块链地址，保护客户。
• ERC20 诈骗 token 检测
• 将智能合约审计与机器学习相结合。
• 在资产于交易所上市前进行审查，为客户提供额外保护。

预测性机器学习模型

加密货币市场的波动性

• 加密货币市场波动剧烈，需要可靠的基础设施。
• 预测模型
• 用于在流量激增前扩展后端数据库，确保市场波动期间性能可靠。

新一代 AI 投资

大语言模型 (LLM)

• 自 2022 年 11 月以来产生了变革性影响，标志着 AI 领域的历史性时刻。
• 主要应用领域
• 客户支持：AI 驱动的虚拟助手和面向人工专员的高级工具。
• 合规：生成式 AI（GenAI）简化复杂调查并应对监管环境。
• 开发人员生产力：提升 Coinbase 开发人员的生产力。
• 加密货币客户支持的挑战
• 波动性：一个月内用户活动的波动幅度可达 50%，因此需要可扩展的支持系统。
• 信任：无论市场状况如何，客户都需要感到安全并获得支持。
• 全球运营：支持具有不同语言、法规和期望的用户。

GenAI 策略

• 内部 GenAI 平台通过标准接口（OpenAI API 标准和 Model Context Protocol）集成多个 LLM 和数据源。
• 深度
• 针对客户支持领域的高影响力环节进行投资：
• 使用对话式聊天机器人自动处理面向客户的工作流。
• 为人工支持专员提供智能工具以提高效率。
• 从支持工单中提取有价值的洞察，不断改进产品和服务。
• 用例
• 客户需要帮助，由此启动由 GenAI 增强的支持互动循环。

客户支持聊天机器人

• 超过 50% 的客户更喜欢将聊天作为支持渠道。
• 基于 Coinbase 庞大的知识库进行训练。
• 全天候提供即时、准确的帮助，并能适应市场波动。

聊天机器人的开发

FAQ 风格的 RAG 响应

• 通过简单的 FAQ 风格响应自动处理常见查询（例如登录问题、双因素身份验证）。
• 注重准确性，以建立坚实的基础。

智能体架构

用户输入和对话历史记录

• 存储在充当记忆层的向量数据库中。
• RAG 检索器
• 使用 Bedrock knowledge bases 对 Coinbase 帮助文章进行向量化和存储。
• 使用 Cohere 的 rerank 模型提高检索文章的准确性。
• 响应生成
• 混合使用多个 LLM，包括通过 Bedrock 提供的云模型。
• 包含一个以 actor-critic 架构开发的子智能体，用于精确生成响应。
• 防护机制
• 由 Bedrock guardrails 提供输入和输出防护。
• 防止有害内容和敏感 PII 泄露。
• 使用自定义领域专用筛选器尽量减少提示词注入。
• 使用自定义规则确保响应有据可依并减少幻觉。

下一层开发

• 行业与 LLM 能力演进
• 认识到需要超越最初的 RAG 层。

Cohere 的 Rerank 模型提升搜索相关性

• 对初始搜索结果进行语义重新排序
• 超越关键词，理解查询与文档的上下文
• 支持 100 多种语言
• 处理 JSON 和代码等复杂数据
• 改进检索增强生成（RAG）系统
• 提高企业搜索准确性
• 提供更快的用户体验
• 在搜索管道中充当强大的第二阶段
• 按深层相关性分数对关键词搜索或向量搜索结果进行排序 主要功能与模型
• Rerank-v3.5：最先进的性能、增强的推理能力以及广泛的数据兼容性（文本、JSON、代码）。
• Rerank-english-v3.0：适用于英文文档和半结构化数据。
• Rerank-multilingual-v3.0：适用于非英文内容，支持 100 多种语言。
• Rerank 3 Nimble：针对电子商务搜索等高流量用例优先提高效率并降低延迟，从而提升转化率。
• 工作原理
• 输入：用户查询和初始文档列表（来自 Elasticsearch 等关键词搜索或向量搜索）。
• 处理：Rerank 模型采用交叉编码器架构，联合处理查询和每份文档，以理解其语义关系。
• 输出：按顺序排列的文档列表，每份文档都有相关性分数，与上下文最相关的结果排在最前。
• 用例与优势
• 增强企业搜索：从复杂的内部数据（发票、代码）中呈现高度相关的信息。
• 改进 RAG 系统：通过向 LLM 提供最相关的片段，确保事实依据。
• 多语言应用：跨多种语言进行语义搜索。
• 降低成本与复杂性：通过一次 API 调用即可轻松与现有搜索堆栈（例如 Elasticsearch）集成，无需全面改造便可增加语义能力。

交叉编码器架构

• 一种在单个序列中联合处理两个输入（例如查询和文档）的模型，利用所有 token 之间的交叉注意力机制来确定其相关性。
• 主要特征
• 联合处理：核心特征是将查询和候选文档连接成单一输入序列，并以特殊 token 分隔。
• 交叉注意力：在 transformer 层内，模型的自注意力机制可以直接比较查询中的每个 token 与文档中的每个 token。这种细粒度交互可以深入、细致地理解二者的关系和语义相关性。
• 单一输出：模型通常为该输入对输出一个相关性分数（例如 0.0 到 1.0 之间的数字），通常使用通过分类层的 token 所产生的嵌入。
• 现代 AI 系统中的作用：
• 它们主要在两阶段检索流程中充当重排序器，尤其用于检索增强生成（RAG）系统：
• 第一阶段（双编码器）：快速高效的双编码器模型迅速将庞大的文档语料库缩小为更小、可管理且可能相关的候选列表（例如前 100 项）。
• 第二阶段（交叉编码器）：随后，交叉编码器以高精度仔细地重新评估并重新排序这一较小的候选子集，确保将最准确且最符合上下文的结果提供给最终 LLM 以生成响应。

业务流程层

• 增强的聊天机器人能力
• 随着 LLM 能力提升，聊天机器人得到增强，可以自主遵循业务流程。
• 以对话方式收集信息，并代表用户直接采取行动。
• 业务流程作为单一事实来源，供人员和 AI 智能体共同使用。
• 自动处理有关用户账户和待处理交易的查询。

智能体架构

• 引入业务流程分类器。
• 将查询路由到模拟特定业务流程的正确子智能体。
• RAG 智能体作为专用子智能体，执行涉及 RAG 知识库的流程。

主动解决问题层（预判能力）

• AI 智能体利用用户信号和平台上的活跃事件来预判常见用户问题。
• 在智能体设计中加入主动解决问题层。
• 如果找不到主动解决方案，主动智能体会回退到业务流程分类器。
• 主动智能体通过标准化 MCP 服务器访问数据。

关键设计原则

模型选择

• 采用兼顾准确性、延迟和可扩展性的平衡方法。
• 随着模型能力演进持续重新评估。
• 工具标准化
• 通过 Model Context Protocol（MCP）对工具访问进行标准化。
• 为客户支持和其他领域奠定坚实基础。
• 业务适应性
• 为人员和 AI 提供支持的业务流程单一事实来源。
• 增强业务适应性。
• 有据可依的响应
• 强调响应的事实正确性。

监控与评估

• LLM-as-a-Judge 评估
• 评估聊天机器人响应的相关性、准确性、潜在偏见、幻觉等。
• 主动跟踪质量指标和趋势，以快速发现异常。

专员辅助工具

目的

• 旨在帮助人工客户支持专员处理复杂问题。
• 为诊断和缓解客户问题提供实时协助。
• 功能
• 利用账户信号、持续事件数据和过往客户支持工单。
• 提供个性化指导，并以多种语言生成准确响应。
• 影响
• 更快解决问题、提高客户满意度，并提升支持团队效率。
• 接近 65% 的客户联系由 AI 系统自动处理。
• 每年节省近 500 万个员工工时并显著降低成本。
• 65% 的自动化案例可在一次互动中解决，从而改善用户体验。

合规的重要性

• 对 Coinbase 这样的金融科技实体而言，遵守 AML/CFT（反洗钱/反恐怖融资）标准至关重要。
• 致力于防止平台上的不当行为。
• 合规流程
• 实施 KYC、KYB 和 TMS。
• 高度依赖人力资源和全面调查。
• 需要详尽的可解释性，并能适应各国不同的监管要求。
• 合规策略
• 利用内部平台，通过 MCP 接口访问 LLM 和数据。
• 纳入传统机器学习模型来检测高风险合规案例；该模型构建于基于 AnyScale 的 ML 平台之上。
• 深度
• 使用高级深度学习模型检测 KYC、KYB 和 TMS 中的高风险案例。
• 通过 AI 自动执行并加速复杂调查。
• 从各种来源收集并综合数据，以便在合规工作流中开展严谨调查。

合规辅助工具

目的

• 面向合规专员的辅助工具，类似于客户支持专员辅助工具。
• 功能
• 由 AI 从内部系统和开源情报中收集并综合信息。
• 编写叙述性摘要和明确的风险审查信号。
• 为合规专员提供文档完整、可解释的调查，使其能够充分了解情况并自信地作出决策。
• 影响
• 为合规团队赋能并提升合规运营标准。

Ray 驱动的可扩展性

• 优化并管理 Ray 集群。
• 在数千个 CPU 和 GPU 之间进行高效分配和扩展。
• 处理海量数据集和复杂模型。
• 统一的开发人员体验：
• 简化从实验到生产的工作流。
• 交互式开发控制台。
• 内置 IDE。
• 用于调试分布式工作负载的工具。
• 旨在提高开发人员生产力。
• 生产就绪：
• 在 Ray 之上增加企业级功能。
• 高级可观测性。
• 数据治理。
• 成本跟踪。
• 强大的管理工具。
• 确保 ML 模型的可靠性、安全性和性能。
• 云无关部署：
• 支持跨多个云提供商（AWS、Google Cloud）进行部署。
• 支持本地 Kubernetes 集群。
• 让组织能够利用现有基础设施。
• 保持对数据和资源的控制。
• 优化与集成：
• 包括性能和成本降低方面的优化。
• 与重要 ML 工具集成：
• 使用 Weights & Biases 跟踪实验。
• 使用 Astronomer 编排工作流（采用 Apache Airflow）。
• 聚焦 AI 民主化：
• 简化分布式计算的复杂性。
• 旨在让高级 AI 和 ML 能力更易于使用。
• Ray AI 库
• Ray Data：用于可扩展数据处理，尤其适合图像、音频和视频等非结构化数据。
• Ray Train：用于分布式模型训练，可与 PyTorch、PyTorch Lightning 和 Hugging Face Transformers 等框架集成。
• Ray Tune：用于可扩展、容错的超参数调优和实验执行的框架。
• Ray Serve：将机器学习模型部署并提供为可扩展、可编程的低延迟 API。
• RLlib：工业级强化学习库，支持从机器人到金融等广泛应用。

面向合规的智能体架构

启动

• 当深度学习合规风险模型针对高风险案例触发警报时，流程开始。
• 启动整体审查，即对高风险合规案例进行全面调查。
• 合规自动解决引擎 (CAR)
• 作为整体审查流程的编排器，是解决方案的核心。
• 在智能体 AI 驱动的工作流中同时调动自动化能力和人类专业知识。
• 人在回路流程
• 与两类人员角色互动：
• 合规运营专员：审查 AI 系统的发现，并提供改进反馈。
• 最终客户：必要时联系客户以获取更多信息。
• 数据聚合与综合
• 引擎通过标准化 MCP 数据连接器，聚合并综合来自各种来源（内部、外部、开源情报）的数据。
• 最终形成一份称为叙述性摘要的可靠 AI 生成报告。
• 最终决定
• 人工合规运营专员审查 AI 的推理和合规证据。
• 确定案例是否需要向政府部门提交可疑活动报告。

开发人员生产力

SDLC 中的 AI

• AI 智能体在软件开发生命周期（SDLC）的不同阶段协助工程团队。
• 整合编码、工单、文档编写、创建拉取请求和审查拉取请求等任务。
• 重点领域
• 代码编写
• 代码审查
• 质量保证

代码编写工具

Cloud Code

• 直接集成到 IDE 或命令行中的先进编码助手。
• Cursor
• 智能、可感知上下文的 IDE，旨在实现更快速、更协作且更高效的软件开发。
• 作为一个选项提供，开发人员可根据偏好进行选择。
• 底层模型
• 工具由通过 Bedrock 提供的 Anthropic 模型驱动。

拉取请求与代码审查

自研工具

• 改编自开源工具，并使用 Bedrock 中的模型进行了增强。
• 实现为由 AI 驱动的 GitHub action，以自动执行 PR 审查。
• 定义：
• “自研工具”是公司或社区内部开发的软件、应用程序或解决方案，用于解决特定的独特问题。
• 开发方法：
• 通常使用自定义脚本创建。
• 利用 Visio 或 Excel 等现有平台。
• 避免依赖现成产品。
• 功能
• 总结拉取请求及其底层代码变更。
• 生成清晰的自然语言审查意见。
• 强制执行编码约定。
• 指出单元测试覆盖率缺口。
• 提供调试 CI 故障的提示。
• 影响
• 自动完成代码审查的日常环节，让人工开发人员专注于细微复杂的方面并创造更高价值。

质量保证

自动化 UI 测试工具

• 自研的 AI 驱动工具，用于 Web 和移动 UI 的端到端质量保证自动化。
• 将自然语言测试描述转换为自主浏览器操作。
• 功能
• 使用 BrowserStack 等服务，在不同设备形态中执行浏览器操作。
• 通过 Playwright 等框架模拟浏览器操作。
• 优势
• 能够像人类一样测试 UI，从而提高质量保证流程的有效性。

AI 对开发人员生产力的影响

代码生成

• Coinbase 每天编写的全部代码中，近 40% 由 AI 生成或受到 AI 影响。
• 目标是不久后超过 50%，但仍需人工审查和理解。
• 自动化 PR 审查
• 预计每年可节省约 75,000 小时。
• 通过强制执行编码约定提高代码质量。
• 质量保证
• AI 驱动的 UI 测试工具达到与人工测试人员相当的准确率。
• 在相同时间内发现的缺陷数量是人工的三倍。
• 大幅加快引入新测试的流程（最快只需 15 分钟）。
• 与传统手动测试相比，成本降低 86%。