最大限度提高 AI 推理成本效益：战略性采用 AWS GPU 实例

议程笔记

本场活动探讨了如何为 AI 和机器学习工作负载选择 AWS GPU 实例及购买选项。核心观点是：要实现成本效益，需要根据模型、吞吐量、延迟和工作负载的可预测性，选择合适的实例系列和定价模式。

GPU 实例系列

Amazon EC2 G 系列实例：

针对图形密集型应用和机器学习推理进行了优化。
G6 实例使用 NVIDIA L4 GPU。
G6e 实例使用 NVIDIA L40S GPU。
非常适合经济高效的中等吞吐量推理工作负载。

Amazon EC2 P 系列实例：

专为高性能机器学习训练和高吞吐量推理而设计。
P4 实例使用 NVIDIA A100 GPU。
P5 实例使用 NVIDIA H100 GPU。
P6 实例使用基于 Blackwell 架构的 NVIDIA B200 GPU。
非常适合大规模、延迟敏感型推理和模型训练工作负载。

如何在 G 系列和 P 系列实例之间进行选择

G 系列实例非常适合：

成本敏感型工作负载。
中小型 AI 模型。
参数量少于 300 亿的中小型语言模型。
经过蒸馏的大语言模型。
XGBoost 和随机森林等传统机器学习模型。
聊天机器人、个性化引擎、推荐系统和图像识别。

P 系列实例非常适合：

参数量超过 300 亿的大语言模型。
高吞吐量推理。
延迟敏感型应用。
视觉语言和多模态 AI 系统。
大型 AI 模型训练。

Amazon EC2 购买选项

按需实例：

按秒计费，无需长期承诺即可获得计算容量。
灵活性最高，但每小时费率也最高。
适用于测试、原型设计、新服务上线、突发需求和不可预测的工作负载。

Savings Plans（节省计划）：

需要承诺一年或三年的使用量。
与按需定价相比，成本最多可降低 72%。
适用于稳定且可预测的生产推理。
Compute Savings Plans 可跨实例系列和区域灵活使用。
EC2 Instance Savings Plans 针对特定实例系列和区域提供更大折扣。

竞价型实例：

使用 Amazon EC2 闲置容量，与按需定价相比，折扣最高可达 90%。
实例可能在收到两分钟通知后中断。
适用于容错、灵活且无状态的工作负载。
常见使用场景包括批处理、非关键推理以及非高峰时段的扩展。

EC2 Capacity Blocks for ML：

为未来的指定开始日期和时间段预留加速计算容量。
最多可提前八周预订。
预订时长可为 1 至 182 天。
每个容量区块可包含 1 至 64 个实例。
采用固定的预付定价。
支持 P4d、P5、P5en 和 P6 等实例系列。
适用于需要在计划时间内确保获得稀缺容量的 GPU 训练或推理作业。

战略性购买建议

按需实例：

开发和实验。
新服务上线。
需求不可预测或变化幅度很大的工作负载。

Savings Plans：

利用率稳定且可预测的生产推理。
有使用数据支持承诺的长期运行工作负载。

竞价型实例：

非关键推理。
批处理作业和非高峰时段处理。
具备检查点和重试机制的可中断工作负载。

Capacity Blocks：

按计划进行的大规模训练。
有明确期限的推理活动。
必须在已知时段内确保 GPU 容量的工作负载。

GPU 定价近期变化

AWS 将 P4、P5 和 P5en 实例的价格降低了约 25% 至 45%。
降价适用于按需定价、EC2 Instance Savings Plans 和 Compute Savings Plans。
P5 和 P5en 现已支持一年期 EC2 Instance Savings Plans。
与按需定价相比，这些一年期计划最多可节省 40%。
配备 NVIDIA B200 GPU 的 P6 实例已纳入 Savings Plans。

区域可用性：

AWS 降低了美国以外多个区域中 P5、P5e 和 P5en 实例的 EC2 Capacity Blocks for ML 定价。
更一致的区域定价提高了成本的可预测性。
标准化定价简化了机器学习工作负载的多区域规划。
全球客户可以预留 GPU 容量，受地理位置影响的价格差异也更小。

定价变化带来的影响

降低总体拥有成本：

高性能推理和训练变得更加经济实惠。
AI 实验和部署预算可以支持更多工作负载。

改善全球可用性：

扩展的区域可用性有助于实施全球部署战略。
更一致的价格简化了全球容量规划。

提高定价灵活性：

企业可以组合使用按需实例、Savings Plans、竞价型实例和 Capacity Blocks。
与三年期承诺相比，一年期承诺降低了财务风险。

模型和工作负载优化

模型优化：

在 G6 或 G6e 上部署较小或经过优化的模型，在保持响应速度的同时降低成本。
使用 INT4 或 INT8 量化，使较大的模型能够在较小的 GPU 实例上运行。
考虑使用计算需求更低但质量相当的蒸馏模型。
在适当情况下应用模型压缩。

批处理：

合并多个推理请求，以提高 GPU 利用率。
使用动态批处理平衡吞吐量和延迟。
使用竞价型实例在非高峰时段运行非紧急处理任务。

实时推理：

将 G6 或 G6e 与按需实例或 Savings Plans 结合使用。
围绕低延迟服务级别目标进行设计。
根据需求自动扩缩。
在需要较低网络延迟时采用区域化部署。

批量推理：

考虑使用 P5 竞价型实例或 Capacity Blocks。
在非高峰时段处理大量数据。
使用检查点机制从竞价型实例中断中恢复。
构建基于队列的架构。
主要针对吞吐量进行优化，而不是请求延迟。

决策框架

评估模型大小和吞吐量要求。
确定工作负载需求是否可预测。
评估延迟敏感度。
明确预算和可靠性限制。
选择合适的实例系列，例如注重成本效益时选择 G 系列，注重性能时选择 P 系列。
选择与工作负载可预测性和中断容忍度相匹配的购买选项。
监控利用率并持续优化。

实施最佳实践

技术优化：

实施模型压缩和量化。
使用动态批次大小。
在工作负载支持的情况下启用 GPU 共享。
监控 GPU 利用率，发现闲置或利用不足的容量。
优化容器镜像，以减少启动时间和存储开销。

成本优化：

定期审查工作负载模式。
使用 AWS Cost Explorer 分析支出。
配置预算和成本提醒。
组合使用不同购买选项，而不是对所有工作负载采用同一种模式。
每年重新评估 Savings Plans 和其他承诺。

要点总结

AWS 近期下调 GPU 价格，为降低推理和训练成本创造了重要机会。
经济高效的推理选择 G 系列实例，高性能训练或推理选择 P 系列实例。
根据工作负载的稳定性、灵活性和中断容忍度选择购买选项。
在迁移到更昂贵的 GPU 实例之前，先优化模型和批处理。
混合购买策略可以在成本、性能、容量保障和可靠性之间取得平衡。
随着模型要求和需求模式的变化，应持续审查 GPU 基础设施。

后续步骤：

审查当前 GPU 利用率和成本。
找出可受益于新定价的工作负载。
测试量化、蒸馏及其他优化技术。
评估区域化部署机会。
考虑为即将进行的大型训练或推理作业使用 Capacity Blocks。