最大化 AI 推論成本效益：策略性採用 AWS GPU 執行個體

議程筆記

本場議程探討了如何為 AI 和機器學習工作負載選擇 AWS GPU 執行個體及購買選項。核心觀點是：要實現成本效益，需要根據模型、輸送量、延遲和工作負載的可預測性，選擇合適的執行個體系列和定價模式。

GPU 執行個體系列

Amazon EC2 G 系列執行個體：

針對圖形密集型應用程式和機器學習推論進行了最佳化。
G6 執行個體使用 NVIDIA L4 GPU。
G6e 執行個體使用 NVIDIA L40S GPU。
非常適合具成本效益的中等輸送量推論工作負載。

Amazon EC2 P 系列執行個體：

專為高效能機器學習訓練和高輸送量推論而設計。
P4 執行個體使用 NVIDIA A100 GPU。
P5 執行個體使用 NVIDIA H100 GPU。
P6 執行個體使用基於 Blackwell 架構的 NVIDIA B200 GPU。
非常適合大規模、延遲敏感型推論和模型訓練工作負載。

如何在 G 系列和 P 系列執行個體之間進行選擇

G 系列執行個體非常適合：

成本敏感工作負載。
中小型 AI 模型。
參數量少於 300 億的中小型語言模型。
經過蒸餾的大語言模型。
XGBoost 和隨機森林等傳統機器學習模型。
聊天機器人、個人化引擎、推薦系統和影像識別。

P 系列執行個體非常適合：

參數量超過 300 億的大語言模型。
高輸送量推論。
延遲敏感型應用程式。
視覺語言和多模態 AI 系統。
大型 AI 模型訓練。

Amazon EC2 購買選項

隨需執行個體：

按秒計費，無需長期承諾即可獲得運算容量。
靈活性最高，但每小時費率也最高。
適用於測試、原型設計、新服務上線、突發需求和不可預測的工作負載。

Savings Plans（節省方案）：

需要承諾一年或三年的使用量。
與隨需定價相比，成本最多可降低 72%。
適用於穩定且可預測的正式環境推論。
Compute Savings Plans 可跨執行個體系列和區域靈活使用。
EC2 Instance Savings Plans 針對特定執行個體系列和區域提供更大折扣。

Spot 執行個體：

使用 Amazon EC2 閒置容量，與隨需定價相比，折扣最高可達 90%。
執行個體可能在收到兩分鐘通知後中斷。
適用於容錯、靈活且無狀態的工作負載。
常見使用情境包括批次處理、非關鍵推論以及非高峰時段的擴展。

EC2 Capacity Blocks for ML（機器學習容量區塊）：

為未來的指定開始日期和時間段預留加速運算容量。
最多可提前八周預留。
預留時長可為 1 至 182 天。
每個容量區塊可包含 1 至 64 個執行個體。
採用固定預付價格。
支援 P4d、P5、P5en 和 P6 等執行個體系列。
適用於需要在計畫時間內確保獲得稀缺容量的 GPU 訓練或推論作業。

策略性購買建議

隨需執行個體：

開發和實驗。
新服務上線。
需求不可預測或變化幅度很大的工作負載。

Savings Plans：

利用率穩定且可預測的正式環境推論。
有使用資料支援承諾的長期執行工作負載。

Spot 執行個體：

非關鍵推論。
批次處理作業和非高峰時段處理。
具備檢查點和重試機制的可中斷工作負載。

Capacity Blocks：

按計畫進行的大規模訓練。
有明確期限的推論活動。
必須在已知時段內確保 GPU 容量的工作負載。

GPU 定價近期變化

AWS 將 P4、P5 和 P5en 執行個體的價格降低了約 25% 至 45%。
降價適用於隨需定價、EC2 Instance Savings Plans 和 Compute Savings Plans。
P5 和 P5en 現已支援一年期 EC2 Instance Savings Plans。
與隨需定價相比，這些一年期計畫最多可節省 40%。
配備 NVIDIA B200 GPU 的 P6 執行個體已納入 Savings Plans。

區域可用性：

AWS 降低了美國以外多個區域中 P5、P5e 和 P5en 執行個體的 EC2 Capacity Blocks for ML（機器學習容量區塊）定價。
更一致的區域定價提高了成本的可預測性。
標準化定價簡化了機器學習工作負載的多區域規劃。
全球客戶可以預留 GPU 容量，受地理位置影響的價格差異也更小。

定價變化帶來的影響

降低總持有成本：

高效能推論和訓練變得更加經濟實惠。
AI 實驗和部署預算可以支援更多工作負載。

改善全球可用性：

擴展的區域可用性有助於實施全球部署策略。
更一致的價格簡化了全球容量規劃。

提高定價靈活性：

企業可以組合使用隨需執行個體、Savings Plans、Spot 執行個體和 Capacity Blocks。
與三年期承諾相比，一年期承諾降低了財務風險。

模型和工作負載最佳化

模型最佳化：

在 G6 或 G6e 上部署較小或經過最佳化的模型，在保持回應速度的同時降低成本。
使用 INT4 或 INT8 量化，使較大的模型能夠在較小的 GPU 執行個體上執行。
考慮使用運算需求更低但品質相當的蒸餾模型。
在適當情況下套用模型壓縮。

批次處理：

合併多個推論請求，以提高 GPU 利用率。
使用動態批次處理平衡輸送量和延遲。
使用 Spot 執行個體在非高峰時段執行非緊急處理任務。

即時推論：

將 G6 或 G6e 與隨需執行個體或 Savings Plans 結合使用。
圍繞低延遲服務水準目標進行設計。
根據需求自動擴展。
在需要較低網路延遲時採用區域化部署。

批次推論：

考慮使用 P5 Spot 執行個體或 Capacity Blocks。
在非高峰時段處理大量資料。
使用檢查點機制從 Spot 執行個體中斷中恢復。
建置基於佇列的架構。
主要針對輸送量進行最佳化，而不是請求延遲。

決策框架

評估模型大小和輸送量要求。
確定工作負載需求是否可預測。
評估延遲敏感度。
明確預算和可靠性限制。
選擇合適的執行個體系列，例如注重成本效益時選擇 G 系列，注重效能時選擇 P 系列。
選擇與工作負載可預測性和中斷容忍度相匹配的購買選項。
監控利用率並持續最佳化。

實施最佳實務

技術最佳化：

實施模型壓縮和量化。
使用動態批次大小。
在工作負載支援的情況下啟用 GPU 共享。
監控 GPU 利用率，發現閒置或利用不足的容量。
最佳化容器映像，以減少啟動時間和儲存開銷。

成本最佳化：

定期審查工作負載模式。
使用 AWS Cost Explorer 分析支出。
設定預算和成本提醒。
組合使用不同購買選項，而不是對所有工作負載採用同一種模式。
每年重新評估 Savings Plans 和其他承諾。

重點摘要

AWS 近期下調 GPU 價格，為降低推論和訓練成本創造了重要機會。
具成本效益的推論選擇 G 系列執行個體，高效能訓練或推論選擇 P 系列執行個體。
根據工作負載的穩定性、靈活性和中斷容忍度選擇購買選項。
在遷移到更昂貴的 GPU 執行個體之前，先最佳化模型和批次處理。
混合購買策略可以在成本、效能、容量保障和可靠性之間取得平衡。
隨著模型要求和需求模式的變化，應持續審查 GPU 基礎設施。

後續步驟：

審查目前 GPU 利用率和成本。
找出能受惠於新定價的工作負載。
測試量化、蒸餾及其他最佳化技術。
評估區域化部署機會。
考慮為即將進行的大型訓練或推論作業使用 Capacity Blocks。