AWS Trainium

在 Amazon EC2 中，Trn2 UltraServer 和執行個體為生成式 AI 訓練和推理提供突破性的效能。每個 Trn2 UltraServer 都有 64 個 Trainium2 晶片，這些晶片透過我們專有的晶片間互連 NeuronLink 實現互連，並提供高達 83.2 PFLOPS 的 FP8 運算能力、6 TB 的 HBM3 和 185 TB/秒 (Tbps) 的記憶體頻寬，以及 12.8 TB/秒 (Tbps) 的 Elastic Fabric Adapter (EFA) 聯網速度。每個 Trn2 執行個體都有 16 個與 NeuronLink 連線的 Trainium2 晶片，可提供高達 20.8 PFLOPS 的 FP8 運算能力、1.5 TB 的 HBM3 和 46 TB/秒 (Tbps) 的記憶體頻寬，以及 3.2 TB/秒 (Tbps) 的 EFA 聯網速度。Trn1 執行個體配備最多 16 個 Trainium 晶片，可提供高達 3 PFLOPS 的 FP8 運算能力、512 GB 的 HBM3 和 9.8 TB/秒 (Tbps) 的記憶體頻寬，以及高達 1.6 TB/秒 (Tbps) 的 EFA 聯網速度。

AWS Neuron SDK 可協助您從 Trn2 和 Trn1 執行個體擷取完整效能，讓您專注於建置和部署模型，同時縮短上市時間。AWS Neuron 與 JAX、PyTorch 以及 Hugging Face、PyTorch Lightning、and NeMo 等基本程式庫原生整合。AWS Neuron 支援 Hugging Face 模型中心上的 100,000 多個模型，其中包括 Meta 的 Llama 模型系列和 Stable Diffusion XL 等流行模型。它可以立即最佳化模型以進行分散式訓練和推論，同時針對分析和偵錯提供深入的洞見。AWS Neuron 與 Amazon SageMaker、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Container Service (Amazon ECS)、AWS ParallelCluster 和 AWS Batch 等服務整合，同時與 Ray (Anyscale)、Domino Data Lab 和 Datadog 等第三方服務整合。

為了在滿足準確度目標的同時提供高效能，Trainium 晶片已針對 FP32、TF32、BF16、FP16 和新的可設定 FP8 (cFP8) 資料類型最佳化。為了支援生成式 AI 的快速創新步伐，Trainium2 針對 4 倍稀疏度 (16:4)、微擴展、隨機舍入和專用集體引擎進行硬體最佳化。

Neuron Kernel Interface (NKI) 支援使用具有類似 Triton 介面的 Python 型環境直接存取指令集架構 (ISA)，讓您可以創新設計模型架構和高度最佳化的運算內核，使其效能超越現有技術。

Trn2 執行個體設計為能源效率比 Trn1 執行個體更高三倍。Trn1 執行個體的能源效率比同類加速運算 EC2 執行個體更高 25%。這些執行個體可協助您在訓練超大型模型時達成永續目標。