AWS Trainium

Trn2 UltraServer とインスタンスは、Amazon EC2 で生成 AI トレーニングと推論において画期的なパフォーマンスを発揮します。各 Trn2 UltraServer には、当社独自のチップ間相互接続である NeuronLink で相互接続された 64 個の Trainium2 チップが搭載されており、最大 83.2 ペタフロップスの FP8 コンピューティング、185 テラバイト/秒 (TBps) のメモリ帯域幅を備えた 6 TB の HBM3、および 12.8 テラビット/秒 (Tbps) の Elastic Fabric Adapter (EFA) ネットワーキングを実現します。各 Trn2 インスタンスには、NeuronLink で接続された 16 個の Trainium2 チップが搭載されており、最大 20.8 ペタフロップスの FP8 コンピューティング、46 TBps のメモリ帯域幅を備えた 1.5 TB の HBM3、および 3.2 Tbps の EFA ネットワーキングを実現します。Trn1 インスタンスには、最大 16 個の Trainium チップが搭載されており、最大 3 ペタフロップスの FP8 コンピューティング、9.8 TBps のメモリ帯域幅を備えた 512 GB の HBM、および最大 1.6 Tbps の EFA ネットワーキングを実現します。

AWS Neuron SDK は、Trn2 インスタンスと Trn1 インスタンスから最大限のパフォーマンスを引き出すのに役立つため、モデルの構築とデプロイに集中し、市場投入までの時間を短縮できます。AWS Neuron は、JAX、PyTorch、および Hugging Face、PyTorch Lightning、NeMo などの重要なライブラリとネイティブに統合されています。AWS Neuron は Hugging Face モデルハブで 100,000 以上のモデルをサポートしています。これには、Meta の Llama ファミリーモデルや Stable Diffusion XL などの一般的なモデルが含まれます。プロファイリングとデバッグのための深いインサイトを提供しながら、すぐに分散型トレーニングと推論用にモデルを最適化します。AWS Neuron は、Amazon SageMaker、Amazon Elastic Kubernetes Service (Amazon EKS)、Amazon Elastic Container Service (Amazon ECS)、AWS ParallelCluster、AWS Batch などのサービスのほか、Ray (Anyscale)、Domino Data Lab、Datadog などのサードパーティーサービスと統合されています。

精度の目標を達成しながら高いパフォーマンスを実現するために、Trainium チップは FP32、TF32、BF16、FP16、および新しい設定可能な FP8 (cFP8) データタイプ向けに最適化されています。生成 AI における急速なイノベーションをサポートするために、Trainium2 には 4 倍の稀薄性 (16:4)、マイクロスケーリング、確率的四捨五入、専用のコレクティブエンジンなどのハードウェア最適化機能が搭載されています。

Neuron Kernel Interface (NKI) を使用すると、Triton のようなインターフェイスを備えた Python ベースの環境を使用して命令セットアーキテクチャ (ISA) に直接アクセスできるため、既存の手法よりも優れた新しいモデルアーキテクチャや高度に最適化されたコンピューティングカーネルを革新できます。

Trn2 インスタンスは、Trn1 インスタンスよりも 3 倍エネルギー効率が高くなるように設計されています。Trn1 インスタンスは、同等のアクセラレーテッドコンピューティング EC2 インスタンスよりもエネルギー効率が最大 25% 高くなっています。これらのインスタンスは、超大規模モデルをトレーニングする際に、持続可能性の目標を達成するのに役立ちます。