AWS Inferentia

第 1 世代の Inferentia チップにはそれぞれ 4 つの第 1 世代 NeuronCore が搭載されており、各 EC2 Inf1 インスタンスには最大 16 個の Inferentia チップが搭載されています。各 Inferentia2 チップには 2 つの第 2 世代 NeuronCore が搭載されており、各 EC2 Inf2 インスタンスには最大 12 個の Inferentia2 チップが搭載されています。各 Inferentia2 チップは、最大 190 テラ浮動小数点演算毎秒 (TFLOPS) の FP16 パフォーマンスをサポートしています。第 1 世代の Inferentia は、チップごとに 8 GB の DDR4 メモリを搭載しており、大容量のオンチップメモリも搭載されています。Inferentia2 では、チップあたり 32 GB の HBM を搭載し、Inferentia に比べて総メモリ量を 4 倍、メモリ帯域幅を 10 倍に拡大しています。

AWS Neuron SDK は、PyTorch や TensorFlow などの一般的な機械学習フレームワークとネイティブに統合されています。AWS Neuron を使用すると、これらのフレームワークを使用して DL モデルを両方の AWS Inferentia チップに最適にデプロイできます。Neuron は、コードの変更を最小限に抑え、ベンダー固有のソリューションと連携するように設計されています。 Neuron は、自然言語処理 (NLP)/理解、言語翻訳、テキスト要約、動画と画像の生成、音声認識、パーソナライゼーション、不正検出などのための推論アプリケーションを Inferentia チップで実行するのに役立ちます。

第 1 世代の Inferentia は、FP16、BF16、INT8 のデータ型をサポートしています。Inferentia2 では、FP32、TF32、および新しい設定可能な FP8 (cFP8) データ型の追加サポートが新たに提供され、デベロッパーはパフォーマンスと精度を最適化するための柔軟性を高められるようになりました。AWS Neuron は、高精度な FP32 モデルを、精度とパフォーマンスを最適化しながら、低精度なデータ型に自動的にキャストします。オートキャストは、低精度の再トレーニングの必要性を排除することで、市場投入までの時間を短縮します。

Inferentia2 は、動的な入力サイズと C++ で書かれたカスタム演算子のためのハードウェア最適化を追加しています。また、ストキャスティックラウンディング (確率的な丸め処理の方法) をサポートしており、従来の丸め処理の方式と比較し高いパフォーマンスと精度を実現します。

Inf2 インスタンスは、同等の Amazon EC2 インスタンスに比べて、1 ワット当たり最大 50% のパフォーマンス向上を実現します。これらとその基盤である Inferentia2 チップが、DL モデルを大規模に実行するために構築されたものだからです。Inf2 インスタンスは、超大規模モデルをデプロイする際に、持続可能性の目標を達成するのに役立ちます。