AWS Inferentia

Jeder Inferentia-Chip der ersten Generation hat vier NeuronCores der ersten Generation, und jede EC2-Inf1-Instance hat bis zu 16 Inferentia-Chips. Jeder Inferentia2-Chip hat zwei NeuronCores der zweiten Generation, und jede EC2-Inf2-Instance hat bis zu 12 Inferentia2-Chips. Jeder Inferentia2-Chip unterstützt bis zu 190 Tera-Gleitkommaoperationen pro Sekunde (TFLOPS) an FP16-Leistung. Die erste Generation von Inferentia verfügt über 8 GB DDR4-Speicher pro Chip und bietet außerdem eine große Menge an On-Chip-Speicher. Inferentia2 bietet 32 GB HBM pro Chip, was den Gesamtspeicher um das Vierfache und die Speicherbandbreite um das Zehnfache gegenüber Inferentia erhöht.

AWS Neuron SDK lässt sich nativ in beliebte ML-Frameworks wie PyTorch und TensorFlow integrieren. Mit AWS Neuron können Sie diese Frameworks nutzen, um DL-Modelle auf beiden AWS-Inferentia-Chips bereitzustellen, und Neuron ist so konzipiert, dass Codeänderungen und die Bindung an anbieterspezifische Lösungen minimiert werden. Neuron hilft Ihnen, Ihre Inferenzanwendungen für natürliche Sprachverarbeitung (NLP)/Verständnis, Sprachübersetzung, Textzusammenfassung, Video- und Bilderzeugung, Spracherkennung, Personalisierung, Betrugserkennung und mehr auf Inferentia-Chips auszuführen.

Inferentia der ersten Generation unterstützt die Datentypen FP16, BF16 und INT8. Inferentia2 bietet zusätzliche Unterstützung für FP32, TF32 und den neuen konfigurierbaren FP8 (cFP8) Datentyp, um Entwicklern mehr Flexibilität zur Optimierung von Leistung und Genauigkeit zu bieten. AWS Neuron übernimmt hochpräzise FP32-Modelle und wandelt sie automatisch in Datentypen mit geringerer Genauigkeit um, wobei Genauigkeit und Leistung optimiert werden. Autocasting verkürzt die Zeit bis zur Markteinführung, da keine Nachschulung mit geringerer Präzision erforderlich ist.

Inferentia2 bietet Hardware-Optimierungen für dynamische Eingabegrößen und benutzerdefinierte, in C++ geschriebene Operatoren. Es unterstützt auch das stochastische Runden, eine Art des wahrscheinlichkeitsbasierten Rundens, das im Vergleich zu herkömmlichen Rundungsmodi eine hohe Leistung und höhere Genauigkeit ermöglicht.

Inf2-Instances bieten eine bis zu 50 % bessere Leistung/Watt im Vergleich zu vergleichbaren Amazon-EC2-Instances, da sie und die zugrundeliegenden Inferentia2-Chips speziell für die Ausführung von DL-Modellen in großem Maßstab entwickelt wurden. Inf2-Instances helfen Ihnen, Ihre Nachhaltigkeitsziele bei der Bereitstellung extrem großer Modelle zu erreichen.