Pourquoi Trainium ?
Les puces AWS Trainium sont une famille de puces d’IA spécialement conçues par AWS pour l’entraînement et l’inférence de l’IA afin d’offrir des performances élevées tout en réduisant les coûts.
La puce AWS Trainium de première génération alimente les instances Amazon Elastic Compute Cloud (Amazon EC2) Trn1, dont les coûts de formation sont élevés à 50 % inférieurs à ceux des instances Amazon EC2 comparables. De nombreux clients, dont Databricks, Ricoh, NinjaTech AI et Arcee AI, tirent parti des avantages en matière de performances et de coûts des instances Trn1.
La puce AWS Trainium2 offre des performances jusqu’à quatre fois supérieures à celles du Trainium de première génération. Les instances Amazon EC2 Trn2 basées sur Trainium2 sont spécialement conçues pour l’IA générative. Elles sont les instances EC2 les plus puissantes pour l’entraînement et le déploiement de modèles avec des centaines de milliards à plus de billions de paramètres. Les instances Trn2 offrent un rapport qualité/prix supérieur de 30 à 40 % à celui de la génération actuelle d’instances EC2 P5e et P5en basées sur GPU. Les instances Trn2 disposent de 16 puces Trainium2 interconnectées avec NeuronLink, le réseau d’interconnexion entre puces que nous avons développé. Vous pouvez utiliser les instances Trn2 pour entraîner et déployer les modèles les plus exigeants, notamment les grands modèles de langage (LLM), les modèles multimodaux et les transformeurs de diffusion, afin de créer un large éventail d’applications d’IA génératives de nouvelle génération. Les serveurs Trn2 UltraServers, une toute nouvelle offre EC2 (disponible en avant-première), sont idéaux pour les plus grands modèles qui nécessitent plus de mémoire et de bande passante que les instances EC2 autonomes ne peuvent fournir. La conception de l’UltraServer utilise NeuronLink pour connecter 64 puces Trainium2 sur quatre instances Trn2 en un seul nœud, ouvrant ainsi de nouvelles fonctionnalités. À titre d’inférence, les UltraServers contribuent à fournir un temps de réponse de pointe afin de créer les meilleures expériences en temps réel. En matière d’entraînement, les UltraServers augmentent la vitesse et l’efficacité de l’entraînement des modèles grâce à une communication collective plus rapide pour le parallélisme des modèles, par rapport aux instances autonomes.
Vous pouvez commencer à former et à déployer des modèles sur les instances Trn2 et Trn1 grâce à la prise en charge native des cadres de machine learning (ML) populaires tels que PyTorch et JAX.