Nvidia a annoncé que son rack Groq 3 LPX est en production complète, marquant une étape clé suite à son acquisition de Groq pour 20 milliards de dollars. Le rack Groq sera utilisé aux côtés des processeurs centraux Vera de Nvidia et des processeurs graphiques Rubin chez neocloud Nebius, avec un déploiement prévu plus tard cette année.
Ce mouvement met en évidence la demande croissante pour la technologie d'inférence à faible latence, qui est cruciale pour créer des applications AI réactives, en particulier dans le codage.
Le directeur senior de Nvidia, Dion Harris, a souligné que cette technologie permet aux entreprises de cloud d'offrir des niveaux de service premium, répondant aux clients qui nécessitent des solutions à faible latence.
L'architecture Groq dispose de 500 mégaoctets de SRAM sur la puce pour minimiser les goulets d'étranglement de mémoire, et les racks LPX de Nvidia abriteront 256 puces Groq 3, capables de délivrer 3 400 jetons par seconde, selon les benchmarks d'Artificial Analysis.
Le paysage concurrentiel inclut Advanced Micro Devices, qui prévoit d'intégrer ses systèmes avec des puces Cerebras, en se concentrant sur des applications à faible latence similaires. Harris a précisé que les puces à faible latence comme Groq ne remplacent pas les GPU mais remplissent des fonctions spécifiques au sein des charges de travail AI.
Nvidia augmente également les expéditions de ses systèmes Vera Rubin, le PDG Jensen Huang projetant 1 trillion de dollars de ventes cumulées des générations de puces actuelles et nouvelles d'ici 2027. Nvidia devrait bientôt annoncer ses résultats, ce qui fournira des informations supplémentaires sur l'impact de ces développements.