Nvidia ha anunciado que su rack Groq 3 LPX está en producción completa, marcando un hito clave tras su adquisición de $20 mil millones de Groq. El rack Groq se utilizará junto con los procesadores centrales Vera de Nvidia y los procesadores gráficos Rubin en neocloud Nebius, con un despliegue esperado para finales de este año.
Este movimiento destaca la creciente demanda de tecnología de inferencia de baja latencia, que es crucial para crear aplicaciones de IA responsivas, particularmente en codificación. El director senior de Nvidia, Dion Harris, enfatizó que esta tecnología permite a las empresas de la nube ofrecer niveles de servicio premium, atendiendo a clientes que requieren soluciones de baja latencia.
La arquitectura Groq cuenta con 500 megabytes de SRAM en el chip para minimizar cuellos de botella de memoria, y los racks LPX de Nvidia albergarán 256 chips Groq 3, capaces de entregar 3,400 tokens por segundo, según los benchmarks de Artificial Analysis.
El panorama competitivo incluye a Advanced Micro Devices, que planea integrar sus sistemas con chips Cerebras, enfocándose en aplicaciones de baja latencia similares. Harris aclaró que los chips de baja latencia como Groq no reemplazan a las GPU, sino que cumplen funciones específicas dentro de las cargas de trabajo de IA.
Nvidia también está aumentando los envíos de sus sistemas Vera Rubin, con el CEO Jensen Huang proyectando $1 billón en ventas acumulativas de generaciones actuales y nuevas de chips para 2027. Nvidia está lista para informar sus ganancias pronto, lo que proporcionará más información sobre el impacto de estos desarrollos.