Nvidia ha annunciato che il suo rack Groq 3 LPX è in produzione completa, segnando una tappa fondamentale dopo l'acquisizione da 20 miliardi di dollari di Groq. Il rack Groq sarà utilizzato insieme ai processori centrali Vera di Nvidia e ai processori grafici Rubin presso neocloud Nebius, con il dispiegamento previsto entro la fine dell'anno.
Questa mossa evidenzia la crescente domanda per la tecnologia di inferenza a bassa latenza, cruciale per creare applicazioni AI reattive, in particolare nella programmazione. Il direttore senior di Nvidia, Dion Harris, ha sottolineato che questa tecnologia consente alle aziende di cloud di offrire livelli di servizio premium, soddisfacendo i clienti che richiedono soluzioni a bassa latenza.
L'architettura Groq presenta 500 megabyte di SRAM sul chip per minimizzare i colli di bottiglia della memoria, e i rack LPX di Nvidia ospiteranno 256 chip Groq 3, capaci di fornire 3.400 token al secondo, secondo i benchmark di Artificial Analysis.
Il panorama competitivo include Advanced Micro Devices, che prevede di integrare i propri sistemi con chip Cerebras, concentrandosi su applicazioni simili a bassa latenza. Harris ha chiarito che i chip a bassa latenza come Groq non sostituiscono le GPU, ma svolgono funzioni specifiche all'interno dei carichi di lavoro AI.
Nvidia sta anche aumentando le spedizioni dei suoi sistemi Vera Rubin, con il CEO Jensen Huang che prevede vendite cumulative di 1 trilione di dollari dalle generazioni attuali e nuove di chip entro il 2027. Nvidia è pronta a riportare i suoi guadagni a breve, il che fornirà ulteriori informazioni sull'impatto di questi sviluppi.