A Nvidia anunciou que seu rack Groq 3 LPX está em produção completa, marcando um marco importante após sua aquisição de US$ 20 bilhões da Groq. O rack Groq será utilizado juntamente com os processadores centrais Vera da Nvidia e os processadores gráficos Rubin na neocloud Nebius, com a implantação prevista para este ano.
Essa movimentação destaca a crescente demanda por tecnologia de inferência de baixa latência, que é crucial para a criação de aplicações de IA responsivas, particularmente em codificação. O diretor sênior da Nvidia, Dion Harris, enfatizou que essa tecnologia permite que empresas de nuvem ofereçam níveis de serviço premium, atendendo a clientes que exigem soluções de baixa latência.
A arquitetura Groq apresenta 500 megabytes de SRAM no chip para minimizar gargalos de memória, e os racks LPX da Nvidia acomodarão 256 chips Groq 3, capazes de entregar 3.400 tokens por segundo, de acordo com benchmarks da Artificial Analysis.
O cenário competitivo inclui a Advanced Micro Devices, que planeja integrar seus sistemas com chips Cerebras, focando em aplicações de baixa latência semelhantes. Harris esclareceu que chips de baixa latência como o Groq não substituem GPUs, mas desempenham funções específicas dentro das cargas de trabalho de IA.
A Nvidia também está aumentando o envio de seus sistemas Vera Rubin, com o CEO Jensen Huang projetando US$ 1 trilhão em vendas acumuladas das gerações atuais e novas de chips até 2027. A Nvidia deve divulgar seus resultados em breve, o que fornecerá mais insights sobre o impacto desses desenvolvimentos.