Nvidia объявила, что ее Groq 3 LPX Rack находится в полном производстве, что является ключевым этапом после приобретения Groq за 20 миллиардов долларов. Rack Groq будет использоваться вместе с центральными процессорами Vera и графическими процессорами Rubin от Nvidia в неоклауде Nebius, развертывание ожидается позже в этом году.
Этот шаг подчеркивает растущий спрос на технологии низкой задержки, которые имеют решающее значение для создания отзывчивых приложений ИИ, особенно в кодировании. Старший директор Nvidia Дион Харрис подчеркнул, что эта технология позволяет облачным компаниям предлагать премиум-уровни обслуживания, ориентируясь на клиентов, которым требуются решения с низкой задержкой.
Архитектура Groq включает 500 мегабайт SRAM на чипе для минимизации узких мест в памяти, а LPX Rack от Nvidia будет вмещать 256 чипов Groq 3, способных обрабатывать 3,400 токенов в секунду, согласно бенчмаркам от Artificial Analysis.
Конкурентная среда включает Advanced Micro Devices, которая планирует интегрировать свои системы с чипами Cerebras, сосредоточив внимание на аналогичных приложениях с низкой задержкой. Харрис уточнил, что чипы с низкой задержкой, такие как Groq, не заменяют GPU, а выполняют специфические функции в рамках рабочих нагрузок ИИ.
Nvidia также увеличивает объемы поставок своих систем Vera Rubin, при этом генеральный директор Дженсен Хуанг прогнозирует 1 триллион долларов совокупных продаж от текущих и новых поколений чипов к 2027 году. Nvidia скоро представит свои финансовые результаты, что даст дополнительные сведения о влиянии этих событий.