Nvidia приступает к производству стоек Groq AI после приобретения компании за 20 млрд долларов

Компания Nvidia сообщила в понедельник, 24 августа, что ее стойки искусственного интеллекта Groq 3 LPX запущены в серийное производство, что знаменует собой коммерциализацию технологии, приобретенной в результате рекордной сделки по покупке активов компании Groq за 20 миллиардов долларов.

Эти системы будут развернуты на базе центральных процессоров Vera и графических процессоров Rubin компании Nvidia у поставщика облачной инфраструктуры Nebius и, как ожидается, начнут функционировать в конце этого года.

В декабре компания Nvidia приобрела активы стартапа Groq, специализирующегося на чипах для ИИ, в рамках крупнейшей в своей истории сделки.

Groq 3 LPX предназначен для инференции с низкой задержкой — процесса, в ходе которого обученные модели ИИ генерируют ответы. Более быстрая инференция считается особенно важной для ИИ-агентов и помощников по программированию, где задержки могут негативно повлиять на пользовательский опыт.

Каждая стойка вмещает 256 чипов Groq 3 и, согласно тесту производительности, на который ссылается Nvidia, способна генерировать около 3 400 токенов в секунду.

Архитектура Groq предусматривает размещение 500 мегабайт высокоскоростной статической оперативной памяти непосредственно на каждом чипе для устранения узких мест, связанных с памятью. Чипы производятся компанией Samsung Electronics, а графические процессоры Nvidia — компанией Taiwan Semiconductor Manufacturing Company.

В компании Nvidia заявили, что специализированные системы призваны дополнять, а не заменять графические процессоры. Хотя графические процессоры могут выполнять как обучение моделей искусственного интеллекта, так и инференцию, чипы Groq в первую очередь ориентированы на фазу «декодирования» при запуске моделей, для которой важна низкая задержка.

Компания также увеличивает объемы поставок своих систем Vera Rubin, производство которых началось в начале этого года.

Генеральный директор Nvidia Дженсен Хуанг заявил в марте, что компания ожидает, что совокупный объем продаж платформ Blackwell и Vera Rubin к 2027 году достигнет 1 триллиона долларов. Он также отметил, что четверть мощностей центров обработки данных, выделенных для кодирующих приложений, будет использовать чипы Groq.

Конкуренция в сфере специализированного аппаратного обеспечения для инференса усилилась, поскольку технологические компании стремятся сделать услуги ИИ более быстрыми и экономичными. Конкурент Nvidia, компания Advanced Micro Devices, объявила о планах по интеграции систем стоечного масштаба с чипами, производимыми Cerebras.