Менее чем через три месяца после того, как суперчипы Grace Hopper от Nvidia были запущены в производство, генеральный директор и поклонник кожаных курток Дженсен Хуанг на этой неделе вышел на сцену SIGGRAPH 2023, чтобы представить еще более мощную версию кремния.
Предстоящий процессор имеет ту же базовую ДНК, что и GH200 — окончательная форма суперчипа Grace Hopper, анонсированная Nvidia в начале 2022 года и представленная этой весной на выставке Computex. 72-ядерный процессор Arm Neoverse V2 Grace устройства, его графический процессор Hopper и межсоединение NVLink-C2C со скоростью 900 ГБ/с остались без изменений. И, к нашему большому замешательству, новый чип имеет то же название GH200.
Nvidia говорит нам, что это потому, что они представляют собой разные конфигурации одной и той же части — так что это мало чем отличается от версий A100 на 40 ГБ и 80 ГБ, выпущенных несколько лет назад. Фактически, загрузка памяти является основным отличием здесь, по крайней мере, на данный момент. Вместо 96 ГБ HBM3 vRAM и 480 ГБ LPDDR5x DRAM в модели этой весны «следующее поколение» GH200 имеет 141 ГБ HBM3e и 500 ГБ более медленной LPDDR5x со скоростью 400 ГБ/с. Предыдущее поколение использовало 512 ГБ/с LPDDR5x DRAM.
Примерно 20-процентное снижение производительности DRAM довольно существенно. Однако то, что новый GH200 теряет в пропускной способности памяти ЦП, компенсируется пропускной способностью vRAM для графического процессора.
По данным Nvidia, память HBM3e, используемая в чипе, на 50% быстрее стандартной HBM3 и способна развивать скорость до 5 ТБ/с. Также примечателен больший пул HBM, поскольку это означает, что клиенты должны иметь возможность встраивать более крупные модели ИИ в меньшее количество систем для логического вывода.
Во время своего выступления на SIGGRAPH во вторник Хуанг рассказал о конфигурации с двумя суперчипами. Согласно Nvidia, высокоскоростное соединение между чипами позволяет им логически функционировать как единый ресурс CPU и GPU с 144 ядрами CPU, восемью петафлопс производительности FP8 и 282 ГБ HBM3e.
«Вы можете взять практически любую большую языковую модель, которая вам нравится, и поместить ее в это, и она будет делать сумасшедшие выводы», — хвастался Хуанг.
Для более крупных рабочих нагрузок, таких как обучение искусственному интеллекту, GH200 можно масштабировать до 256 микросхем в конфигурации, называемой DGX GH200. Однако, кроме более быстрого HBM, мало что изменилось с тех пор, как весной этого года он продемонстрировал свой кластер. В магазине микросхем говорят, что кластер из 24 стоек по-прежнему способен обеспечить производительность экзафлоп FP8.
Комментарии Хуанга отражают комментарии AMD. Возможность размещения больших языковых моделей в одном ускорителе или, по крайней мере, в одном сервере была главным аргументом в пользу графического процессора AMD MI300X, о котором было объявлено на июньском мероприятии центра обработки данных, организованном компанией по производству чипов. Этот процессор может похвастаться еще большим пулом vRAM объемом 192 ГБ, хотя и более медленным, чем HBM3.
До недавнего времени, если вам требовалось более 80 ГБ vRAM, ваши возможности использования Nvidia были ограничены. Вы можете добавить в смесь второй графический процессор, но это довольно дорогой способ добавить памяти, если вам также не нужны вычисления. Здесь AMD и Intel несколько отличались своими Instinct и GPU. Max карты, соответственно, доступны до 128 ГБ HBM.
Однако тем, кто хочет получить в свои руки суперчип с большей емкостью, придется подождать. Nvidia утверждает, что эта часть должна появиться в OEM-системах где-то во втором квартале 2024 года. Многие из этих систем, вероятно, будут использовать спецификации серверов MGX, из которых, по словам процессорного гиганта, его суперчипы Grace Hopper будут доступны в любом из 100 различных вариантов. ®
