Хорошие новости для тех, кто любит большие чипы ИИ: Cerebras Systems расширила поддержку популярных сред машинного обучения с открытым исходным кодом PyTorch и TensorFlow на процессорах Wafer-Scale Engine 2, на которых работает ее система CS-2.
Разработчик микросхем говорит, что расширенная поддержка, о которой было объявлено сегодня, является важной вехой, поскольку она упростит работу с основными моделями AI/ML на машинах Cerebras, что, в свою очередь, поможет шестилетнему стартапу конкурировать с системами искусственного интеллекта и производители процессоров, которые имеют широкую поддержку языка и модели.
«С самого начала наша цель состояла в том, чтобы беспрепятственно поддерживать любую среду машинного обучения, в которой наши клиенты хотели бы писать», — сказал Эмад Барсум, старший директор по инфраструктуре искусственного интеллекта в Cerebras.
Расширенная поддержка фреймворка теперь встроена в программный стек Cerebras CSoft, что позволяет исследователям машинного обучения писать свои модели для работы на CS-2 с использованием TensorFlow или PyTorch без каких-либо модификаций. Не менее важным является улучшенная интеграция Cerebras, которая позволяет моделям, ранее написанным для графических или центральных процессоров, работать на CS-2 без каких-либо изменений.
«Наши клиенты пишут в TensorFlow и PyTorch, а наш программный стек CSoft позволяет быстро и легко выражать ваши модели в рамках по вашему выбору», — сказал Барсум.
Cerebras утверждает, что это большое дело, потому что его чип WSE-2 намного быстрее и лучше оснащен для работы с моделями различных размеров, чем графические процессоры, включая флагманский чип Nvidia A100 двухлетней давности.
В случае с моделями PyTorch Барсум написал в своем блоге, что аппаратное обеспечение Cerebras позволяет избежать ловушек, с которыми сталкиваются обычные процессоры, благодаря огромному количеству ядер WSE-2, большому объему памяти и высокой пропускной способности памяти.
Это означает, что модели малого и среднего размера не нужно распределять между несколькими процессорами, что может замедлить перемещение данных.
Что касается больших моделей PyTorch, которые не помещаются на чипе WSE-2, Барсум сказал, что процессор размером с пластину может по-прежнему работать хорошо, сохраняя так называемые активации модели на чипе и перемещая параметры, называемые весами, на чип и обратно. послойной основе.
Все это звучит хорошо, но Cerebras еще предстоит пройти долгий путь, прежде чем она сможет отобрать хотя бы небольшую долю рынка у Nvidia, и это даже без учета усилий Intel, AMD и нескольких других стартапов по ускорению искусственного интеллекта. различные этапы развертывания.
Несмотря на то, что производитель процессоров с пластинчатыми пластинами не готов к массовому выходу на рынок по сравнению с крупнейшими полупроводниковыми компаниями, продвигающими процессоры и ускорители, Cerebras привлекла клиентов в Северной Америке, Азии, Европе и на Ближнем Востоке. В список входят такие компании, как GlaxoSmithKline, AstraZeneca и TotalEnergies, а также национальные и региональные лаборатории, такие как Аргоннская национальная лаборатория и Питтсбургский суперкомпьютерный центр.
Буквально сегодня Питтсбургский суперкомпьютерный центр заявил, что модернизировал свой высокопроизводительный ИИ-компьютер Neocortex двумя новыми системами CS-2, которые, по словам лаборатории, создают «новый потенциал для быстрого обучения систем ИИ, способных учиться на обширных источниках данных».
С растущим числом конечных пользователей и более подходящим стеком программного обеспечения для разработчиков ИИ мы можем ожидать, что больше громких имен поддержат уникальный архитектурный подход. По крайней мере, компания показала, что когда-то далекая концепция производства и использования чипов в масштабе пластины находится в пределах досягаемости, и стек программного обеспечения для поддержки сложности на кристалле может быть разработан, даже если это займет годы. ®
