Бывший руководитель отдела продуктов искусственного интеллекта в Intel основал компанию, чтобы помочь компаниям сократить накладные расходы на системы искусственного интеллекта.
Навин Рао, генеральный директор и соучредитель MosaicML, ранее возглавлял компанию Nervana Systems, которую Intel приобрела за 350 млн долларов. Но, как и во многих других приобретениях Intel, брак не увенчался успехом, и в прошлом году Intel убила чип Nervana AI, после чего Рао покинул компанию.
Инструменты с открытым исходным кодом MosaicML ориентированы на внедрение систем ИИ в зависимости от стоимости, времени обучения или скорости получения результатов. Они делают это, анализируя проблему искусственного интеллекта относительно настроек нейронной сети и оборудования, что затем прокладывает эффективный путь для создания оптимальных настроек при одновременном снижении затрат на электроэнергию.
Одним из компонентов является Composer, который предоставляет строительные блоки, на которых можно эффективно обучать приложения AI. MosaicML разработал эти методы после месяцев исследования общих настроек в моделях компьютерного зрения, которые включают ResNets и модели обработки естественного языка, такие как Transformer и GPT.
Но в конечном итоге разработчикам нужно будет выбрать лучший подход. Именно здесь и вступает в игру второй компонент, Explorer. Инструмент имеет визуальный интерфейс, который предоставляет подробную информацию о параметрах, включая лучшие результаты, время обучения или стоимость, и пользователи могут фильтровать результаты по типу оборудования, облаку и методике.
«Мы меняем сами алгоритмы обучения, чтобы они использовали меньше вычислительных ресурсов для получения результата», – сказал Рао. °.
По словам Рао, системы искусственного интеллекта могут быть неэффективными и дорогостоящими, и нужно больше думать об экономии машинного обучения. «Мы считаем, что графические процессоры Nvidia предоставляют нам самый быстрый и простой способ начать работу. Мы планируем добавить поддержку других чипов в будущем», – пояснил он.
По словам Рао, библиотека работает в PyTorch прямо сейчас, а поддержка Tensorflow будет добавлена позже.
«ИИ – это не универсальный подход, и при учете совокупной стоимости владения необходимо учитывать неэффективность как программного обеспечения, так и оборудования», – сказал Дэн Хатчесон, аналитик VLSI Research.
«Объем вычислений, необходимых для обучения самых крупных моделей, по оценкам, увеличивается более чем в 5 раз каждый год, но производительность оборудования на доллар растет лишь на небольшую долю от этого показателя», – говорится в блоге MosaicML со ссылкой на исследование OpenAI за 2018 год.
В исследовании OpenAI в прошлом году говорится, что алгоритмический прогресс показал большее ускорение ИИ, чем эффективность оборудования.
Многие системы используют стойки с энергоемкими графическими процессорами Nvidia для машинного обучения. Рао является сторонником этого распределенного подхода, при котором обработка ИИ разделена на сеть из более дешевых микросхем и компонентов, которые включают дешевую память DDR и межкомпонентные соединения PCI-Express.
В чирикать На прошлой неделе он нанес удар по монолитным чипам ИИ, таким как чип WSE-2, производимый Cerebras Systems Inc., которые неэффективны в ИИ по сравнению с производительностью на доллар.
По словам генерального директора Cerebras Эндрю Фельдмана, распределенный подход отражает фундаментальный недостаток в понимании стоимости выполнения ИИ на уровне чипа и масштабирования производительности. °.
«Настоящая трата – это не имеет ничего общего с уровнем отдельного чипа. Чтобы получить 10-кратную производительность, вы потратите в 100 или 1000 раз больше энергии», – сказал Фельдман.
Фельдман применил закон Мура, сказав: «За десятилетия Intel показала, что вы можете построить отличный бизнес, если сможете удерживать свои цены на прежнем уровне и удваивать производительность каждые три-четыре года».
Один ангел-инвестор в MosaicML, Стив Юрветсон из Future Ventures, в твитнуть выдвинул идею следствия “закона мозаики” для измерения прогресса в алгоритмах на каждый потраченный доллар.
Венчурные капиталисты вложили 37 миллионов долларов в MosaicML, среди других инвесторов также есть Lux Capital, DCVC Playground Global, AME, Correlation и E14. ®
