Столбец На этот раз в прошлом году стало невозможно игнорировать последнюю тенденцию в вычислительной технике: огромные пластины кремния с сотнями миллиардов транзисторов — неизбежное следствие очередного набора обходных путей, которые сохранили закон Мура от забвения.
Но падение продаж ПК говорит о том, что нам не нужны эти компьютеры-монстры — и не только из-за того, что COVID отбрасывает тень на продажи.
В первой половине 2022 года корпоративные вычисления выглядели почти так же, как и в последнее десятилетие: базовые офисные приложения, приложения для командного общения и, для творческого класса, несколько мультимедийных инструментов. Конечно, геймеры всегда найдут способ заставить эти транзисторы работать, но подавляющее большинство оборудования уже было перегружено и недоработано. Зачем тратить транзисторы на решенные проблемы?
Тогда мир изменился. Год назад OpenAI запустила DALL-E, первый из широко доступных инструментов генеративного ИИ — «диффузор», который преобразует шум, текстовую подсказку и огромную базу данных взвешиваний в изображения. Это казалось почти магией. Вскоре после этого Midjourney предложил почти то же самое, хотя и был явно настроен на эстетику обложки альбома Prog Rock 70-х. Казалось, что спрос на облачные вычисления резко возрастет, поскольку эти инструменты нашли свое применение в продуктах Microsoft, Canva, Adobe и других компаний.
Затем мир снова изменился. В августе Stability AI представила базу данных весов диффузоров с открытым исходным кодом. В начале Stable Diffusion требовался современный графический процессор, но сообщество разработчиков открытого исходного кода вскоре обнаружило, что можно оптимизировать диффузор для работы практически на чем угодно. Это не обязательно будет быстро, но будет работать — и будет масштабироваться вместе с вашим оборудованием.
Вместо того, чтобы требовать огромных облачных ресурсов, эти новые инструменты искусственного интеллекта работают локально. И если бы вы купили компьютер-монстр, он бы работал по крайней мере так же быстро, как и все, что предлагают OpenAI или Midjourney — без подписки.
Вечно возбужденное сообщество открытого исходного кода, продвигающее Stable Diffusion, создало впечатляющую серию новых весов диффузора, каждый из которых нацелен на определенную эстетику. Stable Diffusion не просто так быстр, как все, что предлагает коммерческая фирма по искусственному интеллекту, — он более полезен и более расширяем.
А потом – да, вы уже догадались – мир снова изменился. В начале декабря ChatGPT от OpenAI полностью изменил наши ожидания в отношении искусственного интеллекта, став самым быстрым веб-приложением, достигшим 100 миллионов пользователей. Большая языковая модель (LLM), основанная на «генеративном предварительно обученном преобразователе» — многие ли из нас забыли, что означает GPT? – который тренировал свои веса на огромных массивах текстов, доступных в Интернете.
По оценкам, усилия по обучению стоили миллионы (возможно, десятки миллионов) ресурсов облачных вычислений Azure. Ожидалось, что этой стоимости входа будет достаточно, чтобы держать конкурентов в страхе — за исключением, возможно, Google и Мета.
Пока мир снова не изменился. В марте Meta выпустила LLaMA — гораздо более компактную и эффективную языковую модель со сравнительно небольшой базой данных весов, но с качеством отклика, приближающимся к OpenAI GPT-4.
Имея модель всего из тридцати миллиардов параметров, LLaMA может удобно разместиться на ПК с 32 ГБ ОЗУ. Что-то очень похожее на ChatGPT, которое работает в облаке Azure из-за его огромной базы данных весов, можно запускать практически где угодно.
Исследователи Meta предложили свои оценки своим академическим коллегам, которые можно было бесплатно загрузить. Поскольку LLaMA можно было запускать на своих лабораторных компьютерах, исследователи из Стэнфорда немедленно улучшили LLaMA с помощью своей новой методики обучения под названием Alpaca-Lora, которая снизила стоимость обучения существующего набора весов с сотен тысяч долларов до нескольких сотен долларов. Они тоже поделились своим кодом.
Точно так же, как DALL-E проиграл Stable Diffusion по удобству использования и расширяемости, ChatGPT, похоже, проигрывает еще одну гонку, поскольку исследователи создают ряд моделей, таких как Alpaca, Vicuña, Koala и целый зверинец других, которые тренируются и перевоспитываются. обучаться быстро и недорого.
Они улучшаются гораздо быстрее, чем кто-либо ожидал. Отчасти это связано с тем, что они тренируются на множестве «разговоров» ChatGPT, которые были опубликованы на таких сайтах, как Reddit, и они могут хорошо работать на большинстве ПК. Если у вас есть компьютер-монстр, он действительно работает очень хорошо.
Машины, применение которых мы не могли придумать еще год назад, нашли свое предназначение: они становятся рабочими лошадками для всех наших генеративных задач ИИ. Они помогают нам программировать, планировать, писать, рисовать, моделировать и многое другое.
И мы не будем обязаны подписками, чтобы заставить эти новые инструменты работать. Похоже, открытый исходный код уже опередил коммерческую разработку как диффузоров, так и трансформаторов.
Искусственный интеллект с открытым исходным кодом также напомнил нам о причинах распространения ПК: он позволил использовать дома инструменты, которые когда-то были доступны только в офисе.
Это не закроет дверь для торговли. Во всяком случае, это означает, что у предпринимателей больше возможностей для создания новых продуктов, не беспокоясь о том, нарушают ли они бизнес-модели, лежащие в основе Google, Microsoft, Meta или кто-либо еще. Мы приближаемся к эпохе повсеместного прорыва в технологиях, и размер, похоже, не дает много преимуществ.
Монстры на свободе. Я считаю, что это хорошо. ®
