Мнение Когда OpenAI выпустила ChatGPT 3.5 в конце ноября 2022 года, никто не ожидал многого от новой версии. Это был всего лишь «предварительный просмотр исследования», — объяснил Сандхини Агарвал, исследователь политики искусственного интеллекта в OpenAI. «Мы не хотели преувеличивать это как большое фундаментальное достижение», — добавил Лиам Федус, ученый из организации.
Ха! Что было тогда. Это – сейчас.
Если вы не жили под скалой, вы знаете, что ChatGPT с тех пор стал самой горячей разработкой технологии в этом десятилетии, черт возьми, может быть, в этом столетии. По крайней мере, Билл Гейтс — вы его помните, верно? – считает, что это самое важное событие с тех пор, как в 1980 году он познакомился с идеей графического пользовательского интерфейса (GUI). Это привело к созданию продукта под названием Windows.
Как ни странно, в ChatGPT 3.5 не было ничего такого нового. В нем использовалась та же большая языковая модель (LLM), что и в более ранних версиях. Ключевое отличие состоит в том, что теперь вы можете более легко задавать вопросы на естественном языке, а не обращаться к нему через интерфейсы прикладного программирования (API) или программы, управляемые API.
Упростив доступ к ChatGPT, OpenAI, к своему удивлению, стал невероятно популярным. И, кстати, с тех пор, как Microsoft вложила в бизнес 10 миллиардов долларов, похоже, что у компании все в порядке.
Итак, отличные новости и для открытого исходного кода, верно? Я имею в виду, название компании OpenAI, да? Да, имя в нем все еще открыто, но исходный код и сервисы на его основе уже какое-то время не открываются.
Пока GoogleНедавно выпущенный ответ ChatGPT, Бард, «думает», что «модель GPT-4 и ChatGPT являются проектами с открытым исходным кодом», это неправильно.
Это должно было быть открытым исходным кодом, сказал один из соучредителей компании, еще один парень, о котором вы, возможно, слышали, по имени Илон Маск. Маск отметил: «OpenAI был создан как открытый исходный код (именно поэтому я назвал его «Открытый» ИИ), некоммерческая компания, призванная служить противовесом Google, но теперь она стала максимально прибыльной компанией с закрытым исходным кодом, фактически контролируемой Microsoft. Совсем не то, что я имел в виду».
Случилось так, что Маск сначала покинул OpenAI, которая тогда была некоммерческой корпорацией, в 2018 году, чтобы сосредоточиться на SpaceX и Tesla. В следующем году, увидев, что ей потребуются дополнительные деньги, OpenAI стала, во всех смыслах, коммерческой компанией. Как впоследствии написал в Твиттере генеральный директор OpenAI Сэм Альтман:в какой-то момент нам придется как-то это монетизировать; затраты на вычисления впечатляют.«Думаю, 10 миллиардов долларов — это далеко не все.
Другими словами, еще одна компания не смогла придумать, как монетизировать свою работу с открытым исходным кодом. Затем, используя открытый исходный код для создания GPT-2, он закрыл двери для кода.
Кроме того, еще до того, как Microsoft вложила большие деньги в OpenAI, в 2020 году Microsoft лицензировала исключительно языковую модель GPT-3.
Имейте в виду, что ChatGPT по-прежнему использует открытый исходный код. Буквально на этой неделе, когда стало ясно, что люди могут просматривать чужую историю поиска, Альтман обвинил в этом библиотеку с открытым исходным кодом. “У нас был серьезная проблема в ChatGPT из-за ошибки в библиотеке с открытым исходным кодомдля которого уже выпущено исправление, и мы только что закончили проверку».
Что за ошибка? Какая была библиотека? Мы не знаем, и я сомневаюсь, что OpenAI нам скажет.
Теперь, когда ChatGPT зарабатывает деньги, он больше не соответствует Open в своем названии. Бен Шмидт, вице-президент Nomic AI по информационному дизайну, написал в Твиттере: «Я думаю, мы можем назвать это закрытым на «открытом» ИИ.: 98-страничный документ, представляющий GPT-4, с гордостью заявляет, что они *ничего* не раскрывают о содержании своего тренировочного набора».
Перед всем этим вы можете проследить путь ChatGPT к программам с открытым исходным кодом, лежащим в основе ИИ, машинного обучения, обработки естественного языка и сред глубокого обучения.
В частности, TensorFlow и PyTorch, разработанные Google и Facebook, соответственно, подпитывали ChatGPT. Эти платформы предоставляют необходимые инструменты и библиотеки для создания и обучения моделей глубокого обучения. Без них нет ChatGPT.
Еще одна важная часть ChatGPT с открытым исходным кодом — это Hugging Face’s Transformer со странным названием. Это ведущая библиотека с открытым исходным кодом для создания современных моделей машинного обучения. Он предоставляет предварительно обученные модели, архитектуры и инструменты для задач обработки естественного языка, позволяя разработчикам опираться на существующие модели и настраивать их для конкретных случаев использования. ChatGPT значительно выиграл от поддержки библиотекой моделей серии GPT, что позволило быстро развернуть и масштабировать модель.
Вы можете увидеть все это в OpenAI GPT-2, прямом предшественнике ChatGPT. Хотя он не получил заголовков, впечатляющие возможности GPT-2 стали результатом сочетания достижений в области глубокого обучения, неконтролируемого обучения и архитектуры преобразователя. Сообщество с открытым исходным кодом сыграло важную роль в разработке, тестировании и улучшении GPT-2.
Как OpenAI может это сделать? Легко. Лицензии с открытым исходным кодом, указанные выше, TensorFlow, Apache 2.0; PyTorch, модифицированный BSD; и Hugging Face Transformer, поддерживают различные лицензии с открытым исходным кодом, включая BSD. Другими словами, OpenAI юридически чист.
Таким образом, как и многие другие программы, ChatGPT в большом долгу перед открытым исходным кодом, но это не открытый исходный код, и вряд ли он когда-либо станет открытым исходным кодом. Вот оно. Еще одна депрессивная история с открытым исходным кодом. ®
