Анализ Сообщается, что Microsoft теряет до 80 долларов в месяц на каждого пользователя своих сервисов GitHub Copilot.
Согласно отчету Wall Street Journal со ссылкой на «человека, знакомого с цифрами», в то время как Microsoft взимает за эту услугу 10 долларов в месяц, софтверный гигант теряет в среднем 20 долларов в месяц на одного пользователя, а более тяжелые пользователи обходятся компании в 80 долларов. каждые 30 дней.
Анонсированный в 2022 году, Copilot от GitHub использует большие языковые модели OpenAI (LLM), чтобы помочь программистам писать и отлаживать код в IDE, включая собственный код Visual Studio от Microsoft. Copilot, по сути, предлагает использовать исходный код в ваших проектах, когда вы вводите комментарии, определения функций, код и другие строки. В марте 2023 года платформа получила обновление до моделей OpenAI GPT-3.5 и GPT-4.
Мы попросили Microsoft прокомментировать стоимость использования этих моделей ИИ; мы сообщим вам, если получим ответ.
Использование продуктов с убытком — распространенная тактика в технологической отрасли с целью создания специализированной пользовательской базы и повышения цен, как только пользователи заинтересуются. Microsoft продает свою линейку игровых консолей Xbox ниже себестоимости и компенсирует эти потери за счет расходов игроков на программное обеспечение и другой контент.
Та же логика применима и к искусственному интеллекту — рынку, в который Microsoft вкладывает значительные средства, чтобы обеспечить преимущество первопроходца.
Ни для кого не секрет, что оборудование, используемое для обучения и работы большинства LLM, стоит дорого. Ускорители Nvidia H100 продаются по цене около 30 000 долларов за штуку, а на eBay мы видели их по цене 40 000 долларов.
Microsoft использует десятки тысяч Nvidia A100 и H100. Это оборудование искусственного интеллекта и серверы, на которых оно работает, тоже потребляют электроэнергию.
Трудно подсчитать стоимость текущих операций Copilot, хотя генеральный директор OpenAI Сэм Альтман заявил, что GPT-4 — самая продвинутая версия LLM компании — стоит более 100 миллионов долларов на обучение.
Одним из способов, с помощью которого крупные технологические компании пытались контролировать стоимость ИИ, являются специальные ускорители, такие как GoogleTensor Processing Unit и Amazon Trainium и Inferentia Silicon. Теперь, если верить отчету, опубликованному на прошлой неделе, Microsoft, возможно, собирается представить свой собственный ускоритель искусственного интеллекта.
Текущие рабочие нагрузки Microsoft по генеративному искусственному интеллекту выполняются на графических процессорах, в основном из-за требований к задержке и пропускной способности этих моделей, что делает их использование на процессорах непрактичным, сказал аналитик Cambrian AI Карл Фройнд. Регистр.
В результате эти модели больше всего выигрывают от большого количества памяти с высокой пропускной способностью для хранения всех параметров модели. Для действительно больших систем, таких как модель GPT-3 OpenAI со 175 миллиардами параметров, может потребоваться несколько графических процессоров для каждого экземпляра.
Но стоит отметить, что GitHub Copilot — это не чат-бот общего назначения, такой как ChatGPT или Bing Chat: он пишет код. Насколько мы понимаем, более специализированные модели обычно могут обойтись меньшим количеством параметров и, следовательно, требуют меньше памяти и, следовательно, меньшего количества графических процессоров.
По мере того, как поставщики ИИ будут лучше понимать эффект масштаба, мы можем увидеть более высокие цены на эти функции. Otter.AI, служба транскрипции аудио на базе искусственного интеллекта, любимая журналистами и другими людьми, за последние несколько лет несколько раз поднимала цены и вводила новые ограничения на потребление.
Тем временем Microsoft и Google планируют взимать дополнительную плату в размере 30 долларов США сверх обычной подписки на Office 365, а G-Suite планирует разблокировать функциональность Gen-AI.
Было бы неудивительно, если бы Microsoft подняла цену на GitHub Copilot после того, как продемонстрировала его ценность достаточному количеству клиентов. Ведь это не благотворительность. ®
