Ключевые выводы
- AI TOPS, или Тера операций в секунду, не раскрывает полную картину мощности процессора из-за различной точности операций.
- Большинство задач ИИ в настоящее время выполняются на процессорах, а не на NPU, поэтому AI TOPS больше ориентирован на маркетинг, чем на реальную производительность.
- При покупке «ПК с искусственным интеллектом» отдавайте предпочтение мощной видеокарте, а не AI TOPS, поскольку графические процессоры остаются лучшими для обеспечения рабочих нагрузок искусственного интеллекта.
В последние годы термин «AI TOPS» стал модным словом в технологической отрасли, особенно в дискуссиях, касающихся искусственного интеллекта и машинного обучения. Но что это на самом деле означает и почему его часто считают бессмысленным термином? Всякий раз, когда вы видите «TOPS» в отношении ИИ, за кулисами происходит гораздо больше, чем думает большинство людей.
TOPS означает «Тера операций в секунду» или «Триллион операций в секунду». Это мера вычислительной мощности, показывающая, сколько триллионов операций процессор может обработать за одну секунду. На бумаге это кажется простой метрикой для сравнения производительность различных чипов или процессоров искусственного интеллекта. Однако реальность немного сложнее.
После разговора с Intel я с нетерпением жду будущего «ИИ-ПК».
Мы взяли интервью у Роберта Халлока, старшего директора по техническому маркетингу Intel, чтобы поговорить о том, каким выглядит будущее искусственного интеллекта для Intel.
Реальность измерения TOPS
Это гораздо больше, чем кажется на первый взгляд
Источник: Apple
При обсуждении AI TOPS контекст решает все. Задачи ИИ могут сильно различаться по сложности и требованиям к ресурсам. Например, некоторые задачи могут в значительной степени зависеть от матричного умножения, в то время как другие могут больше сосредоточиться на свертках (например, в случае сверточных нейронных сетей или CNN). Тип выполняемых операций может существенно повлиять на эффективную производительность процессора, в результате чего простое число TOPS становится несколько поверхностным.
Даже без этого, это еще не все. Важнейшим аспектом, который особенно часто упускают из виду при обсуждении AI TOPS, является точность выполняемых операций. Точность относится к формату и точности обрабатываемых данных. В искусственном интеллекте и машинном обучении разные задачи могут требовать разных уровней точности, обычно измеряемых в битах, например 8-битные, 16-битные или 32-битные операции. Для начала приведем некоторые наиболее распространенные аспекты прецизионных измерений.
• 8-битная точность (INT8/FP8): Эта более низкая точность часто достаточна для многих задач ИИ, особенно для задач вывода, таких как распознавание изображений или обнаружение объектов. Использование более низкой точности снижает требуемую вычислительную мощность и память, обеспечивая более высокую скорость обработки.
• 16-битная точность (INT16/FP16): Этот уровень точности обеспечивает баланс между скоростью и точностью. Он обычно используется при обучении моделей ИИ, чтобы ускорить процесс без существенного ущерба для точности.
• 32-битная точность (INT32/FP32): Операции с такой более высокой точностью являются более точными, но при этом требуют гораздо больше вычислительных затрат. Этот уровень точности необходим для задач, требующих максимальной точности, таких как научные вычисления и некоторые типы обучения нейронных сетей.
Проблема с использованием TOPS в качестве показателя производительности заключается в том, что он не определяет точность подсчитываемых операций. Процессор может достичь высокого значения TOPS, выполняя большое количество операций с низкой точностью, что нельзя напрямую сравнивать с другим процессором, выполняющим меньше операций с высокой точностью. Похоже, что большая часть отрасли сейчас стандартизирует INT8, но такие компании, как Nvidia и Apple, иногда не указывают, какую точность они используют в своих расчетах.
Шумиха против реальной производительности
Зачем использовать NPU, если процессор работает нормально?
Малоизвестный факт об искусственном интеллекте заключается в том, что большая его часть в настоящее время работает на процессорах, а не на NPU. Хотя в будущем ситуация может измениться, разработчики программного обеспечения знают, что они могут полагаться на процессоры для запуска своих моделей и алгоритмов. Благодаря стандартизации процессоров нет необходимости учитывать множество конфигураций NPU, что упрощает разработку.
В результате AI TOPS часто больше ориентированы на маркетинг, чем на содержание. Во многих случаях разработчики даже не используют NPU, которые активно продвигают компании. Более важными факторами, которые следует учитывать, являются архитектура процессора, энергоэффективность и то, насколько хорошо он справляется с конкретными задачами.
Например, большинство приложений искусственного интеллекта на Mac не используют Neural Engine от Apple. Вместо этого такие инструменты, как LM Studio и большинство открытых реализаций Stable Diffusion, работают на процессоре и графическом процессоре. Это делает цифры TOPS Apple Neural Engine менее актуальными, поскольку они не отражают фактические рабочие нагрузки искусственного интеллекта, с которыми справляются эти устройства.
Иная ситуация с Intel и AMD. Обе компании активно поддерживают разработку и использование своих NPU. Intel уже изначально поддерживает более 500 моделей своих NPU и помогает разработчикам поддерживать их модели. AMD столь же активна. Напротив, Apple поддерживает только CoreML, API, который может использовать Neural Engine в Apple Silicon, но не полностью поддерживает важные технологии для таких моделей, как LLM, такие как квантование.
Более того, благодаря унифицированной памяти графические процессоры Apple могут получать доступ к тому же пространству памяти с той же скоростью, что и Neural Engine, поэтому узкие места, связанные с хранилищем и памятью, сохраняются независимо от того, как выполняются модели ИИ. Следовательно, сравнение NPU Apple с другими не имеет большого значения, даже несмотря на то, что компания продолжает публиковать цифры TOPS, сопоставимые с отраслевыми стандартами.
iPad Pro (M4, 2024 г.) Обзор: лучший планшет в мире становится лучше, но насколько?
Новый iPad Pro with M4 — самый функциональный и мощный планшет на рынке. Но настолько ли он лучше iPad M2? Pro?
Должен ли TOPS повлиять на ваше следующее решение о покупке?
Точно нет
Хотя AI TOPS может дать приблизительное представление о вычислительной мощности процессора, когда дело касается искусственного интеллекта, он далек от окончательного измерения его реальной производительности. Его часто используют в маркетинге, чтобы отличить один продукт от другого, фактически не значение что угодно, вплоть до того, что это просто мутит воду вокруг ИИ и того, что имеет, а что не имеет значения.
Если вы хотите купить какой-либо «ПК с искусственным интеллектом», то даже если у Copilot+ есть свои требования, лучший компьютер с искусственным интеллектом, который вы можете купить, — это компьютер с мощной видеокартой. Графические процессоры по-прежнему являются лучшим способом обеспечения практически всех рабочих нагрузок искусственного интеллекта, включая LLM и другие возможности устройств. Такие компании, как Qualcomm, Intel и AMD, настаивают на внедрении внутрипроцессорных NPU, но это не лучший способ испытать искусственный интеллект.
Лучшие графические процессоры 2024 года: наш лучший выбор видеокарт
Выбор подходящей видеокарты может оказаться сложной задачей, учитывая огромное количество вариантов на рынке. Вот лучшие видеокарты, на которые стоит обратить внимание.
