Рекламная функция Непрерывный поток революционных технологий и открытий — огонь, сельское хозяйство, колесо, печатный станок и Интернет, и это лишь некоторые из них — глубоко повлияли на развитие человечества и цивилизации. И этот цикл инноваций продолжается с искусственным интеллектом (ИИ).
Исследовательская фирма IDC зашла так далеко, что пришла к выводу, что ИИ действительно является ответом практически на «все». Расмус Андсбьерг, заместитель вице-президента по данным и аналитике IDC, говорит: «Реальность такова, что ИИ предлагает решения для всего, с чем мы сталкиваемся в данный момент. ошеломляющие темпы инфляции и поддержка усилий по автоматизации во времена нехватки рабочей силы».
Конечно, во всех отраслях и функциях организации конечных пользователей начинают открывать для себя преимущества ИИ, поскольку появляются все более мощные алгоритмы и базовая инфраструктура, обеспечивающие более эффективное принятие решений и более высокую производительность.
Мировые доходы от рынка искусственного интеллекта (ИИ), включая соответствующее программное обеспечение, оборудование и услуги как для приложений, ориентированных на ИИ, так и для приложений, не связанных с ИИ, в 2021 году составили 383,3 миллиарда долларов. Это на 20,7% больше, чем в предыдущем году, по данным большинства недавний Всемирный полугодовой отчет Международной корпорации данных (IDC) по отслеживанию искусственного интеллекта.
Точно так же развертывание программного обеспечения ИИ в облаке продолжает демонстрировать устойчивый рост. IDC ожидает, что облачные версии недавно приобретенного программного обеспечения ИИ превзойдут локальные развертывания в 2022 году.
Нет предела для ИИ
Доктор Ронен Дар, главный технический директор компании Run:ai, специализирующейся на искусственном интеллекте, которая создала платформу управления вычислениями для искусственного интеллекта, считает, что для зарождающегося корпоративного сектора искусственного интеллекта нет предела.
«Искусственный интеллект — это рынок, который, как мы видим, растет очень быстро. И с точки зрения предприятий мы видим спрос и принятие машинного обучения и искусственного интеллекта. И я думаю, что прямо сейчас здесь есть новая технология, которая приносит новые возможности, которые собираются изменить мир, которые произведут революцию в бизнесе», — отмечает Дар.
Также становится все более ясным понимание необходимости начать исследовать и экспериментировать с ИИ и понять, как интегрировать ИИ в бизнес-модели.
Дар считает, что ИИ может принести «поразительные преимущества» для улучшения существующих корпоративных бизнес-процессов: «Что касается оптимизации и проверки текущего бизнеса, мы видим множество вариантов использования ИИ и машинного обучения, которые улучшают операции и то, как принимаются решения. вокруг спроса и предложения».
Он отмечает, что новые модели глубокого обучения, основанные на нейронных сетях, могут улучшить процессы, принятие решений и точность критически важных бизнес-процессов, таких как обнаружение мошенничества в сфере финансовых услуг. Здравоохранение — еще один сектор, в котором потенциал ИИ «огромен», особенно с точки зрения помощи врачам в принятии более эффективных клинических решений и помощи в открытии и разработке новых лекарств.
И, заглядывая в будущее, Дар предсказывает, что технология ИИ поможет предоставить совершенно новые коммерческие возможности, которых в настоящее время не существует в таких секторах, как автомобили с автоматическим управлением и иммерсивные игры.
Инфраструктурные препятствия, которые необходимо преодолеть
Несмотря на очевидный потенциал ИИ и машинного обучения на предприятии, Дар признает, что коммерческое развертывание ИИ сдерживается проблемами, связанными с предоставлением инфраструктуры. Он советует фирмам в первую очередь обратить внимание на то, как ИИ проникает в организацию.
Как правило, это включает в себя нескоординированный процесс между отделами, в ходе которого разные группы независимо друг от друга выделяют технологии и ресурсы, что приводит к разрозненным развертываниям. ИТ-отдел не может эффективно контролировать эти специальные проекты и не имеет представления о том, что происходит. И это затрудняет, если не делает невозможным, расчет рентабельности инвестиций в инфраструктуру ИИ.
«Это классическая проблема: раньше это были теневые ИТ, а теперь — теневой ИИ», — говорит Дар.
Кроме того, современная инфраструктура, необходимая для AI/ML, требует инвестиций, поскольку предприятиям требуется мощное вычислительное оборудование с ускорением на GPU для обработки очень сложных данных и обучения моделей.
«Командам ИИ требуется много вычислительной мощности для обучения моделей, как правило, с использованием графических процессоров, которые представляют собой ресурсы центра обработки данных премиум-класса, которые можно разрознить и использовать неэффективно», — говорит Дар. «Это может привести к тому, что много денег будет потрачено впустую».
Например, такая разрозненная инфраструктура может привести к уровню использования менее 10%.
Согласно опросу Run:ai «Обзор состояния инфраструктуры искусственного интеллекта за 2021 год», опубликованному в октябре 2021 года, 87 процентов респондентов заявили, что в той или иной степени испытывают проблемы с распределением графических/вычислительных ресурсов, а 12 процентов заявили, что это происходит часто. В результате 83 процента опрошенных компаний сообщили, что они не полностью используют свои графические процессоры и оборудование для искусственного интеллекта. На самом деле, почти две трети (61 процент) указали, что их GPU и аппаратное обеспечение AI в основном находятся на «умеренном» уровне использования.
Централизация ИИ
Для решения этих проблем Дар выступает за централизацию предоставления ресурсов ИИ. Run:AI разработала платформу управления вычислениями для ИИ, которая делает именно это, централизуя и виртуализируя вычислительные ресурсы графического процессора. Благодаря объединению графических процессоров в один виртуальный уровень и автоматическому планированию рабочих нагрузок для 100-процентного использования этот подход предлагает преимущества по сравнению с разрозненными системами на уровне отдела.
Централизация инфраструктуры возвращает контроль и прозрачность, освобождая специалистов по данным от накладных расходов на управление инфраструктурой. Команды ИИ совместно используют универсальный вычислительный ресурс ИИ, который можно динамически увеличивать и уменьшать по мере увеличения или уменьшения спроса, устраняя узкие места спроса и периоды неиспользования.
Дар утверждает, что такой подход может помочь организациям получить максимальную отдачу от своего оборудования и освободить специалистов по данным от ограничений, связанных с базовыми ограничениями ресурсов. Все это означает, что они могут выполнять больше заданий и запускать в производство больше моделей ИИ.
В качестве примера можно привести Лондонский центр медицинской визуализации и искусственного интеллекта для здравоохранения, основанного на ценностях, возглавляемый Королевским колледжем Лондона и базирующийся в больнице Св. Томаса. Он использует медицинские изображения и электронные медицинские данные для обучения сложных алгоритмов глубокого обучения для компьютерного зрения и обработки естественного языка. Эти алгоритмы используются для создания новых инструментов для эффективного скрининга, более быстрой диагностики и персонализированной терапии.
Центр понял, что его устаревшая инфраструктура искусственного интеллекта страдает от проблем с эффективностью: общая загрузка графического процессора была ниже 30 процентов со «значительными» периодами простоя для некоторых компонентов. После перехода к решению этих проблем путем внедрения модели централизованного предоставления вычислительных ресурсов ИИ на основе платформы Run:ai использование графического процессора выросло на 110 процентов, при этом одновременно повысилась скорость проведения экспериментов и общая эффективность исследований.
«Наши эксперименты могут длиться дни или минуты, используя небольшую вычислительную мощность или целый кластер», — говорит доктор М. Хорхе Кардосо, доцент и старший преподаватель ИИ в Королевском колледже Лондона и технический директор Центра ИИ. «Сокращение времени до получения результатов позволяет нам задавать и отвечать на более важные вопросы о здоровье и жизни людей»,
Централизация ресурсов искусственного интеллекта GPU также принесла ценные коммерческие преимущества Wayve, лондонской фирме, которая разрабатывает программное обеспечение искусственного интеллекта для беспилотных автомобилей. Его технология разработана так, чтобы не зависеть от датчиков, а вместо этого фокусироваться на большем интеллекте для лучшего автономного вождения в плотных городских районах.
Цикл обучения Wayve Fleet Learning Loop включает в себя непрерывный цикл сбора данных, проверки, обучения моделей, повторного моделирования и лицензирования моделей перед развертыванием в парке. Основное потребление вычислительных ресурсов графического процессора компании связано с производственным обучением Fleet Learning Loop. Он обучает базовый уровень продукта с полным набором данных и постоянно переобучает для сбора новых данных посредством итераций цикла обучения парка.
Компания начала осознавать, что страдает от «ужаса» планирования GPU: хотя почти 100 процентов доступных ресурсов GPU были выделены исследователям, менее 45 процентов были использованы при первоначальном тестировании.
«Поскольку графические процессоры были статически назначены исследователям, когда исследователи не использовали назначенные им графические процессоры, другие не могли получить к ним доступ, что создавало иллюзию того, что графические процессоры для обучения моделей были загружены, даже если многие графические процессоры простаивали», — отмечает Уэйв.
Работа с Run:ai решила эту проблему, устранив разрозненность и устранив статическое распределение ресурсов. Были созданы пулы общих графических процессоров, что позволило командам получить доступ к большему количеству графических процессоров и выполнять больше рабочих нагрузок, что привело к повышению их использования на 35%.
Зеркальные улучшения эффективности ЦП
Отражая то, как VMware значительно повысила эффективность использования серверных ЦП с максимальной производительностью за последние годы, в настоящее время внедряются новые инновации, направленные на оптимизацию эффективности использования графического процессора для вычислительных рабочих нагрузок ИИ.
«Если вы думаете о программном стеке, который работает поверх ЦП, то он был построен с использованием большого количества VMware и виртуализации», — объясняет Дар. «Графические процессоры относительно новы в центрах обработки данных, и программное обеспечение для ИИ и виртуализации, такое как NVIDIA AI Enterprise, также является недавней разработкой».
«Мы привносим передовые технологии в эту область с такими возможностями, как дробное использование графических процессоров, обмен заданиями и эффективное совместное использование графических процессоров для рабочих нагрузок», — говорит Дар, добавляя, что планируются дальнейшие усовершенствования.
Run:ai тесно сотрудничает с NVIDIA, чтобы улучшить и упростить использование графических процессоров на предприятии. Последнее сотрудничество включает обеспечение гибкости мультиоблачных графических процессоров для компаний, использующих графические процессоры в облаке, и интеграцию с программным обеспечением NVIDIA Triton Inference Server для упрощения процесса развертывания моделей в производстве.
Дар отмечает, что так же, как основные инновации на протяжении истории оказали глубокое влияние на человеческую расу и мир, мощь ИИ необходимо использовать с осторожностью, чтобы максимизировать его потенциальные преимущества, одновременно устраняя потенциальные недостатки. Он сравнивает ИИ с самым первобытным нововведением из всех: огнем.
«Это похоже на огонь, который принес много великих вещей и изменил человеческие жизни. Огонь также принес опасность. Так что люди поняли, как жить с огнем», — говорит Дар. «Я думаю, что это также присутствует в ИИ в наши дни».
При поддержке Run:ai.
