ИИ убивает планету. Подождите, нет — это спасет его. По словам вице-президента Hewlett Packard Enterprise по ИИ и высокопроизводительным вычислениям Эвана Спаркса и профессора машинного обучения Амита Талвалкара из Университета Карнеги-Меллона, не совсем ясно, что ИИ может сделать для нашей родной планеты или для нее.
Выступая на саммите SixFive на этой неделе, дуэт обсудил одну из наиболее спорных проблем, с которыми сталкивается AI/ML: влияние технологии на климат.
«За последние несколько лет мы увидели, что технология машинного обучения, действительно требовательная к вычислительным ресурсам, становится все более заметной в отрасли», — сказал Спаркс. «Это привело к растущей озабоченности по поводу связанного с этим роста энергопотребления и корреляции — не всегда четкой — опасений по поводу выбросов углерода и углеродного следа этих рабочих нагрузок».
По оценкам Sparks, сегодня на рабочие нагрузки AI/ML приходится более половины всех вычислительных потребностей.
«Большая проблема заключается в том, что многие громкие достижения ML просто требуют ошеломляющего объема вычислений», — сказал Талвалкар, который также работает исследователем ИИ в HPE, цитируя сообщение в блоге OpenAI от 2018 года, которое показало, что требования к вычислениям и энергии для модель увеличилась более чем в 300 000 раз с 2012 года.
«На данный момент это цифра, которой почти четыре года, но я думаю, что тенденция продолжается в том же направлении», — добавил он.
Однако тот факт, что более широкое сообщество машинного обучения даже задумывается о влиянии ИИ на климат, является многообещающим признаком, отметил Талвалкар.
«Это не то, о чем мы действительно думали в сообществе машинного обучения несколько лет назад», — сказал он. «Хорошо опередить эту проблему и оказать давление на себя как на сообщество».
Еще не поздно
Чтобы противостоять экологическим последствиям распространения ИИ, в первую очередь необходимо лучше понять саму проблему, пояснил Талвалкар.
«Это означает научиться точно измерять точную степень, в которой это проблема, как с точки зрения энергетических потребностей текущих рабочих нагрузок ИИ, так и с точными прогнозами того, как, по нашим ожиданиям, будут выглядеть будущие требования», — сказал он. добавив, что эти идеи не только помогут исследователям понять истинную стоимость рабочей нагрузки, но и предпримут шаги для разработки более эффективного оборудования и улучшения алгоритмов.
«Мы активно занимаемся распространением аппаратного обеспечения с точки зрения специализированного оборудования, специально разработанного для обучения и/или развертывания моделей машинного обучения», — сказал он, цитируя Googleблок тензорной обработки в качестве раннего примера и указывает на продолжающиеся усилия Nvidia, Graphcore, Cerebras и других по разработке нового оборудования для машинного обучения и рабочих нагрузок ИИ.
«Заманчиво использовать больше оборудования для решения проблемы, но я думаю, что одновременно как исследовательское сообщество мы действительно расширяем границы и в области алгоритмических достижений», — отметил Спаркс, подчеркнув равную важность программного обеспечения.
В связи с этим Талвалкар утверждает, что лучшее понимание того, как и почему работают модели глубокого обучения, может принести плоды для оптимизации алгоритмов, чтобы получить больше производительности от доступных вычислительных ресурсов.
ИИ находится в зачаточном состоянии
Несмотря на проблемы, Талвалкар сохраняет оптимизм в отношении того, что сообщество окажется на высоте положения и по мере развития технологии будет уделять меньше внимания тому, что мы можем сделать с этими рабочими нагрузками, и активизировать усилия по их оптимизации.
«Мы, безусловно, находимся на первых этапах развития ИИ», — пояснил он. «Кажется, мы видим, что ежедневно появляются новые приложения, которые довольно удивительны».
Талвалкар считает, что ИИ и машинное обучение пойдут по пути, мало чем отличающемуся от проекта «Геном человека» — чрезвычайно дорогостоящего проекта, заложившего основу для недорогого секвенирования генов, которое оказалось чрезвычайно полезным.
И хотя Спаркс выразил аналогичный оптимизм, он не ожидает, что рост AI/ML в ближайшее время замедлится. «По крайней мере, в ближайшие несколько лет мы увидим гораздо больше, а не меньше». ®
