Мощные модели токсичны как никогда

    0
    30


    Согласно последнему отчету AI Index, системы ИИ становятся все более крупными и сложными, но, несмотря на прогресс технологий, они демонстрируют более высокий уровень токсичного поведения.

    В отчете за 2022 год, разработкой которого руководил Институт искусственного интеллекта, ориентированного на человека, Стэнфордского университета, анализируется, как машинное обучение влияет на исследования и разработки, экономику и формирование политики во всем мире.

    Одна тенденция, отмеченная исследованием, которое проводится уже пятый год и, вероятно, останется в моде в обозримом будущем, заключается в том, что нейронные сети становятся больше. В настоящее время существуют языковые модели с сотнями миллиардов и даже триллионами параметров, обученных на терабайтах текста, извлеченного из Интернета.

    Эти массивные системы могут в определенной степени выполнять все виды задач, от создания контента до помощи разработчикам в написании кода. Они стали более мощными и потенциально более опасными.

    «Модель с 280 миллиардами параметров, разработанная в 2021 году, показывает увеличение вызванной токсичности на 29 процентов по сравнению с моделью со 117 миллионами параметров, которая считается самой современной на 2018 год — это увеличение токсичности сопровождается широким и значительным увеличением возможностей», — говорится в исследовании. говорится в отчете.

    Авторы предупреждают, что сейчас как никогда важно понимать недостатки этих систем по мере их коммерциализации и развертывания в реальном мире.

    Нынешний бум глубокого обучения часто восходит к 2012 году, когда ученые из Университета Торонто выиграли соревнование по классификации изображений с использованием сверточной нейронной сети. [PDF].

    С тех пор архитектуры компьютерного зрения и других областей искусственного интеллекта претерпели изменения, а обучение и запуск модели становятся все более доступными. Фактически, стоимость обучения системы классификации изображений снизилась на 63,6%, а время обучения систем ИИ сократилось на 94,4%.

    По мере снижения этих затрат технология может применяться в более широком масштабе, и на нее есть спрос. Общий объем инвестиций в частные компании искусственного интеллекта в 2021 году по всему миру составил 93,5 млрд долларов, что более чем вдвое превышает сумму, по сравнению с 2020 годом. Интересно, однако, что количество новых финансируемых стартапов продолжает сокращаться. В 2019 году насчитывалась 1051 компания, в 2020 году — 762 компании, а в 2021 году — 746 компаний.

    Об этом заявил сопредседатель руководящего комитета AI Index Рэй Перро. Регистр снижение «может быть интерпретировано как признак растущей зрелости сектора ИИ, при этом требуются более крупные инвестиции, поскольку продукты, содержащие ИИ, поставляются в большем масштабе».

    «Инвестиции не обязательно должны быть направлены на разработку алгоритмов ИИ. Они также могут охватывать крупномасштабный сбор данных, стоимость обучения моделей машинного обучения и инвестиции в оборудование, предназначенное для интеграции с программным обеспечением ИИ, как в случае с беспилотными автомобилями. Тем не менее, при сборе этих данных могут возникнуть основные проблемы — по мере того, как ИИ становится все более заметным, более широкий круг компаний может называть себя «компаниями ИИ», — сказал он.

    Коммерциализация ИИ во многом обусловлена ​​современными исследованиями. Китай является мировым лидером в этой области, по крайней мере, по количеству опубликованных статей, с наибольшим количеством публикаций в академических журналах, опережая США на втором месте с 63,2%.

    Как вы можете себе представить, существует множество причин, по которым количество статей не является прямым показателем фактически проводимых исследований, хотя, тем не менее, это интересная статистика.

    Геополитические разногласия между Китаем и Соединенными Штатами сейчас, похоже, не оказали негативного влияния на исследования и разработки. Нам сообщили, что межстрановое сотрудничество между обеими странами в области ИИ находится на рекордно высоком уровне, увеличившись в пять раз с 2021 года.

    «Исследователи хотят работать с лучшими учеными в своих областях, и в качестве основного источника талантов ИИ, естественно, будет большое количество китайских исследователей, с которыми американские исследователи захотят сотрудничать», — Майкл Селлитто, заместитель директора Stanford HAI. , сказал Регистр.

    «Кроме того, американские компании, такие как AWS и Microsoft, имеют исследовательские группы в Китае, как и китайские фирмы, такие как Baidu в США, что может внести свой вклад в количество статей, написанных двумя странами. Также стоит отметить, что геополитика и «вооружение Несмотря на расовые страхи, большинство академических исследований предназначено для открытой публикации, и даже исследователи ИИ, работающие в промышленности, требуют права на публикацию, поскольку это важно для их карьеры.

    «Таким образом, в значительной степени полученные знания будут доступны китайским исследователям, даже если в конкретном проекте не было сотрудничества между США и Китаем».

    «Многие могут также рассматривать академическое взаимодействие как возможность улучшить взаимопонимание и снизить напряженность, подобно тому, как Соединенные Штаты и Советский Союз способствовали академическим и культурным обменам во время холодной войны. Инициатива «Справедливость в Китае», похоже, омрачила сотрудничество с участием китайских ученых и институтов для некоторых исследователей, особенно для тех, кто имеет китайское происхождение», — добавил он.

    Еще одним признаком того, что исследования в области машинного обучения развиваются, является снижение стоимости механических рук в исследованиях робототехники. Средняя цена роботизированных захватов за последние шесть лет снизилась в 4 раза: с 50 000 долларов за руку в 2016 году до 12 845 долларов в 2021 году.

    Наконец, поскольку ИИ практически развернут по всему миру, страны начинают регулировать эту технологию. Отчет AI Index показал, что количество законопроектов, содержащих слова «искусственный интеллект», было принято, поскольку законодательство выросло с одного случая в 2016 году до 18 в 2021 году, причем большинство из них одобрили США, Великобритания и Испания.

    «Озабоченность этическими проблемами в системах ИИ растет, как показано в нашем отчете. Исследование того, где можно найти проблемы, вызывает озабоченность, началось относительно недавно, но мы еще не на том этапе, когда идентификация источника проблем привело к разработке надежных методов предотвращения их в будущем. Слишком рано говорить, что эти проблемы не будут устранены», — заключил Перро. ®

    Предыдущая статьяВ дневнике разработчиков Starfield обсуждается свобода открытого мира игры
    Следующая статьяСимулятор кликера Roblox Коды на март 2022 года
    Виктор Попанов
    Эксперт тестовой лаборатории. Первый джойстик держал в руках в возрасте 3 лет. Первый компьютер, на котором „работал” был с процессором Intel i386DX-266. Тестирует оборудование для издания ITBusiness. Будь то анализ новейших гаджетов или устранение сложных неполадок, этот автор всегда готов к выполнению поставленной задачи. Его страсть к технологиям и приверженность качеству делают его бесценным помощником в любой команде.