По словам трех исследователей, модели машинного обучения могут выполнять обработку контента и очистку данных лучше и дешевле, чем люди, участвующие в краудсорсинговых платформах.
И это не обязательно плохо для соискателей, поскольку некоторые рабочие места, которые могут быть затронуты, кажутся довольно ужасными.
Исследователи из Цюрихского университета Фабрицио Джиларди, Мейсам Ализаде и Маэль Кубли изучили, как большая языковая модель OpenAI ChatGPT обрабатывает текстовые аннотации — добавляя метки к тексту, чтобы помочь моделям машинного обучения лучше понять — по сравнению с краудсорсинговой платформой Amazon Mechanical Turk (MTurk).
Ученые описывают свои выводы в статье, название которой служит спойлером: «ChatGPT превосходит Crowd-Workers в задачах текстовых аннотаций».
Используя примерный набор данных из 2382 сообщений в Твиттере, которые уже были помечены научными сотрудниками, ученые сравнили, как работники ChatGPT и MTurk справились с пятью различными задачами по маркировке.
Работа включала оценку того, как каждый твит относится к теме модерации контента с точки зрения актуальности, позиции, тем и формулировок проблемы (например, описывается ли модерация контента как проблема, ограничивающая высказывания, или как решение, защищающее от нежелательных высказываний).
«Мы обнаружили, что для четырех из пяти задач точность нулевого выстрела ChatGPT выше, чем у MTurk», — говорится в документе. «…Более того, ChatGPT значительно дешевле, чем MTurk: пять задач классификации стоят около 68 долларов на ChatGPT (25 264 аннотации) и 657 долларов на MTurk (12 632 аннотации)».
Исследователи говорят, что в расчете на одну аннотацию ChatGPT стоит около 0,003 доллара США, что примерно в двадцать раз дешевле, чем MTurk, но при этом является более точным.
Точнее в данном случае не очень точно. Об этом заявил Фабрицио Джиларди, профессор политического анализа факультета политологии Цюрихского университета и один из соавторов статьи. Регистр в электронном письме, что результаты ChatGPT были менее чем на 50 процентов точны в некоторых задачах, но это все же лучше, чем у MTurkers.
В целом, результаты исследований, похоже, закончились для людей, стремящихся обеспечить такую работу.
Но Джиларди предостерег от слишком широкого толкования результатов.
«Слишком рано говорить о том, как ChatGPT может заменить краудворкеров», — сказал Джиларди в заявлении, отправленном по электронной почте. Регистр. «Наша статья демонстрирует потенциал ChatGPT для задач аннотирования данных, но необходимы дополнительные исследования, чтобы полностью понять возможности ChatGPT в этой области».
Джиларди сказал, что важно собирать больше данных, используя различные задачи, типы данных и языки, и добавил, что MTurkers выполняют другие задачи, такие как исследования в области опросов, аннотации изображений, расшифровка аудио и видео, тестирование удобства использования. И могут быть сценарии, в которых люди-аннотаторы могут быть более продуктивными с помощью такой модели, как ChatGPT, предположил он.
С этой оговоркой Джиларди сказал, что для изучаемых типов задач ChatGPT выглядит так, как будто он может заменить краудсорсинговых работников, что вполне уместно, потому что, безусловно, подобные модели обучаются на краудсорсинговых данных, аннотированных людьми. Программное обеспечение ИИ, взявшее на себя рутинную работу людей, может принести пользу психическому здоровью, учитывая, что модераторы-люди подали в суд из-за травмы, полученной при просмотре токсичного контента.
«Это имеет значение для неприятных и жестких задач аннотации, таких как обнаружение разжигания ненависти, что имеет неблагоприятные психологические последствия для людей-аннотаторов», — сказал Джиларди. «Другими словами, такие инструменты, как ChatGPT, могли бы стать идеальным кандидатом на замену или сокращение человеческих аннотаций для тех задач, которые предполагают выполнение людьми этических соображений».
В последнее время мы также придерживаемся мнения, что ChatGPT и ему подобные имеют одно преимущество: выделение раздражающих рутинных задач, которые мы должны выполнять каждый день, таких как подведение итогов отчетов, электронная почта босса, написание стандартного кода, выполнение домашних заданий и так далее. Предлагая заняться скучной, повторяющейся работой, модели могут поглощать часть этой скуки, тогда как лучшим решением могло бы быть переосмысление того, как мы нанимаем и используем людей в первую очередь эффективно и действенно.
Недавний отчет Goldman Sachs [PDF] Мы отмечаем, что внедрение генеративного ИИ характеризует как повышение производительности, а не как уничтожение рабочих мест. В нем говорится: «Экстраполяция наших оценок на глобальный уровень предполагает, что генеративный ИИ может автоматизировать эквивалент 300 миллионов рабочих мест с полной занятостью». ®
