[ad_1]
Онлайн-рынкам труда, таким как Upwork, еще предстоит сформулировать значимую политику, регулирующую использование генеративных инструментов искусственного интеллекта для подачи заявок и выполнения размещенных вакансий. По данным компании Intuition Machines, специализирующейся на машинном обучении, отсутствие ясности ставит эти платформы под угрозу.
Недавно исследовательская группа службы обнаружения ботов hCaptcha от Intuition Machines решила проверить, используют ли работники, участвующие в торгах за вакансии, размещенные на Upwork, генеративные инструменты искусственного интеллекта, такие как ChatGPT, для автоматизации процесса торгов. эти услуги.
«Модель этих платформ заключается в том, что запрашивающие работу могут получить несколько предложений», — говорится в отчете, предоставленном исследователями. Регистр. «Таким образом, прибыль зависит от количества рабочих мест, на которые кто-то делает ставку, и времени, затрачиваемого на ответ на заявку».
В отчете hCaptcha утверждается, что это создает стимул для тех, кто отвечает на предложения о работе, автоматизировать свою часть процесса торгов.
Чтобы проверить эту теорию, исследователи hCaptcha создали сообщение о вакансии с проверочным вопросом, который они разработали так, чтобы эксперт в предметной области мог ответить за пять минут или меньше, и который, как они знали, даст неверный результат, если на него ответят известные LLM.
Вопрос был разработан из старой статьи об обнаружении аномалий с использованием SQL. Потенциальным участникам торгов была предоставлена примерная структура данных из двух столбцов с типами столбцов, и им было предложено сформулировать действительный запрос для поиска аномалий. Была предложена общая формула, но она не была обязательной. Полученный ответ должен был выполняться в ClickHouse, базе данных с открытым исходным кодом для приложений реального времени.
Компания планировала нанять тех, кто дал правильные ответы, для написания учебника по этому вопросу. В объявлении о вакансии говорилось, что ответ будет проверен и что ни один LLM не предоставит действительный ответ, поэтому соискателям не следует утруждать себя отправкой ответа, сгенерированного LLM.
В итоге исследователи никого не наняли из-за 14 поданных уникальных заявок, девять из которых ответили на контрольный вопрос. Из них все девять ответов были сгенерированы LLM, и все они были неверными, демонстрируя галлюцинированные функции, галлюцинирующие столбцы и другие ошибки.
«Мы много лет работали над генеративным ИИ, как с использованием, так и со злоупотреблением», — сказал Эли-Шауль Хедури, основатель и генеральный директор Intuition Machines. Регистр. «В прошлом году произошло то, что производительность этих больших языковых моделей значительно превзошла системы, предназначенные для обнаружения этих вещей.
«Если вы думаете о том, что Upwork делал несколько лет назад, у них есть различные виды обнаружения спама, чтобы люди не могли обойти политики, но они совершенно неэффективны, когда речь идет о моделях нынешнего поколения».
Хедури сказал, что команда hCaptcha обнаружила, что это верно и на других сайтах, но эти данные еще не опубликованы. «Мы подумали, что это хороший способ привлечь внимание к проблеме, потому что ее можно исправить».
Как обсуждалось на веб-сайте hCaptcha в прошлом месяце, существуют методы обнаружения выходных данных LLM, которые работают.
«Если вы используете своего рода стандартные подходы к проверке или полагаетесь на достоверность профилей или сообщений, отправленных вам, например, для определения потенциала найма, тогда вам необходимо полностью пересмотреть свою методологию, — сказал Хедури, — потому что мы в основном только что определили, что 100 процентов людей пытаются использовать эти инструменты прямо сейчас, что означает, что вы больше не измеряете их производительность, вы измеряете производительность этих моделей.
«В этом конкретном случае мы определили, что никакой добавленной ценности для человека не было. Ни у одного из ответивших людей не было ничего сверх того, что добавила модель».
Регистр не сделал бы вывод, что все на этих платформах используют инструменты ИИ на основе такой небольшой выборки, но, безусловно, многие участники делают это.
Хедури сказал, что, хотя многие люди, кажется, отказались от попыток обнаружить участие автоматизированной системы, он не считает, что это оправдано. «Не то чтобы они не могли этого сделать, — настаивал он. «Просто им нужно действительно подумать, что это реальная проблема, и что-то предпринять, потому что, если они этого не сделают, платформы, которые не реагируют или не выполняют адекватную работу, радикально снизятся в цене».
Использование больших языковых моделей продолжает активно обсуждаться на различных онлайн-форумах, хотя попытки автоматизировать работу предшествовали нынешнему увлечению ИИ. До того, как большие языковые модели стали настолько функциональными, рассказы об автоматизации работы периодически появлялись в различных онлайн-сообщениях и новостных статьях. Их часто хорошо принимали и вызывали оживленные дискуссии об этичности раскрытия информации о том, что определенный набор задач может быть решен с помощью кода.
В то время, когда так много людей все еще работают удаленно, часто с ограниченным контролем, автоматизация работы теперь выглядит правдоподобной для широкого круга задач благодаря повышению производительности LLM и других моделей машинного обучения, а также растущей простоте, с которой эти модели могут взаимодействовать с другими вычислительными и сетевыми службами.
На Fiverr, другой онлайн-платформе для фрилансеров, недавний пост среди многих, размышляющих о влиянии моделей ИИ, предупреждает, что сервис изо всех сил пытается справиться с ChatGPT. Отвечая на рекомендацию о том, что покупатели должны проводить встречи Zoom с продавцами, чтобы убедиться, что они могут общаться без помощи ИИ, внештатный писатель Вики Ито настаивает на том, что проблема заключается не только в общении, но и в его качестве.
«Всего за последний месяц ко мне приходили многочисленные покупатели, чтобы исправить и переписать контент, полностью написанный ChatGPT», — сказала Ито, которая подтвердила свое авторство поста. Регистр. «Во всех этих случаях продавцы обещали, что они владеют английским языком на уровне носителя, и во всех этих случаях покупатели могли сразу сказать, что работа для них бесполезна».
«Тогда эти покупатели обращались ко мне с пониженным чувством доверия и нуждались в дополнительных «доказательствах», что я на самом деле свободно говорю по-английски и что я буду писать вручную».
Fiverr не сразу ответил на запрос о комментарии.
В январе менеджер сообщества Upwork сказал: «Фрилансеры Upwork должны четко сообщать своему клиенту, когда искусственный интеллект использовался при создании контента, включая предложения о работе и тире».
Но через месяц член сообщества Upwork попросил разъяснений о статусе ChatGPT. «На Upwork это запутает поле для клиентов, потому что оно используется, чтобы скрыть тот факт, что у фрилансеров нет навыков и они обманывают», — сказал человек, идентифицированный как «Жанна Х».
По состоянию на март менеджер сообщества охарактеризовал политику Upwork как рекомендацию и сказал: «В настоящее время Upwork прямо не поощряет и не запрещает использование ИИ; то, как вы работаете, и инструменты, которые вы выбираете для использования, определяете вы и ваши клиенты. обсуждать.”
Регистр попросил Upwork прокомментировать влияние инструментов генеративного ИИ и его политику в отношении использования этих инструментов.
Нам сказали, что среднее количество еженедельных поисковых запросов, связанных с генеративным ИИ, в первом квартале 2023 года увеличилось на 1000 процентов по сравнению с четвертым кварталом 2022 года, а среднее количество еженедельных сообщений о вакансиях, связанных с генеративным ИИ, увеличилось более чем на 600 процентов за тот же период.
«Чтобы удовлетворить этот взрывной спрос, мы продолжили обновлять наш рынок талантов, чтобы отразить новые захватывающие навыки и роли, такие как оперативные инженеры, и добавили новые категории работы в каталоге проектов, доведя общее количество категорий на Upwork до более чем 125», — сказал представитель Upwork.
Рупор также указал на изменение политики, объявленное в апреле. Компания пересмотрела свои дополнительные условия контракта на обслуживание, пользовательское соглашение и условия использования, чтобы уточнить, как и когда можно использовать генеративный ИИ.
Необязательные условия контракта позволяют покупателю на договорной основе запрещать использование таких инструментов, как ChatGPT. И теперь в Условиях использования есть пункт о мошенничестве, который запрещает «использование генеративного ИИ или других инструментов для существенной поддержки ваших предложений о работе или рабочего продукта, если такое использование ограничено вашим клиентом или нарушает права какой-либо третьей стороны».
«В конечном счете, решение о том, подходят ли инструменты генеративного ИИ для проекта, зависит от наших клиентов и фрилансеров, которые должны решить сами и в соответствии с условиями своего контракта», — говорится в политике Upwork. ®
[ad_2]
