Академический поставщик программного обеспечения для обнаружения плагиата Turnitin продемонстрировал во вторник инструмент обнаружения ИИ, заявив о 98-процентной точности обнаружения мошенничества, сгенерированного машиной.
Первоначальные испытания, проведенные Вашингтон пост, однако, обнаружил, что его производительности не хватает. Turnitin хорошо обнаруживал текст, сгенерированный ИИ, когда весь ввод был создан ChatGPT, но боролся со смесью между человеческими и машинными предложениями. Он также неправильно помечал части эссе, написанного студентом, как сгенерированные ИИ.
Учителя борются с тенденцией того, что учащиеся обращаются к таким инструментам, как ChatGPT, для написания эссе и выполнения домашних заданий, а академические учреждения изо всех сил пытаются обеспечить соблюдение правил, регулирующих использование программного обеспечения для написания ИИ.
Turnitin, однако, утверждает, что функции, которые теперь интегрированы в ее существующие продукты для защиты от плагиата, могут обнаруживать текст, созданный ИИ, с «98-процентной уверенностью», но не предоставили никаких доказательств этого. Учитывая заявленные 2,1 миллиона американских преподавателей, использующих код, безусловно, следует указать некоторые источники — как вам скажет любой учитель.
«Технология Turnitin отличается высокой точностью и низким уровнем ложных срабатываний при обнаружении текста, сгенерированного искусственным интеллектом, в студенческих письмах», — заявила в своем заявлении директор по продукту Turnitin Энни Чечителли. «Чтобы поддерживать уровень ложных срабатываний менее одного процента, мы отмечаем что-то только тогда, когда мы на 98 процентов уверены, что это написано ИИ на основе данных, которые были собраны и проверены в нашей контролируемой лабораторной среде».
Непонятно, как Turnitin проверяла точность своего программного обеспечения и как оно предсказывало текст, сгенерированный различными языковыми моделями.
Вендора критиковали за то, что он навязывал клиентам свои инструменты, не скрывая, как они работают. Некоторые ведущие университеты Russell Group в Великобритании, в том числе, например, Кембриджский университет, отказались от использования инструментов обнаружения ИИ Turnitin. Файнэншл Таймс.
Предсказать, был ли фрагмент текста создан искусственным интеллектом, сложно. Даже компания OpenAI, которая создала ChatGPT, предупредила, что ее собственный классификатор текста AI может правильно идентифицировать текст, который может быть написан AI, только в 26% случаев.
Группа ученых-компьютерщиков из Мэрилендского университета недавно опубликовала исследование, в котором было обнаружено, что обойти инструменты обнаружения легко — даже для текста, на который нанесен водяной знак.
Программное обеспечение Turnitin для обнаружения ИИ в настоящее время можно использовать бесплатно.
«Педагоги сказали нам, что способность точно определять текст, написанный ИИ, является их первоочередной задачей прямо сейчас. Им необходимо иметь возможность обнаруживать ИИ с очень высокой степенью достоверности, чтобы оценить подлинность работы учащегося и определить, как лучше всего взаимодействовать с ними». сказал генеральный директор Крис Карен
Регистр обратился к Turnitin с просьбой прокомментировать подтверждение цифры 98 процентов. Мы сообщим вам. ®
