Некоторые университеты отказываются от использования программного обеспечения Turnitin, предназначенного для определения того, был ли текст в эссе и заданиях, сданных студентами, написан искусственным интеллектом.
Turnitin, для тех, кто не знает, предлагает учителям инструменты для выявления плагиата в школьных работах, а в апреле добавила возможность проверять машинописную прозу. Если оставить этот параметр включенным, он автоматически сканирует документы и обрабатывает текст на фрагменты, анализируя каждое предложение и присваивая оценку 0, если кажется, что оно было составлено людьми, и 1, если кажется, что оно было автоматически сгенерировано с помощью ИИ. Для файла рассчитывается средний балл, чтобы предсказать, какой объем текста будет написан искусственным интеллектом.
Возникает более серьезный вопрос: как Turnitin обнаруживает запись ИИ и возможно ли это вообще?
Однако различные американские университеты, в том числе Вандербильт, Университет штата Мичиган, Северо-Западный университет и Техасский университет в Остине, решили не использовать это программное обеспечение из-за опасений, что оно может привести к ложному обвинению студентов в мошенничестве, как отмечает Bloomberg.
Компания Turnitin признала, что ее инструмент обнаружения текста с помощью искусственного интеллекта не идеален, но заявил, что уровень ложноположительных результатов составляет менее одного процента.
В Университете Вандербильта заявили, что даже эта цифра слишком высока и приведет к ошибочной пометке 750 статей в год, учитывая, что в 2022 году через систему Turnitin было пропущено 75 000 статей.
«Кроме того, существует более серьезный вопрос о том, как Turnitin обнаруживает письмо, написанное ИИ, и возможно ли это вообще. На сегодняшний день Turnitin не дает подробной информации о том, как он определяет, создан ли фрагмент письма с помощью ИИ. Максимум, что они сказали, это то, что инструмент ищет шаблоны, распространенные в написании ИИ, но он не объясняет и не определяет, что это за шаблоны», — объяснил в прошлом месяце консультант института по обучающим технологиям Майкл Коли.
«Существуют реальные проблемы конфиденциальности при сборе данных учащихся и вводе их в детектор, которым управляет отдельная компания с неизвестной политикой конфиденциальности и использования данных. По сути, обнаружение ИИ уже является очень сложной задачей для решения технологий (если она вообще существует). Это возможно), и это будет только усложняться по мере того, как инструменты ИИ станут более распространенными и совершенными. Исходя из этого, мы не считаем, что программное обеспечение для обнаружения ИИ является эффективным инструментом, который следует использовать».
рассказала Энни Чечителли, директор по продукту Turnitin. Регистр что инструмент маркировки AI не должен использоваться для автоматического наказания студентов и что 98 процентов его клиентов используют эту функцию. Тем не менее, он включается автоматически, и учителя, которые не хотят видеть его результаты, должны явно отказаться. Они также могут оставить эту функцию включенной и игнорировать ее.
«В Turnitin мы руководствуемся и всегда считали, что ничто не заменит знание студента, его стиля письма и уровня образования», — сказала она в своем заявлении.
«Технология Turnitin не предназначена для замены профессионального усмотрения преподавателей. Отчеты, указывающие на наличие ИИ-письма, например, функция обнаружения ИИ-письма Turnitin, просто предоставляют данные и ресурсы для поддержки разговора с учащимися, а не определения неправомерного поведения. Это одно целое. более широкой головоломки, включающей множество компонентов».
Отчеты, указывающие на наличие написания ИИ, просто предоставляют данные для поддержки разговора со студентами.
Даже если такое программное обеспечение, как детектор искусственного интеллекта Turnitin, не предназначено для автоматического наказания учащихся, результаты все равно сильно влияют на учителей.
Например, преподаватель Техасского университета A&M-Commerce поднял брови, когда использовал ChatGPT в попытке определить, были ли статьи, которые он отмечал, написаны с использованием машинного обучения или нет. Оценки учащихся были приостановлены, некоторых из них освободили от списывания, а некоторые повторно сдали свои работы.
Выяснить, был ли текст создан человеком или машиной, сложно. OpenAI удалила свой классификатор вывода ИИ через шесть месяцев после его выпуска из-за его низкой точности и заявила, что пытается придумать новые методы обнаружения контента, генерируемого ИИ.
Еще больше усложняет ситуацию то, что программное обеспечение для обнаружения ИИ может легко выйти из строя при анализе текста, написанного людьми, а затем отредактированного с помощью ИИ, и наоборот. Предыдущее исследование, проведенное учеными-компьютерщиками из Университета Мэриленда, показало, что шансы лучших классификаторов обнаружить текст ИИ не выше, чем при подбрасывании монеты. ®
