По мнению исследователей, ChatGPT от OpenAI превосходит среднего студента университета в информатике, но, что интересно, не в математике.
Производительность модели большого языка также превосходит среднестатистического студента по другим предметам, включая политологию, инженерное дело и психологию, говорится в статье, опубликованной в журнале Научные отчеты сказал. Однако в математике и экономике технология чат-ботов была ниже номинала. Авторы утверждают, что полученные результаты могут помочь в разработке политики по внедрению инструментов ИИ в образование.
Команда под руководством Талала Рахвана и Ясира Заки, доцентов кафедры информатики в Нью-Йоркском университете Абу-Даби (NYUAD), обнаружила, что ChatGPT наиболее заметно превзошел студентов по курсу под названием «Введение в государственную политику», по которому его средняя оценка составляла 9,56 по сравнению со средним показателем 4,39 для студентов.
В ходе исследования преподавателям NYUAD было предложено предоставить 10 вопросов из курса, который они преподают в университете, а также три случайно выбранных студентом ответа на каждый вопрос. Между тем, ChatGPT использовался для генерации трех разных ответов на каждый из 10 вопросов, предусмотренных для каждого курса.
Ответы студентов и ChatGPT затем были собраны в один документ в случайном порядке и оценены экспертами, которые не знали, что пришло от человека, а что от LLM.
«Мы обнаружили, что производительность ChatGPT сопоставима или даже превосходит производительность студентов девяти из 32 курсов. Кроме того, мы обнаруживаем, что современные алгоритмы обнаружения склонны ошибочно классифицировать человеческие ответы как сгенерированные искусственным интеллектом и ошибочно классифицировать ответы ChatGPT как человеческие». генерируется”, – говорится в исследовании.
Однако: «Опять же, мы обнаруживаем, что самый большой разрыв в производительности между ChatGPT и учащимися приходится на вопросы, связанные с математикой, за которыми следуют вопросы с подвохом. На данный момент люди, похоже, превосходят ChatGPT в этих областях».
Исследование также показало, что использование обфускационной атаки, предназначенной для обхода фильтров искусственного интеллекта, приведет к тому, что алгоритмы обнаружения не смогут обнаружить 95 процентов ответов ChatGPT.
Чтобы понять, как ИИ может восприниматься в образовательной среде, исследователи опросили студентов и сотрудников в Бразилии, Индии, Японии, Великобритании и США.
Они обнаружили, что 57 процентов студентов планируют использовать ChatGPT для помощи в выполнении заданий, а 64 процента ожидают, что их сверстники сделают то же самое. Однако 69 процентов профессоров заявили, что планируют рассматривать использование ChatGPT как плагиат.
Хотя студенты и их преподаватели, похоже, расходятся во мнениях по поводу использования ChatGPT в колледже, это уравняло правила игры для тех, для кого английский язык не является родным.
«Между преподавателями и учащимися существует общее мнение, что использование ChatGPT в школьной работе должно быть признано и что это повысит конкурентоспособность учащихся, для которых английский язык не является родным», — говорится в документе. ®
