Профессор математики Калифорнийского университета в Беркли Ричард Борчердс отказался от домашних заданий, за которые выставляют оценки: по его словам, стало почти невозможно понять, написал ли работу студент или нейросеть. Теперь он в основном оценивает знания на очных экзаменах, где нельзя пользоваться электронными устройствами, сообщает Tom’s Hardware.
Борчердс рассказал изданию, что результаты онлайн-экзаменов заметно выросли, а определить, кто именно использовал ИИ, он не может. По его словам, оценивание домашних работ за правильность ответов создаёт стимул обращаться к нейросетям и одновременно ставит в невыгодное положение студентов, которые выполняют задания самостоятельно.
Проверять ответы на правильность — значит поощрять использование ИИ для домашних заданий вместо самостоятельной работы и наказывать честных студентов. А оплачивать проверку ответов, созданных ИИ, — пустая трата времени и денег.
Онлайн-оценки перестали быть надёжным ориентиром
Проблема, отмечает публикация, стала заметной после выхода GPT-3.5 в ноябре 2022 года. Ранние большие языковые модели (LLM) — системы, обученные генерировать и обрабатывать текст, — чаще ошибались, и их использование было проще распознать. С тех пор технологии улучшились, и отличить сгенерированный текст от студенческой работы стало намного труднее.
Исследования показывают, что студенты нередко получают более высокие оценки на онлайн-экзаменах. Однако учёные пока не доказали, что причиной обязательно было использование ИИ. Разрыв в результатах оказался достаточно большим, чтобы поставить под сомнение, насколько экзамены без наблюдения отражают знания учащихся.
Похожий случай произошёл в Университете Брауна: средний результат за домашний промежуточный экзамен достиг 96%, тогда как исторически он составлял от 65% до 80%. Преподаватель после этого провёл итоговый экзамен очно. Результаты резко разошлись: лишь два студента получили оценку, которая отличалась от их результата за промежуточный экзамен не более чем на 10%, и только один выступил лучше.
В этом конфликте важен не только поиск списывания, но и цена самой проверки: когда домашнее задание можно поручить модели, его оценка измеряет уже не одни знания. Очный экзамен возвращает контроль, но хуже показывает, как студент умеет работать с цифровыми инструментами. Университетам придётся оценивать и результат, и процесс.
Универсального способа проверки нет
Некоторые инструменты, впрочем, не спешат выполнять просьбы за пользователя. Например, Cursor AI однажды предложил обратившемуся к нему человеку сначала научиться программировать, а не просить ИИ сгенерировать код. Но отдельный сдержанный помощник вряд ли решит проблему, пока доступен широкий выбор других инструментов.
Беркли уже рассматривал программы для обнаружения текстов, созданных ИИ, но признал их ненадёжными. Университет разрешил преподавателям самостоятельно устанавливать правила использования нейросетей, потребовав лишь чётко прописывать эти правила в учебных планах.
Борчердс считает, что если худшее последствие ИИ — трудности с проверкой домашних заданий, то это, по крайней мере, было бы хорошей новостью. Пока же он предпочитает оценивать студентов в аудитории, где ответ приходится давать самому.
Оставить комментарий