Что такое автоматическое оценивание с помощью кода?
Механизм автоматического оценивания — это инструмент, который позволяет учителям автоматически оценивать и/или предоставлять студентам отзывы об их коде. Он может быть сконфигурирован таким образом, чтобы обеспечивать обширные и оперативные отзывы, которые способствуют быстрому и эффективному обучению студентов. Механизмы автоматического оценивания широко используются в информатике и инженерии, а также в программах для статистики и обработки данных, хотя они также могут быть использованы для задач, не связанных с информатикой.
Использование такого механизма экономит время на выставление отметок, особенно для больших классов, и в идеале предоставляет студентам обратную связь в режиме реального времени в рамках существующих рабочих процессов, чтобы они могли подготовиться к следующим этапам обучения.
При использовании слова «автоматизация» может показаться, что оно устраняет фактор персонализации, который является основой общения и обучения между преподавателем и студентом. Механизм автоматического оценивания — это инструмент, который, поскольку он требует настройки, может использоваться в качестве инструмента «отладки» или с правильными дополнениями, обеспечивая оценивание академической честности наряду с обратной связью. В то время как механизм автоматического оценивания с минимальной бинарной обратной связью (правильно/неправильно) может быть полезен для выставления итоговых отметок, например на выпускных экзаменах, где вы не хотите, чтобы студенты видели тесты полностью или прямые подсказки о том, как решать проблемы, этот тип механизма препятствует обучению, особенно при выполнении заданий с низкой степенью контроля, таких как лабораторные работы или домашние задания. В таких ситуациях студенты, у которых нет информации о следующих шагах в обучении, могут бессистемно вносить коррективы, пока работа программы не покажется правильной.
Но когда механизм подкреплен обратной связью, инструмент может поддерживать персонализированное обучение и повышать вовлеченность студентов. Преимущество немедленной обратной связи позволяет студентам разумно использовать код и дорабатывать результат до срока сдачи задания, не завися от постоянного участия преподавателя. Таким образом, преподаватели могут поощрять самостоятельное обучение. Кроме того, механизм автоматического оценивания с обратной связью может стимулировать обучение в собственном темпе.
Персонализированное обучение предполагает адаптацию учебного процесса для каждого студента на основе его уникальных навыков и способностей, а также других контекстных факторов. В целом, это способ внедрения педагогики высокого уровня во взаимодействие ученика и учителя.
Согласно результатам исследования, проведенного Education Week в 2018 году, каждый третий администратор считает персонализированное обучение «преобразующим способом улучшения государственного образования». При этом 57 % администраторов считают, что цифровые технологии являются эффективным инструментом, дополняющим персонализацию.
В последующем опросе, проведенном Education Week в 2019 году, 46 % преподавателей заявили, что оптимистично относятся к персонализированному обучению, при этом 91 % респондентов заявили, что хотя бы в некоторой степени уверены в том, что цифровые инструменты могут эффективно адаптировать обучение для студентов (стр. 4). Персонализированное обучение — это общепризнанный педагогический подход к поддержке обучения учащихся.
Применяя персонализированное обучение, преподаватели могут поддержать каждого студента на его пути к получению знаний. Например, сокращение разрыва между студентами с высокими и низкими показателями успеваемости может способствовать формированию более квалифицированного и разнообразного контингента учащихся, которые впоследствии могут сделать карьеру в области разработки программного обеспечения (Аравинд и Баласангевешвара, 2019).
Какие проблемы возникают при внедрении персонализированного обучения с помощью механизмов автоматического оценивания?
Когда речь идет об обучении студентов программированию, возникают уникальные проблемы, связанные с оцениванием и обратной связью.
- Продуманные и полезные отзывы могут занять много времени. По словам Скотта Смита, профессора компьютерных наук Университета Джона Хопкинса, «на курсах, где преподается программирование, мы обычно ставим перед студентами проекты, требующие написания программ для решения проблем. Когда преподаватели оценивают задания такого типа, им приходится наблюдать не только за результатами работы программы, но и за подходом студента к ее созданию. Если результаты неверны или программа не работает, нам приходится тратить время на просмотр сотен строк кода, чтобы отладить программу и предоставить продуманный отзыв».
- Бинарная система оценивания «правильно/неправильно» не способствует обучению. Без продуманной обратной связи механизм автоматического оценивания, предназначенный для поддержки обучения, не предоставляет дальнейших шагов для студентов. При этом студенты могут вносить коррективы наугад и упускать возможности для обучения. По словам Кевина Лина, доцента Вашингтонского университета, «в результате возникает цикл разработки, управляемый механизмом автоматического оценивания, когда студенты вносят незначительные изменения в свой код практически наугад, отправляют код механизму и повторяют действия, пока их программа не пройдет все заданные тесты».
- Чрезмерная зависимость от механизмов автоматического оценивания может помешать самостоятельному обучению. Хотя такие механизмы полезны для поддержки оценивания, особенно в больших классах, плохо продуманная реализация может привести к тому, что студенты будут больше изучать нюансы механизма, чем концепции. По словам исследователей, «студенты могут использовать механизмы автоматического оценивания вместо самостоятельных размышлений» (Баниассад, Зампроньо, Холл и Холмс, 2021).
Как преподаватели могут использовать механизмы автоматического оценивания для объединения преподавания и обучения?
Эти механизмы, несомненно, полезны для масштабной поддержки оценивания знаний информатики у студентов. В сочетании с содержательной и персонализированной обратной связью механизмы автоматического оценивания могут стать важной частью персонализированного обучения.
Исследования признают широкое использование таких механизмов на курсах информатики, исходя из прагматических соображений. Одно из исследований показало, что при предоставлении продуманной обратной связи последующие работы студентов улучшаются на 96 % (Хальдеман и другие, 2018). Та же исследовательская группа в последующем исследовании собрала данные между двумя семестрами курсов информатики. В одном семестре были предусмотрены подсказки и обратная связь для двух заданий, а в другом — такой помощи не было. «Результаты показывают, что процент студентов, которые успешно выполняют задания после первоначальной ошибочной подачи, в три раза выше», если им предоставляются подсказки и обратная связь (Хальдеман и другие, 2021).
Предложения по стимулированию обучения с помощью механизмов автоматического оценивания
- По словам преподавателей, использование таких инструментов, как Gradescope, для автоматического оценивания (независимо от размера класса) наряду с функциями рубрикации и обратной связи экономит время на выставление отметок. С помощью Gradescope преподаватели могут создать механизм автоматического оценивания, предназначенный для оценивания одной работы, а Gradescope обработает все остальные (преподавателям не нужно беспокоиться о разработке системы для обработки всех заданий). В свою очередь, быстрая обратная связь позволяет студентам получать результаты по ходу процесса и прогрессировать в обучении.
- Ускорение предоставления обратной связи повышает результаты обучения студентов. С помощью Gradescope предварительно загруженный механизм автоматического оценивания преподавателя запускается в течение нескольких секунд после того, как студент представил свой код. Это позволяет студентам в режиме реального времени узнавать, что не так в их коде, чтобы сразу же вносить исправления. В одном из примеров профессор Джиллиан Кэннонс, доцент кафедры математики и статистики в университете Кал Поли Помона, использовала Gradescope для централизации практически мгновенной обратной связи, которая побуждала студентов переделывать задание, пока они не получили правильный ответ. «Профессор Кэннонс увидела, что студенты стали более ответственно относиться к своей работе и обучению. Вместо того чтобы довольствоваться 7 баллами из 10, они неоднократно переделывали свои задания, пока не получали отличную оценку. Эта самомотивация привела к более глубокому усвоению материала и пробудила чувство страсти к компьютерному программированию там, где раньше его не было».
- Разработайте свой механизм автоматического оценивания таким образом, чтобы он не только тестировал код студентов, но и оценивал их тесты, чтобы убедиться, что студенты действительно занимаются разработкой на основе тестирования. В результате это способствует тому, что студенты начинают думать о том, как им следует тестировать свой код, а не просто полагаться на то, что тесты напишут другие. Хорошо разработанный механизм автоматического оценивания с ограничением скорости и выборочным выводом наряду с хорошо продуманной структурой экзамена также затрудняет для студентов возможность полагаться только на механизм. Вместо этого студенты предпринимают более продуманные действия при сдаче заданий.
- Использование таких инструментов, как Gradescope, позволяющих проводить автоматическое и ручное оценивание одного и того же задания, может помочь преподавателям предоставлять комментарии и обратную связь студентам в режиме реального времени. «После того как мне сообщили, что в следующем семестре у меня не будет тестов по курсу "Принципы языков программирования", я решил воспользоваться одной из функций Gradescope — платформой автоматического оценивания заданий по программированию. Возможность автоматически выставлять отметки и комментировать предоставленный студентами код уже давно является мечтой педагогов, преподающих программирование. Преподаватель устанавливает сценарий оценивания, который является основой для анализа, предоставляя оценки и обратную связь для проблем, найденных в программе каждого студента. Механизм автоматического оценивания [sic] был действительно главной особенностью в данном случае», — говорит Скотт Смит.
- Предоставляя частое оценивание с низкой степенью контроля, мы повышаем прозрачность и создаем основу для обучения студентов. Понимание того, что знают или не знают студенты, позволяет быстро реагировать на индивидуальные ситуации, требующие действий со стороны преподавателя. Автоматическое оценивание снижает потребность во времени со стороны преподавателя, поэтому учащиеся могут чаще создавать код. В Университете Содружества Вирджинии профессор Дебра Дьюк использует Gradescope «для экономии времени и автоматизации отдельных этапов процесса оценивания и обратной связи. Это позволяет Дьюк назначать больше проектов и давать более значимые и персональные комментарии, а ее студенты теперь получают на 50 процентов больше практических занятий в области программирования, чем раньше».
- Точное определение возможностей обучения благодаря механизму автоматического оценивания для студентов обеспечивает конкретные рекомендации. Аня Е. Востинар, доцент кафедры информатики Карлтонского колледжа, поделилась своими советами по использованию механизма автоматического оценивания Gradescope, который способствует таким возможностям обучения.
Gradescope превращает оценивание в процесс обучения и обеспечивает персонализированные отзывы наряду с автоматическим оцениванием в масштабе. Что получается в результате? У педагогов остается время на преподавание.
Ознакомьтесь с нашей документацией по работе с механизмом автоматического оценивания. Также можно посетить страницу ресурсов сообщества Gradescope, где преподаватели делятся друг с другом своими механизмами автоматического оценивания.