Как отличить «гадающих» студентов от тех, кто решает задания осмысленно

Измерение знаний слушателей онлайн-курсов связано с рядом проблем. Исследователи из Высшей школы экономики и университета Лёвена усовершенствовали модель оценки их учебных достижений. Результаты исследования опубликованы в журнале Heliyon.

При оценке результатов слушателей онлайн-курсов их разработчики сталкиваются с системными сложностями. Во-первых, используемое в тестах количество заданий (обычно 10-15) недостаточно для точных и надежных измерений. Во-вторых, в тестах доступны несколько попыток, что провоцирует «гадание» со стороны студентов и, соответственно, приводит к искажениям в результатах. В-третьих, часто используемая в качестве метрики доля верных ответов не позволяет объективно сравнить студентов между собой в случае малейшего обновления теста.

Исследователям Высшей школы экономики и университета Лёвена удалось решить эти проблемы с помощью расширения (включения дополнительных параметров) классической модели Раша.

«Во-первых, наше расширение включает эффект попытки, поэтому позволяет отличить «гадающих» студентов от тех, кто решает задания осмысленно. Во-вторых, так как метрики знаний, полученные с использованием расширения, имеют единую шкалу, то они сравнимы даже при существенной замене заданий в тесте. И, наконец, мы рассчитываем метрики не только по итогам теста, но и с учетом опыта студента — активности при просмотре видео и результативности в практикумах, что обеспечивает более целостное понимание подготовленности студента», — объясняет руководитель Центра психометрических исследований в онлайн-образовании ВШЭ Дмитрий Аббакумов.

В дальнейшем предложенный исследователями подход может применяться в движках оценивания на образовательных платформах для более точных измерений знаний студентов. А метрики могут быть встроены в навигационные и рекомендательные решения в цифровом образовании.

24 декабря, 2018 г.