Измерение интереса в онлайн-обучении поможет совершенствовать контент

Интерес в обучении служит важным когнитивным и мотивационным рычагом, который позволяет управлять вниманием и способствует эффективному получению знаний. При этом нужно учитывать личные цели обучающегося и степень интересности учебного контента.

Измерение интереса в обучении — это область психометрического сопровождения и экспертизы онлайн-курсов — направление, которое активно развивается в НИУ ВШЭ. Под психометрикой подразумевается высокоточное измерение и математическое моделирование в психологии и образовании. В условиях массовых открытых онлайн-курсов (таких, как на платформах Coursera, Udacity, edX и пр.) подобное сопровождение становится сверхактуальным, если не критически важным.

В массовом онлайн-образовании профессор потерял возможность получать мгновенную обратную связь непосредственно во время лекции. «Здесь, в отличие от работы в аудитории, он не видит, кто из студентов слушает его с интересом, кто отвлекся, а кто и вовсе засыпает, у кого возникла трудность в понимании материала, является ли эта трудность индивидуальной или она объединяет целую группу студентов», — пояснил Дмитрий Аббакумов. Поэтому важно обеспечить автора онлайн-курса и его команду экспертизой, которая позволит им скорректировать как содержание обучения, так и представление этого содержания.

Алгоритм такой экспертизы и предложил Дмитрий Аббакумов в новом проекте «Interest and Interestingness: the New Perspective on Students and Content» («Интерес студента и интересность контента: новый взгляд на онлайн-курсы»), проведенном совместно с Евгенией Кулик. Доклад по исследованию был представлен на недавней конференции Coursera Partners Conference 2016 в Гааге (Нидерланды, 20-22 марта 2016 года).

Аббакумов провел опрос 5410 студентов, изучающих два курса НИУ ВШЭ по экономике и финансам и по социальным наукам на платформе Coursera, относительно их интереса к предложенным в ходе обучения видео-лекциям. Ответы студентов характеризовали их восприятие 54 видеороликов (22 и 32 в каждом из двух курсов). Вопросы появлялись сразу после просмотра видеоролика. Студентам предлагалось оценить степень своего интереса по отношению к конкретному видеоролику по пятибалльной шкале (пять вариантов ответа от «очень высокий» до «очень низкий»).

Интерес к материалу можно спрогнозировать

Такая методика связана с тем, что с психометрической точки зрения интерес — латентная переменная, не видимая «невооруженным глазом». Измерить такой параметр можно только с помощью индикаторов, которыми в данном исследовании были вопросы, заданные студентам. «Мы измеряли ситуационный интерес студента по отношению к конкретному видео-контенту в данный момент времени, — прокомментировал Аббакумов. — При этом мы учитывали индивидуальный интерес студента (насколько ему интересна дисциплина в целом) как корректирующую переменную в расчете». Это важно для адекватной оценки различий между отдельными видеороликами и между студентами.

Для получения мер интереса исследователи обработали собранные данные в рамках психометрической теории Item Response Theory. В ней латентная переменная понимается через призму двух параметров — параметра студента и параметра контента. Другими словами, интерес представляется как функция от степени интереса студента по отношению к контенту (параметра студента) и степени интересности этого контента (параметра контента). «Интересность контента — это то, как его воспринимают студенты, — подчеркнул исследователь. — А интерес учащегося, в свою очередь, — это то, как конкретный студент воспринимает контент».

Одним из достоинств IRT является ее шкала, на которой одновременно располагаются и студенты, и контент. Шкала центрирована в нуле: студенты со средним уровнем интереса, как и контент со средним уровнем интересности, располагаются в зоне средних значений.

Студенты с высоким уровнем интереса (те, которые часто отвечали «очень высокий интерес») и контент с высоким уровнем интересности (те видеолекции, о которых студенты часто говорили «очень высокий интерес») располагаются в области положительных значений шкалы.

Учащиеся с низким уровнем интереса и малоинтересный контент — в области отрицательных значений. «Определив расположение студента и контента на шкале, мы можем сделать прогноз относительно того, будет ли для данного студента интересным данный контент», — пояснил Аббакумов.

Таким образом, примененный им метод позволяет прогнозировать интерес к курсу, что всегда важно для его разработчиков.

Интересом аудитории можно управлять вручную

Важнейшим результатом исследования стала возможность статистического выявления артефактов, повышающих или снижающих интересность контента. На рисунке 1 изображены значения параметра интересности для 22 видеолекций одного из проанализированных онлайн-курсов. Пик на диаграмме показывает, что наиболее интересной для студентов оказалась лекция под номером 6. «Изучив метаданные курса, мы поняли, что данный видеоматериал был лекцией приглашенного профессора», — отметил эксперт.

Однако, уточнил Аббакумов, в этом исследовании не ставилась задача определить наиболее выигрышные формы представления контента или понять, почему именно лекция данного профессора вызвала столь высокий интерес студентов. «Мы ставили перед собой именно технологическую задачу конструирования метрики интереса с целью ее последующего применения как в исследованиях, так и в ежедневной аналитической работе Дирекции», — сказал исследователь.

Например, сейчас в Дирекции по онлайн обучению готовится серия исследований, которые позволят выявить, как различные формы представления контента сказываются на его интересности. Это важный источник информации для профессоров. Такая информация поможет преподавателям и их командам улучшать и балансировать образовательный контент.

Рисунок 1. Интересность видео-контента (22 лекции).

Источник: исследование Д. Аббакумова и Е. Кулик.

Студенты должны понять применимость знаний

Второй результат исследования состоит в том, что теперь можно «анализировать и интерпретировать опыт взаимодействия студентов с контентом», подчеркнул Аббакумов.

На рисунке 2 приведены параметры интересности 32 видео-лекций другого онлайн-курса. Начальные видео-лекции курса были малоинтересными для студентов, но затем уровень интереса достиг среднего значения (на шкале оно равно 0) и выровнялся.

Изучив параллельно обратную связь студентов, исследователи нашли следующие отзывы: «Вначале курс показался очень скучным, но к третьей неделе все изменилось в лучшую сторону».

«Как и в первой части исследования, мы не можем дать ответ на вопрос, что произошло с контентом во второй части курса и почему произошел рост интереса студентов, — пояснил Аббакумов. — Эти ответы сможет дать команда профессора — автора курса. На уровне гипотезы можно предположить, что изменилась пропорция теории и практики в курсе». Старт мог быть более академичным, и студенты могли не до конца понимать его практическую значимость. Зато с появлением первых практических заданий, начиная со второй недели курса, заинтересованность студентов повысилась.

Рисунок 2. Интересность эпизодов видео-контента (32 лекции): взаимодействие студентов с контентом.

Источник: исследование Д. Аббакумова и Е. Кулик.

Аналогичный анализ может быть произведен и для отдельных групп студентов, отличающихся, например, по полу, возрасту, уровню образования, целям обучения. «Результаты могут также использоваться в совершенствовании образовательного контента, поэтому наши ближайшие планы связаны с более тесной работой с профессорами», — заключил Дмитрий Аббакумов.
IQ

Авторы исследования:

Дмитрий Аббакумов, ведущий исследователь и разработчик Лаборатории адаптивных образовательных технологий НИУ ВШЭ.

Евгения Кулик, руководитель дирекции по онлайн-обучению НИУ ВШЭ.

Автор текста: Соболевская Ольга Вадимовна, 25 апреля, 2016 г.