Рейтинги вузов должны основываться на «больших данных»

В эпоху изобилия университетов рейтинги позволяют определить место вуза среди себе подобных. Ранжирование имеет смысл строить на основе big data — больших данных, которые создают более точную картину качества образования в учебном учреждении. Для оценки прогресса в знаниях студентов стоит, в частности, анализировать массив работ учащихся, а для измерения общей атмосферы в университете пригодится и такой источник данных, как коммуникации сообщества вуза в Facebook (принадлежит компании Meta, признанной в России экстремистской организацией), Twitter и других социальных медиа, считает руководитель Центра по исследованиям инноваций в образовании НИУ ВШЭ Александр Сидоркин.

Разработка новых, более многосторонних рейтингов вузов – это не просто дань моде, некий бум «чартов» и ранжирований, а объективная потребность, осознанная во многих странах. Затраты государства и частного сектора (в том числе семей учащихся) на высшее образование не могут расти бесконечно. К тому же они должны окупаться, иначе частные инвесторы рискуют столкнуться с финансовым коллапсом. Достаточно вспомнить ситуацию в США в 2007-2008 годах, когда образовался «пузырь» (bubble) на рынке недвижимости. Некоторые эксперты говорят о рисках аналогичного «пузыря» на образовательном рынке США, что вполне понятно, так как «плохих» долгов может оказаться немало. Общий объем студенческих долгов в США насчитывает около 1,2 трлн долларов (при том, что весь ВВП страны составляет примерно 17 трлн долларов), и ясно, что далеко не все долги будут погашены.

Однако такие ситуации возможны и в других странах. В России расходы бюджета на образование долгое время шли по восходящей, однако это не может длиться вечно. «Ни один инвестор не может позволить себе не думать о возвращении денег», – отметил Александр Сидоркин. Между тем, качество образования во многих вузах (не только коммерческих, но и финансируемых государством) оставляет желать лучшего, что ставит вопрос об оправданности инвестиций. Тем самым, большинство стейкхолдеров системы высшей школы (инвесторы, потребители – домохозяйства, работодатели – компании) нуждаются в более объективных данных о том, какой именно вуз они «кредитуют».

Пока такого точного измерителя нет, но потребность в нем несомненна, подчеркнул Александр Сидоркин в докладе «Университетские рейтинги: несовершенные, но необходимые», который состоялся на VI международной конференции Российской ассоциации исследователей высшего образования «Переосмысливая студентов: идеи и новые исследовательские подходы» в НИУ ВШЭ (см. также статью Sidorkin A. University Ratings: Imperfect but Indispensable (Университетские рейтинги: несовершенные, но необходимые) // Higher Education in Russia and Beyond № 2 (4). Summer 2015).

Проблема рейтингования вузов рассмотрена в докладе в международном контексте.

Рейтинги грубо измеряют качество образования

Насколько адекватны рейтинги в роли инструмента измерения качества вузовского образования? Пока не слишком. «Отвертка в роли молотка» – так характеризует исследователь КПД рейтингов. Гвозди, в крайнем случае, можно забивать и отверткой, но для большей пользы лучше все же раздобыть молоток. Эту метафору эксперт применил к уже существующим ранжированиям. Иными словами, пора разработать более разумную систему оценки вузов, поскольку у нынешней системы рейтингов слишком много недостатков. Вот наиболее значимые из них: 

• рейтинги не отражают реального качества образования в вузах, хотя именно образование и есть главная миссия университета. В рейтингах, например, акцентируется соотношение студентов и преподавателей. Теоретически, чем группа меньше, тем выше в ней качество обучения. Однако эмпирического подтверждения этим данным пока нет. В рейтингах значима и публикационная активность преподавателей, но достоверных свидетельств тому, что она положительно влияет на учебу студентов, не существует;
• в рейтингах априори выше котируются англоязычные вузы; такие же фавориты гонки – и университеты естественнонаучного профиля (то есть гуманитарные университеты и факультеты изначально не могут быть «отличниками»);
• рейтинги больно бьют по самолюбию университетов. Любому вузу лестно считать себя лучшим;
• любое количественное измерение процесса (особенно социально значимого), согласно известному закону Кэмпбелла (Campbell'slaw), способно исказить саму суть этого процесса.

Система аккредитаций тоже несовершенна

Не слишком много ясности в картину качества образования в вузах вносят и аккредитации. Они представляют собой, скорее, «барьер при входе на рынок, чем настоящий регулятор качества», считает эксперт. Если в элитном высшем образовании аккредитационные режимы еще работали, то в массовом – уже нет. Удачно позиционироваться научились и плохие вузы. Но это не отменяет вопроса, на что, собственно, идут деньги инвесторов, если прироста в знаниях студентов в итоге нет.

Высшее образование не равно росту человеческого капитала

Таким образом, возникают серьезные финансовые вопросы к высшей школе. Особенно с учетом того, что высшее образование стало меньше ассоциироваться с инвестициями в человеческий капитал и больше напоминать обычное потребление – реализацию социального запроса на высшее образование. А там, где излишне стимулируют потребление, возникает малоконструктивное и затратное сверхпотребление (простой пример: в вузы теперь идут даже самые слабые выпускники школ).

В такой ситуации совсем не случайно, что в игру вступил «тяжеловес» – Департамент образования США (USDepartmentofEducation). Он разрабатывает свой рейтинг, который будет сильно отличаться от прежних. Можно считать, что создается новая система координат в вузовском рейтинговании, полагает докладчик.

Подступы к новым оценкам вузов необходимы

В новом рейтинге будут учтены, например, такие важные показатели, как процент студентов из бедных семей (фактор доступности образования в этом вузе), стоимость образования, скидки, размер займов выпускников (фактор финансовой доступности образования), а также процент закончивших этот университет, доля поступивших в магистратуру, цифры отсева, зарплаты вчерашних выпускников и пр. Однако, несмотря на достоинства этого проекта, проблемы в рейтинговании все равно остаются, констатирует Сидоркин.

Первая проблема: прямого измерения результатов обучения в вузе пока нет, а те системы, которые есть (CLA – CollegeLearningAssessment, ISHEL – International Study of Higher Education Learning, AHELO – Assessment of Higher Education Learning), надо улучшить, удешевить и постепенно включить в аккредитационные схемы, считает эксперт.

Кстати, если уж говорить об аккредитациях, то главные их сюжеты (насколько хорошо университет контролирует свой учебный план, как часто он проводит пересмотр и обновление программ, насколько внимательно он следит за рынком труда и интересами работодателей) «могут быть переведены в более простые числовые величины и стать больше похожими на рейтинги». 

Вторая проблема: любой рейтинг будет оценивать не сам университет, а контингент студентов, с которым он работает. Между тем, тут возможны аберрации общей картины. Так, среди студентов из бедных семей в целом выше отсев, у них меньше социальный капитал и пр. Чем выше доля таких студентов, тем ниже показатели и у университета в целом. Поэтому, возможно, «стоит отбросить иллюзию единого понятия «университет» и признать стратификацию рынка», а в итоге создать разные рейтинги для разных уровней, полагает исследователь.

В-третьих, по закону Кэмпбелла, можно научиться обманывать любой рейтинг.

В рейтингах нужно опираться на big data

Манипуляции с отчетами и цифрами характерны для вузов разных стран, отметил Сидоркин. Регулирующие органы должны выработать «иммунитет» против подобных негативных влияний – «постоянно меняющиеся индикаторы». Для большей точности и прозрачности информации нужно также использовать bigdata. Их труднее изменить, подделать.

Значимыми индикаторами могут быть, например, объем и оригинальность полного массива всех текстов, написанных студентами (проверка на плагиат, в том числе), которые позволяют увидеть прогресс в знаниях студентов, а также оценки студентов.

Важен также объем электронных интеракций между учащимися и преподавателями. 

Наконец, индикатором общего климата, эмоционального настроя в вузе могут быть коммуникации университетского сообщества (студентов, преподавателей, администрации) в социальных сетях – Twitter, Facebook (принадлежит компании Meta, признанной в России экстремистской организацией) и пр.

В целом нужно использовать многосторонние измерения, дополненные экспертными оценками. По итогам ранжирований «нужно избегать решений, напрямую предопределенных данными, и приветствовать решения, которые принимают данные во внимание», убежден эксперт. «Полагаю, мы ищем некие разумные способы скомбинировать два несовершенных инструмента – аккредитации и рейтинги – и сделать более точный и функциональный инструмент оценивания вузов», – заключает Александр Сидоркин.

См. также:

Рейтинг вузов должен быть «компасом» для абитуриентов
Университеты должны быть разными 
Вузы приходят в упадок из-за сопротивления переменам
Выпускники элитных университетов зарабатывают больше 
Американские рецепты для российской педагогики

 

Автор текста: Соболевская Ольга Вадимовна, 25 ноября, 2015 г.