Рейтинг вузов должен быть «компасом» для абитуриентов

Рейтинги университетов из способа оценки работы вузов явно трансформируются в инструмент влияния на управление университетами. К стартующей 26 сентября IV Международной конференции «Университетские традиции: ресурс или бремя?», один из организаторов которой – НИУ ВШЭ, был подготовлен доклад Ларисы Тарадиной «Рейтингование университетов»

Будущее – за навигатором по вузам

Поиски наиболее объективной системы ранжирования мировых университетов – один из главных сюжетов конференции 26-28 сентября, которую проводят Российская ассоциация исследователей высшего образования (РАИВО), НИУ ВШЭ и ряд других научно-исследовательских организаций. Замначальника Управления развития международной деятельности НИУ ВШЭ Лариса Тарадина в журнале «Отечественные записки» (№ 4 за 2013 г.) подробно анализирует наиболее авторитетные мировые рейтинги вузов – британские QS и THE, китайский ARWU и UMultirank – общеевропейский проект.

Дискуссии экспертов по поводу этих рейтингов, в основном, касаются трех проблем. Это доверие к рейтингам как к «калькуляторам» успешности вузов, «авторство» рейтингов (кто определил принципы ранжирования – независимые эксперты или стейкхолдеры), а также возможность адекватной оценки вузов с учетом множества культурных и экономических нюансов по странам. На сегодня тренд новых решений видится в области методологии UMultirank, считает Лариса Тарадина.

Преимущества этого самого «молодого» рейтинга – в его многомерности, широких поисковых возможностях, ориентации на пользователя (это навигатор по вузам) и учете «предлагаемых обстоятельств» каждой отдельной страны.

Самые влиятельные европейские рейтинги – QS и THE

Рейтинги, несмотря на дискуссии вокруг них, обретают все больший вес, отмечается в статье. Создатели рейтингов становятся «все более значимыми игроками академического мира, влияющими на формирование международного понимания качества образования, уровня научной деятельности и уровня университета в целом», констатирует Лариса Тарадина.

У наиболее известных мировых рейтингов – QS и THE – один исток: в 2004 году был впервые опубликован рейтинг ведущих университетов мира, разработанный британской консалтинговой компанией Quacquarelli Symonds (QS) совместно с британским еженедельным изданием Times Higher Education (THE). Однако в конце 2009 года альянс распался из-за методологических разногласий. THE стал сотрудничать с компанией Thomson Reuter, а QS, сохранив прежнюю методологию, переключился на компанию Elsevier. Сейчас два рейтинга существенно отличаются, причем уже на уровне входных критериев – требований, предъявляемых к участию в проекте, отмечает Лариса Тарадина.

THE отбирает только те университеты, которые ведут активную исследовательскую деятельность. QS также учитывают этот критерий, однако интенсивная публикационная работа не является обязательным условием для участия в рейтинговании. Лариса Тарадина подчеркивает результаты этих методологических различий: в рейтинге QS в 2012 году были представлены 14 российских университетов, а в рейтинге THE – два.

В номинации «цитируемость научных публикаций» у двух рейтингов есть и сходство, и различия. В обеих системах она рассматривается как оценка авторитетности университета в разных научных сферах и его роли в распространении новых знаний. Однако в THE цитируемость – отдельная категория, а в QS – это индикатор в категории «Качество исследований». Вес показателя также отличается: в QS это 20%, в THE – 30%.

Данные также собираются на основе разных баз: QS опирается на Scopus, THE – на Web of Science.

Оценка от профессора

Принципы формирования состава экспертов в двух системах оценивания также отличаются. В случае рейтинга QS существует многолетняя база академических контактов, к которой прибавляются ежегодно пополняемые предложения вузов – участников рейтингования. В качестве экспертов приглашают ректоров, проректоров, деканов, завкафедрой и пр. Всем экспертам, включенным в базу, предлагается поучаствовать в опросе, на основании которого складывается показатель «Академическая репутация» (это 40% веса рейтинга).

В России в 2012 году на приглашение участвовать в опросе откликнулись 510 экспертов. В итоге страна заняла 25-е место по степени активности экспертов.

База экспертов THE составляется автоматически на основе списка авторов, опубликовавших работы в изданиях, входящих в Web of Science. Ежегодно к опросу приглашаются 150 тыс. случайно выбранных авторов статей, опубликованных в Web of Science.

В опросе отдельно учитываются мнения о научной и образовательной деятельности. Это связано с тем, что, по мнению научного совета рейтинга, оценка научной репутации университета в большей степени отражает академические достижения, чем репутация в образовательной деятельности.

По результатам опроса THE выпускают репутационный рейтинг, который выходит отдельно от основного. Именно к репутационному рейтингу у академического сообщества больше всего вопросов, несмотря на всю тщательность процедуры отбора и опроса экспертов, отмечает автор статьи. «Так, остаются необъяснимыми изменений позиций МГУ, который в 2011 году находился на 33-м месте в мире, в 2012 году вообще не попал в сотню, а в 2013 году оказался на 50-м месте», – конкретизирует Лариса Тарадина.

Финансовые показатели влияют на рейтинг

QS рассматривает взаимодействие университета с компаниями через оценку репутации среди работодателей (проводится опрос руководящих представителей компаний). THE подходит к этому вопросу с точки зрения финансирования компаниями исследований, ведущихся в университете. Составители рейтинга учитывают способность университета привлекать средства за счет трансфера знаний, содействия в реализации инновационных проектов и консалтинговых услуг.

При составлении рейтинга QS учитывается единственный финансовый показатель – средняя стоимость обучения в магистратуре и бакалавриате. Рейтинг THE учитывает «два финансовых показателя, связанных с финансированием исследовательской деятельности, и один – связанный с объемом дохода университета на одного преподавателя», пишет Лариса Тарадина.

Сам факт использования финансовых показателей говорит о разном подходе к анализу деятельности университета. Исследователь поясняет: «С точки зрения теории рейтингования в случае QS речь идет об анализе результатов исследовательской и образовательной деятельности, а в случае THE – анализируется также эффективность университета в вопросах привлечения и расходования финансовых средств».

Методология расчета дорабатывается

QS стабилен в методологии. Создатели THE считают, что нет предела совершенству. Они дорабатывают индикаторы основного рейтинга и «чарта» молодых университетов (100 вузов в возрасте до 50 лет). 

Оба рейтинга используют математический инструментарий, позволяющий привести к общему знаменателю результаты отдельных индикаторов. В QS достижения университета, набравшего максимальное значение по определенному индикатору, принимаются за 100 условных единиц, а достижения остальных вузов рассчитываются пропорционально. Поэтому возможна ситуация, при которой университет показывает более низкие по сравнению с предыдущим годом результаты. Но это, скорее, говорит, не об ухудшении его результатов, а о качественном рывке других университетов, поясняет Лариса Тарадина.

Шанхайский рейтинг: академизм и открытые данные

Самая известная азиатская система ранжирования – Академический рейтинг ведущих университетов мира (Academic Ranking of World Universities, ARWU). Его история началась в 1998 году, хотя первый «чарт» был опубликован лишь в 2003 году. ARWU разрабатывал Шанхайский университет, один из ведущих в КНР (отсюда и бытовое название рейтинга).

Основное отличие ARWU от других рейтингов – в том, что его данные находятся в открытом доступе. Их легко проверить. Это повышает доверие к результатам и избавляет университеты от дополнительных хлопот – ежегодного предоставления статистических данных.

Базой данных рейтинга стали общедоступные источники, фиксирующие научные достижения вузов. Таким образом, ARWU проявляет внимание к университетам, в которых работали обладатели Нобелевской премий и медали Филдса (математическая «нобелевка»), высокоцитируемые исследователи и авторы статей, опубликованных в изданиях «Nature» и «Science».

К недостаткам рейтинга автор работы относит некоторую его однобокость. В ARWU попадают, в основном, университеты с естественнонаучным и техническим профилем. Социальные и экономические науки представлены в меньшей степени.

U-Multirank: все для пользователей

Международный глобальный рейтинг университетов U-Multirank, разработанный консорциумом европейских университетов и исследовательских центров девяти стран по заказу Европейской комиссии в 2009 году, – вузовская шкала нового поколения. Пока это самый молодой рейтинг.

U-Multirank – скорее, поисковая машина, компас по мировым вузам, чем последовательный список университетов, ранжированных по достижениям (См. статью «Новая шкала для вузов»). Таким образом, существенное преимущество U-Multirank заключается в его гибкости, многомерности и удобстве для пользователя. Его инструментарий позволяет всем стейхолдерам самостоятельно выделить значимые для них индикаторы и в результате получить группы университетов, соответствующих их требованиям.

Среди номинаций рейтинга – преподавание и обучение, исследовательская деятельность (девять индикаторов), трансфер знаний (восемь индикаторов), интернационализация (шесть индикаторов) и участие в жизни региона (пять индикаторов). В каждой номинации от четырех до девяти индикаторов.

Лариса Тарадина подчеркивает еще одно важное преимущество новой системы ранжирования. U-Multirank учитывает все многообразие университетов, принимает во внимание культурные, лингвистические, экономические и исторические аспекты образовательных систем. Первый результат рейтинга будет обнародован в начале 2014 года.

Недостатки рейтингов

Задача сравнения вузов и отдельных программ – объективная необходимость, отмечает Лариса Тарадина. Однако рейтинги несовершенны, и поэтому нередко подвергаются критике.

Главный вопрос ко всем рейтингам – насколько они объективны в оценках. И позволяет ли их методология измерить «актуальный потенциал развития университета»? Как отмечает автор работы, часть индикаторов университетов фиксирует лишь их достижения в прошлом (например, число нобелевских лауреатов). Вес индикаторов – также неоднозначная тема. Так, в рейтингах QS и THE близкие индикаторы имеют разный вес.

Наконец, еще один вопрос, добавляет автор статьи: «Насколько понимание академического превосходства, зафиксированное создателями международных рейтингов, соответствует приоритетным задачам, обозначенным в инициативах академического превосходства, реализуемых во многих странах?».

Пока задача сравнения мировых вузов не находит полностью адекватного решения, пишет в заключение Лариса Тарадина. Но тот факт, что тема рейтингов находится под пристальным вниманием экспертов, говорит о том, что «в ближайшее время будет вестись интенсивный поиск новых подходов к сравнению университетов», убеждена исследовательница. Не исключено, что на поле рейтингования вузов появятся новые игроки. 

См. также:

«Новая шкала для вузов»
Рейтинговое проклятие-2
Российские вузы пытаются преодолеть границы

 

Автор текста: Соболевская Ольга Вадимовна, 26 сентября, 2013 г.