Тотальность индексов и научная истина

Один из важных показателей успешности ученого — индексы цитируемости. В Вышке есть специальная премия «Золотая ссылка», которую учредили ВШЭ и издательство Elsevier для исследователей, чьи публикации, по данным Scopus, относятся к высокоцитируемым. В день российской науки IQ.HSE рассказывает о том, зачем нужны количественные показатели в науке и как опубликовать высокоцитируемую статью.

В 2017 году победителем «Золотой ссылки» стала статья «How general is trust in “most people”? Solving the radius of trust problem», написанная Кристианом Вельцелем, Яном Делхаем и Кеннетом Ньютоном.

Статья посвящена теме генерализованного (обобщенного) доверия, которое уже в течение трех десятилетий находится в фокусе внимания разных социальных наук. Это доверие, которое испытывает человек по отношению к незнакомцам либо людям, отличающимся от него по социальной принадлежности. Долгое время оно измерялось с помощью вопроса: «Большинству людей можно доверять или следует быть осторожным в отношениях с ними?». В своей статье Кристиан Вельцель показал, что этот вопрос нельзя использовать на кросс-культурных выборках, так как в разных странах под большинством понимают разные общности. Он предложил использовать другой вопрос: «Доверяете ли вы людям, которых вы встретили впервые». Именно этот вопрос сегодня и используется для оценки генерализованного доверия в рамках мирового исследования ценностей (World Value Survey).

Ответственное применение библиометрии

Директор Наукометрического центра ВШЭ Иван Стерлигов говорит о неравномерности распределения цитирования в журналах: даже в лучших изданиях одни статьи цитируются в сотни раз чаще других. При расчете наукометрических показателей до сих пор чаще используются средние, а не медианные значения. Поэтому выходит, что именно немногочисленные высокоцитируемые работы и являются фундаментом как высоких импакт-факторов журналов, так и высоких позиций университетов в рейтингах, учитывающих цитируемость (например, QS и THE, на которые ориентируется проект 5-100). Да и в целом большое число цитирований, как правило, означает, что публикация вовлечена в научный оборот и благодаря ей возникает новое научное знание.

— Из-за широкого распространения наукометрии в управлении наукой, и, что более важно, в повседневной научной жизни самих ученых, оценивающих друг друга и планирующих научную карьеру, понятие «индекса цитируемости» сильно проблематизировалось, — поясняет Стерлигов. — Причем в основном — и не только в нашей стране — этот индекс и его производные (например, индекс Хирша) чаще используют неправильно. Поэтому, разрабатывая с коллегами из Elsevier методику отбора победителей, мы постарались максимально следовать современным рекомендациям по ответственному применению библиометрии.

Жюри премии, во-первых, рассматривало статьи за достаточно большой временной период (в 2016 году это были публикации 2010 года, в 2017 — публикации 2011 года). Это позволило уравнять шансы для областей с разной скоростью цитирования. Например, в биомедицине средний возраст процитированных статей составляет 1-3 года, а в математике или гуманитарных науках зачастую превышает 10 лет, и за 2-3 года в этих дисциплинах цитирования не успевают накопиться.

Во-вторых, была проведена нормализация цитирований по предметной области. В каждой науке своя длина списка литературы, при этом разнится также и процент проиндексированных в базе позиций из такого списка.

В результате сравнивать по абсолютным значениям цитирований статьи по разным областям нельзя даже после того, как пройдет достаточно времени. Поэтому цитирования статьи нормируются на средний показатель цитируемости у публикаций в той же области за тот же год. Это делается с помощью системы Scival, доступной, кстати, всем сотрудникам Вышки.

В-третьих, использовался определенный барьер по проценту самоцитирований — ссылок, сделанных авторами в последующих работах на свои же работы, а также не рассматривались публикации, где ученые НИУ ВШЭ не были основными авторами или были в явном меньшинстве.

Сформированный с использованием данных критериев шорт-лист затем был передан экспертам – крупным ученым и редакторам международных журналов. Они и выбирали победителя, принимая во внимание и содержание работы, и качество текста.

По словам Директора по ключевым клиентам Elsevier S&T в России Евгения Крюкова, статья «How general is trust in "most people"? Solving the radius of trust problem» стала лидером конкурса, продемонстрировав не только высокие абсолютные, но и относительные показатели цитирования (FWCI, или взвешенный по области показатель цитирований).

Как написать высокоцитируемую статью

Фуад Алескеров,
ординарный профессор ВШЭ, математик

За последние годы объем и количество научных исследований, даже по сравнению с тем, что было 20-30 лет назад, выросли чрезвычайно. И если раньше научное сообщество знало, кто есть кто, то сегодня это становится все более затруднительным. Поэтому для управления наукой (например, для выделения финансирования) возникает необходимость использования количественных показателей, в частности, индексов цитирования, т.е. оценки того, насколько работы того или иного ученого упоминаются коллегами. Российские университеты (особенно из проекта 5-100, в который входит и Вышка) также используют такого рода количественные показатели.

Как написать статью, которая будет много цитироваться? Во-первых, надо заниматься проблемами, которые интересны и востребованы научным сообществом. С другой стороны, очень важное значение имеют статьи постановочного характера, в которых ставятся и обсуждаются новые проблемы.

Следующий важный фактор – где опубликована работа. Естественно, большее внимание привлекают статьи, опубликованные в высокорейтинговых журналах.

Наконец, важное значение имеет принадлежность известному коллективу и университету (научной лаборатории). На мой взгляд, для молодых ученых принадлежность хорошему коллективу имеет принципиальное значение, потому что именно там ставятся и решаются серьезные и интересные задачи.

Закончу этот короткий рассказ реальным эпизодом из жизни. В 1985 году в Институте проблем управления РАН на ученом совете обсуждалось, какими должны быть критерии эффективности научной деятельности. Я тогда предложил взвешивать статью и умножать эту величину на расстояние, куда она посылается (по месту расположения журнала). Обосновывал я это тем, что в физике именно эта величина называется работой. В то время у меня приняли статью объемом в 50 с лишним страниц в один из топовых журналов Information Sciences, редакция которого располагалась в США, так что я был заинтересован в таком показателе. Члены совета посмеялись, но предложение, увы, отвергли. Так и пропадают великие идеи.

Кристиан Вельцель,
главный научный сотрудник Лаборатории сравнительных социальных исследований ВШЭ, социолог

Конечно, для того чтобы печататься в ведущих журналах, нужен очень хороший академический английский. И молодым исследователям нужно постоянно работать над ним. Нужно понимать, что сегодня актуально и востребовано, чем заинтересовать людей, организующих конференции, на какие вопросы пытаются ответить ведущие исследователи.

Кроме того, есть определённые правила написания научного текста. Это особый жанр, которому также нужно учиться. Например, научная статья имеет очень четкую структуру. Я написал специальный гайд для работы со статьями, который  мы используем с коллегами в лаборатории ЛССИ.

Процесс рецензирования научной статьи занимает много времени, и я бы посоветовал молодым исследователям, чьи статьи находятся на рецензировании в журналах, использовать и другие каналы, чтобы представить свои работы академическому сообществу и получить обратную связь от  коллег. Например, можно опубликовать препринт, а также разместить статью на открытых научных платформах, таких как  Research Gate или Academia.

Значение количественных наукометрических показателей будет только расти. Но, на мой взгляд, важнее работать над тем, чтобы тебя больше цитировали, чем над тем, чтобы попасть в журнал категории А.

Олег Воскобойников,
ординарный профессор ВШЭ, историк-медиевист

Гуманитарные науки дольше и ожесточеннее других сопротивляются внедрению наукометрии в жизнь ученых и в академическую рутину. Это объяснимо хотя бы тем, что они больше о прошлом, чем о будущем, о сохранении и актуализации наследия, а не о космических скоростях. К этому специфическому консерватизму прибавляется привязанность любого гуманитария к родной для него языковой среде, потому что форма выражения в статье или книге высокого уровня неразрывно связана с содержанием. Трудно представить себе крупное открытие в гуманитарной области, о котором тебе рассказывают «в двух словах». Тем не менее, любой здравомыслящий гуманитарий отдает себе отчет в том, что мы живем в англо-саксонском мире, преимущественно же — в pax americana, нравится нам это или нет.

Подавляющее большинство т.н. высокорейтинговых журналов англоязычные. Следовательно, всякий гуманитарий, претендующий на популярность своего дела в мире (иными словами цитируемость, импакт-фактор), обязан именно овладеть языком Голсуорси, а не просто хорошо понимать его. Но на этом языке он затем должен сказать что-то такое, чего кроме него не скажет никто. Тогда высокорейтинговый журнал сам найдет вас. Сногсшибательные открытия редки во всех науках, в гуманитарных — и подавно. Найти точку равновесия между погоней за «оскаром», уверенностью в сносшибательности своего открытия, верностью самому себе и поколениям ученых и мыслителей, писавших до тебя, – всё это очень непросто. Может ли гуманитарий быть уверен, что его дело живет потому, что его процитировала тысяча человек, а не сто? Какова эта тысяча и как именно процитировала? Восхищенно? Или скептично? И где? Древний философ был рад вывести из заблуждения одну потерянную душу, даже если над ним смеется толпа (таков величайший еврейский философ Маймонид).

Мой скепсис не должен никого обмануть: прятаться в те башни из слоновой кости, которые мы привычно называем высокими именами наших почтенных, веками развивавшихся дисциплин, нам тоже уже не дано. Нас должны услышать, чтобы… Чтобы не было войны. И это тоже наш долг, как бы высокопарно это не звучало. Единственный рецепт, под которым я бы подписался без оглядки, в самой простой форме был сформулирован недавно ушедшим из жизни великим русским лингвистом Андреем Зализняком в Солженицынской лекции 2007 года: «Истина существует, и целью науки является ее поиск».
IQ

Автор текста: Мезенцева Людмила Викторовна, 8 февраля, 2018 г.