По каким критериям можно определить, что научной информации можно доверять?
Если говорить об информации, которую излагают для обывателей в новостях науки, то по-хорошему нужно смотреть, есть ли ссылка на первоисточник, пройти по ней и ознакомиться с тем, откуда взята информация. Некоторые новостные издания гонятся за сенсационностью, и, даже если статья опубликована в авторитетном научном журнале, выводы из нее могут преподнести не вполне корректно — что называется, раздуть из мухи слона. Без подготовки, конечно, сложно определить, достаточно авторитетное это издание или нет. Большинство знают Cell или the Lancet, но с журналами среднего уровня дело обстоит хуже. Источник как минимум должен присутствовать в ведущих научных индексах.
На что стоит смотреть в первую очередь?
Под базами научной информации, или научными индексами, обычно имеют в виду Scopus и Web of Science, иногда к ним в России относят Google Scholar и Российский индекс научного цитирования (РИНЦ). Работая с различными базами данных, нужно понимать, как индексируемые в них источники информации туда попадают и, соответственно, насколько достоверными они являются. Этот факт необходимо учитывать, особенно молодым ученым.
Источники, которые индексируются в Scopus, проходят экспертную оценку на предмет качества: учитываются особенности рецензирования, авторский или редакционный состав. Рецензирование является важным инструментом проверки качества научных работ еще с XVII века, с тех пор ничего лучше придумать не удалось, хотя попытки были. Рецензирование обеспечивает сертификацию результатов исследования, то есть мы понимаем, что в статье изложено не просто мнение автора, а результат, проверенный рядом независимых экспертов. Во всех современных научных журналах этот процесс документируется, всегда можно восстановить, кто и что написал, есть защита от предвзятости, хотя ошибки, безусловно, полностью исключать нельзя.
К сожалению, метрикам, которые строятся на основе баз данных, иногда уделяют слишком много внимания или следуют им, не учитывая всех их особенностей. Наукометрические показатели зависят от объемов базы данных, и для одного и того же документа, проиндексированного в нескольких базах, они могут быть разными. Например, уровень цитирований какой-либо статьи согласно Scopus может быть выше, чем в Web of Science, так как в первом индексируется больше источников. Поэтому, если мы выносим оценки на основании какого-либо показателя (по общему количеству цитирований, публикаций, индексу Хирша), важно учитывать, из какой базы взяты данные. Если работы ученого проиндексированы в четырех разных базах, то у него может быть четыре разных значения индекса Хирша.
Как его вычисляют?
Индекс Хирша можно посчитать для любого массива статей — допустим, для публикаций отдельного автора, группы авторов, целого университета. Формальное определение следующее: индекс Хирша некоего массива публикаций будет равен h, если найдется h из его N статей, каждая из которых цитируется h раз, тогда как все остальные (N-h) — не более чем h раз. Для практического расчета мы можем, например, отсортировать статьи по убыванию их цитируемости, и, как только порядковый номер статьи станет больше, чем количество ссылок на нее, мы возвращаемся на один номер назад — и вот он, наш индекс Хирша. Именно поэтому этот показатель так популярен: его просто рассчитать, он целочисленный, никогда не убывает и довольно устойчив.
Но здесь тоже есть ряд моментов, которые нужно учитывать. Индекс Хирша может быть одинаковым для двух ученых с разной производительностью. Если у какого-либо автора индекс равен 10, мы не знаем, десять статей он написал или 210. Индекс не учитывает возраст и опыт, поэтому у маститого ученого с большим количеством публикаций будет фора перед молодым, пусть и талантливым. Кроме того, он не показывает, какими усилиями получены цитирования: автор мог написать высоко цитируемую статью единолично, а мог быть в числе полутора тысячи соавторов. К тому же индекс Хирша зависит от традиций цитирования в научной области и, скорее всего, для математиков или гуманитариев он будет ниже, чем для их коллег из области, например, молекулярной биологии.
А какие есть механизмы для выравнивания результатов?
Существуют метрики, которые позволяют на уровне отдельных статей или журнальных показателей рассчитывать показатели цитируемости с учетом научной области. В частности, в Scopus мы используем Field-Weighted Citation Impact при оценке статей, метрики SNIP (Source Normalized Impact per Paper) для оценки журналов. Каждый показатель цитирования мы нормируем на средний результат для данной научной области, и благодаря этому можно относительно корректно сравнивать публикации или журналы из разных областей.
Я правильно понимаю, что в некоторых научных областях конференции и личные встречи важнее, чем общение через научные публикации?
В инженерных науках или, к примеру, Computer Science, новые оригинальные результаты зачастую озвучиваются именно на конференциях. По результатам проведения конференций готовятся такие же научно рецензируемые публикации — conference proceedings. Они никуда не исчезают после окончания мероприятий, и лучшие из них индексируются в базах наравне с журнальными и книжными публикациями, обзорами. В Scopus мы учитываем подобные особенности отдельных научных областей и стараемся индексировать именно те научно-рецензируемые источники, которые значимы для данной области.
Какие тренды есть в современной наукометрии?
Одно из интересных направлений, в котором развивается наукометрия — это включение в анализ метрик, которые непосредственно с цитированием не связаны. Читатели не обязательно цитируют статью, они могут прочитать ее, сохранить, переслать коллегам — любое из этих действий так или иначе показывает их заинтересованность. Поэтому сейчас мы начинаем учитывать, например, сколько раз о публикации написали в новостях, добавили в персональную библиотеку в Mendeley, сколько раз упомянули на Facebook. Конечно, эти индикаторы гораздо проще «накрутить», поэтому мы даем их только в ознакомительном порядке. Тем не менее, они помогают читателю получить более точное представление об общественной значимости публикации. Особенно это важно для статей из гуманитарных областей, где показатели цитируемости традиционно ниже, чем в естественных науках.
Появляются и новые метрики, основанные на цитировании. Они нужны для того, чтобы точнее передать картину происходящего в науке и научных журналах. Например, классические показатели цитируемости журнала могут ничего не сообщать о вероятности цитирования нашей статьи в нем, даже в случае с авторитетными изданиями. Как правило, в большинстве хороших узкоспециализированных журналов статьи, опубликованные три-четыре года назад, цитируются с вероятностью 90−95%. Но, если мы возьмем, к примеру, журнал Nature с очень высокими показателями, выяснится, что примерно на 25% публикаций в нем никто не ссылается. И это устойчивая тенденция, которая прослеживается на протяжении многих лет.
Какие региональные особенности, связанные с публикационной активностью, есть в России?
Органы, регламентирующие науку в России, в частности, Минобрнауки, внедряют показатели, согласно которым определенная часть результатов научных работ должна быть опубликована в журналах, индексирующихся в международных базах. Авторы, задумываясь о публикациях, теперь чаще выбирают такие издания, и мы видим достаточно неплохой рост. Если за 2013 год в Scopus было опубликовано 45 тысяч российских публикаций, то в 2015 году — уже более 60 тысяч. Более 400 российских журналов сейчас индексируются в Scopus. Всего за два года был сделан серьезный рывок, существенный вклад в который внесли ведущие университеты и вузы-участники Проекта 5−100. Если говорить о распределении публикаций, то существенная доля пока приходится на классические области, физику, химию, материаловедение, а, например, медицина — область номер один в мире по количеству научных публикаций — у нас пока что отстает.
Еще одна интересная особенность заключается в том, что российские авторы публикуются в небольшом количестве журналов. Если в какой-либо крупной европейской стране ученые выбирают в среднем 6 из 22 тысяч журналов, индексируемых Scopus, то в России — всего полторы тысячи.
На что еще вы посоветуете обращать внимание?
Я хочу указать на необходимость ориентироваться не только на наукометрические показатели, но и на экспертные отзывы. Чтобы получить более-менее точную картину, для любой оценки стоит использовать по крайней мере два показателя. Если вы сравниваете вклад двух ученых, то нужно смотреть не только, например, на индекс Хирша, но и на общее количество публикаций, на время, в течение которого ученый ведет исследования, делать поправку на научную область. Ученых некорректно сравнивать, к примеру, по среднему импакт-фактору журнала, в котором они публикуются. В том, что у журнала определенной рейтинг, прямой заслуги автора нет, и опубликовавшись в высокорейтинговом журнале, автор не может гарантировать большего количества ссылок на свою статью. При сравнении опирайтесь на показатели из одной базы, а не из разных, учитывайте самоцитирование, если для вас оно имеет значение. Если такая практика будет использоваться повсеместно, то и уровень доверия к наукометрии будет больше.
