• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Оценка науки и образования: когда хвост виляет собакой

В начале сентября в Монреале состоялась 17-я конференция «Science and Technology Indicators», посвященная библиометрическим индикаторам и методам оценки науки и образования. О конференции, о том, что нового происходит в сфере измерений эффективности вузовской деятельности, рассказывает заместитель директора библиотеки ВШЭ Владимир Писляков.

— Владимир, прежде всего, какую роль играют библиометрические технологии в деятельности современных библиотек? И как они используются непосредственно в вашей работе?

— Мы уже давно стали применять базовые наукометрические методы в нашей основной деятельности — при формировании фондов, подборе выписываемых журналов и баз данных, при оценке качества наших коллекций. Например, мы составили список лидирующих журналов по основным профильным дисциплинам НИУ ВШЭ, в котором издания отобраны на основании их цитируемости и расположены в порядке убывания их импакт-факторов, взятых из базы данных Journal Citation Reports. В каждой предметной области (экономика, менеджмент, политология, право, социология, психология) собрано по 20 ведущих изданий, для которых показано, за какие годы в подписке НИУ ВШЭ есть их полные тексты.

Кроме того, в последние годы я участвовал в выполнении нескольких грантов Научного фонда НИУ ВШЭ. Собственно, наш доклад на конференции «Science and Technology Indicators» (STI) также стал результатом двухлетнего проекта, поддержанного Научным фондом.

— Каков статус конференции STI в профессиональном сообществе исследователей науки и образования?

— Среди всемирных наукометрических конференций STI считается второй по значимости, после собрания Международного общества наукометрии и информетрии (ISSI), проводимого раз в два года. Вообще на STI я был второй раз, хотя впервые — с устным докладом. Надо сказать, что здесь всегда собираются практически все ведущие специалисты по наукометрии, известные по книгам и статьям в ведущих изданиях. Уровень конференции пришлось почувствовать и на себе — доклад проходил четырех рецензентов. Честно говоря, я с таким раньше не встречался: в журналах обычно два «рефери», говорят, в некоторых, по медицине, бывает три, но не больше. Поэтому можно сказать, что прозвучавшие доклады хорошо отражают принципы этой науки, самые свежие веяния в подходах к оценке научной деятельности.

— Расскажите подробнее об этих веяниях?

— Если говорить о наиболее четких тенденциях, которые легко было уловить в словах многих докладчиков, то, прежде всего, это дистанцирование от «простых решений» или, скажем так, уход от «метода единого индикатора». Нельзя науку или ее единицу — ученого, лабораторию, институт, страну — измерять неким одним показателем, как бы хорош он ни был. С этим все согласны. Показателей становится все больше — и в теоретических исследованиях, и в базах данных происходит «бум индикаторов», каждый пытается улучшить предшественников. Однако сколь бы совершенна ни была методика, если она дает одну цифру — ее недостаточно для оценки науки или сравнения между собой журналов, авторов, организаций. В одном из докладов цитировался призыв «Let’s keep it complex!», давайте сохраним сложность. Это противодействие тому, что специалистов по библиометрии часто подталкивают к «упрощению», — администраторам науки обычно хочется иметь ясную иерархию по единому шаблону.

Интересно, что такой свежий индикатор, как «индекс Хирша», H-index, зачастую уже не рассматривается всерьез докладчиками. Некоторые авторы даже посмеивались, упоминая его. А ведь в России этот показатель, наоборот, стал стремительно набирать популярность, даже в официальных отчетах и заявках. Получается, мы, как всегда, в противофазе мировым трендам?

Следующий момент, который мне бросился в глаза, — это недоверие к разнообразным рейтингам, в частности университетским. Наукометрическое сообщество чувствует, что этим «рэнкингам» уделяют слишком много внимания на разных уровнях — ученые и преподаватели, руководство вузов, министерства и даже высшие лица государств. Тренд, выросший из простого справочника, набора советов по выбору места обучения за рубежом для китайской молодежи (имеется в виду первый, «Шанхайский» рейтинг университетов. — Ред.), зашел слишком далеко. Повышение места в том или ином международном рейтинге становится уже не свидетельством развития вуза или системы образования, а самоцелью, университетской или даже государственной программой. Это вызывает непонимание и понятную тревогу у специалистов по библиометрическим практикам.

— «Хвост виляет собакой»?

— Именно. Не индикаторы выстраиваются для оценки науки, а наука и образование подстраиваются под индикаторы.

Еще один раздел конференции, на котором прозвучало несколько любопытных докладов, был посвящен так называемым альтернативным метрикам, altmetrics. Это совершенно новые показатели, отражающие популярность научных трудов вне собственно научных документов — в социальных сетях, блогах, форумах, персональных библиографических каталогах. Их пытаются предложить не как замену классическим индикаторам, например цитируемости, а как еще один подход к оцениванию значимости работы. Многие исследователи ищут связи между «традиционными» и «альтернативными» метриками. Например, один из участников конференции сравнивал рейтинг книг по числу покупок на Амазоне с их цитируемостью в Web of Science. Это все очень свежо, технологии рождаются на глазах, и за развитием таких методов интересно следить. Кстати, если не ошибаюсь, в базе Scopus уже стали приводить сведения по показателям altmetrics, но пока с помощью дополнительного «плагина».

— А о чем было ваше выступление?

— Доклад назывался «Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration». Мы с Еленой Шукшиной, она тоже сотрудник нашей библиотеки, исследовали высокоцитируемые статьи, написанные российскими учеными или при участии российских ученых. Это наиболее влиятельные публикации, «научные шедевры», как мы иногда их называем. Мы анализировали структуру взаимодействия с зарубежными коллегами, определяли те российские институты и университеты, которые пишут много «шедевров», строили карту сотрудничества между ними, основанную на совместных высокоцитируемых статьях. К наиболее важным выводам работы можно отнести тот факт, что за исследуемый нами период (с 2000-го по 2009 год) высокоцитируемые статьи были написаны в основном авторами из исследовательских институтов, доля же авторов из вузов ощутимо скромнее. Кроме того, вузы недостаточно взаимодействуют с НИИ при проведении передовых исследований, а еще хуже — сотрудничают друг с другом. За десять лет авторами хотя бы из двух отечественных вузов было написано всего двенадцать высокоцитируемых совместных статей.

Еще один интересный вывод касается включения наших журналов в международные базы данных. У нас нередко сетуют, что российских изданий в том же Web of Science недостаточно. В то же время анализ свидетельствует, что представленность наших журналов, может быть, избыточна, поскольку из ста пятидесяти российских журналов, имеющихся в Web of Science, лишь в десятке из них за десять лет опубликована хотя бы одна высокоцитируемая статья российского ученого.

— В этом году конференция проходила в Монреале, какое впечатление у вас осталось от города?

— Может быть, это мое преломленное видение, но город оставил ощущение места, пропитанного наукой и образованием. Если говорить о наших местах, такое чувство у меня возникало только в «сибирских Афинах», в Томске. В Монреале всюду университеты (их в городе четыре), реклама университетов, студенты... Даже в Старом Порту, а это главное место городского отдыха и развлечений, есть здание «Science Center».

 

Людмила Мезенцева, Новостная служба портала ВШЭ

Вам также может быть интересно:

ВШЭ – единственный вуз из России по экономике и социальным наукам в рейтинге U.S. News Best Global Universities

ВШЭ улучшила результат в общем рейтинге U.S. News Best Global Universities. Сегодня американское рейтинговое агентство опубликовало сразу всю линейку мировых рейтингов 2019 года. ВШЭ впервые вошла в рейтинг по экономике и бизнесу, заняв 235 место и став единственным представителем из России.

Четыре программы ВШЭ вошли в топ-100 рейтинга QS Business Masters

ВШЭ представлена по четырем направлениям в топ-100 рейтинга магистерских программ по бизнес-образованию, который публикуется в третий раз международным агентством QS. ВШЭ показала лучший результат среди российских университетов.

ВШЭ выросла в рейтинге «Три миссии университета»

ВШЭ улучшила результат прошлого года и заняла 121 место в Московском международном рейтинге вузов «Три миссии университета», несмотря на возросшую конкуренцию. В этом году рейтинг публикует список из 1200 вузов, что в 4 раза больше, чем в 2018 году.

ВШЭ вошла в топ-250 лучших вузов мира по трудоустройству выпускников

Высшая школа экономики перешла в более высокий диапазон рейтинга QS по трудоустройству выпускников (201-250), впервые за пять лет обойдя более сильных конкурентов. В этом году количество претендентов на попадание в рейтинг выросло на 15% (758 вузов), и в него вошло 36 новых университетов.

ВШЭ сохранила позиции в рейтинге ARWU

Высшая школа экономики устойчиво входит в Шанхайский институциональный рейтинг (ARWU), который известен строгими критериями отбора. В прошлом году ВШЭ впервые вошла в этот рейтинг и сейчас сохраняет позиции, несмотря на усилившуюся конкуренцию – более 50 новых университетов попали в рейтинг впервые.

1 место

занял англоязычный сайт Высшей школы экономики по результатам исследования сайтов университетов, составленного Российским советом по международным делам (РСМД). Рейтинг оценивал сайты 67 университетов из России.

ВШЭ сохранила свои позиции в топ-40 рейтинга молодых университетов QS

ВШЭ заняла 39 место в рейтинге молодых университетов QS, сохранив свои позиции в топ-40, не смотря на растущую конкуренцию в этой категории университетов.

ВШЭ стала одним из шестидесяти лучших молодых университетов мира в рейтинге ТНЕ

Высшая школа экономики продемонстрировала взрывной рост на 24 позиции и заняла 60 место в рейтинге молодых университетов Times Higher Education. ВШЭ — единственный российский вуз в топ-100 этого рейтинга.

ВШЭ увеличила количество предметов в Шанхайском рейтинге

ВШЭ сохранила свои позиции в топ-100 по социологии и математике​ Шанхайского рейтинга,​ улучшила результат по политическим наукам и осталась в той же группе по экономике. При этом по менеджменту ВШЭ переместилась в следующий диапазон и вошла в новые предметные области — психологию и деловое администрирование. ВШЭ — единственный российский вуз по 4 предметам: социология, менеджмент, деловое администрирование, политические науки, а также лидер в России по экономике и находится в одном диапазоне с МГУ по математике.

Вышка улучшила свои позиции в рейтинге QS

Университет в этом году продвинулся в рейтинге на 21 позицию, заняв 7-е место среди российских вузов. Это произошло благодаря значительному улучшению показателей академической репутации и высокой оценке выпускников работодателями.