• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Оценка науки и образования: когда хвост виляет собакой

В начале сентября в Монреале состоялась 17-я конференция «Science and Technology Indicators», посвященная библиометрическим индикаторам и методам оценки науки и образования. О конференции, о том, что нового происходит в сфере измерений эффективности вузовской деятельности, рассказывает заместитель директора библиотеки ВШЭ Владимир Писляков.

— Владимир, прежде всего, какую роль играют библиометрические технологии в деятельности современных библиотек? И как они используются непосредственно в вашей работе?

— Мы уже давно стали применять базовые наукометрические методы в нашей основной деятельности — при формировании фондов, подборе выписываемых журналов и баз данных, при оценке качества наших коллекций. Например, мы составили список лидирующих журналов по основным профильным дисциплинам НИУ ВШЭ, в котором издания отобраны на основании их цитируемости и расположены в порядке убывания их импакт-факторов, взятых из базы данных Journal Citation Reports. В каждой предметной области (экономика, менеджмент, политология, право, социология, психология) собрано по 20 ведущих изданий, для которых показано, за какие годы в подписке НИУ ВШЭ есть их полные тексты.

Кроме того, в последние годы я участвовал в выполнении нескольких грантов Научного фонда НИУ ВШЭ. Собственно, наш доклад на конференции «Science and Technology Indicators» (STI) также стал результатом двухлетнего проекта, поддержанного Научным фондом.

— Каков статус конференции STI в профессиональном сообществе исследователей науки и образования?

— Среди всемирных наукометрических конференций STI считается второй по значимости, после собрания Международного общества наукометрии и информетрии (ISSI), проводимого раз в два года. Вообще на STI я был второй раз, хотя впервые — с устным докладом. Надо сказать, что здесь всегда собираются практически все ведущие специалисты по наукометрии, известные по книгам и статьям в ведущих изданиях. Уровень конференции пришлось почувствовать и на себе — доклад проходил четырех рецензентов. Честно говоря, я с таким раньше не встречался: в журналах обычно два «рефери», говорят, в некоторых, по медицине, бывает три, но не больше. Поэтому можно сказать, что прозвучавшие доклады хорошо отражают принципы этой науки, самые свежие веяния в подходах к оценке научной деятельности.

— Расскажите подробнее об этих веяниях?

— Если говорить о наиболее четких тенденциях, которые легко было уловить в словах многих докладчиков, то, прежде всего, это дистанцирование от «простых решений» или, скажем так, уход от «метода единого индикатора». Нельзя науку или ее единицу — ученого, лабораторию, институт, страну — измерять неким одним показателем, как бы хорош он ни был. С этим все согласны. Показателей становится все больше — и в теоретических исследованиях, и в базах данных происходит «бум индикаторов», каждый пытается улучшить предшественников. Однако сколь бы совершенна ни была методика, если она дает одну цифру — ее недостаточно для оценки науки или сравнения между собой журналов, авторов, организаций. В одном из докладов цитировался призыв «Let’s keep it complex!», давайте сохраним сложность. Это противодействие тому, что специалистов по библиометрии часто подталкивают к «упрощению», — администраторам науки обычно хочется иметь ясную иерархию по единому шаблону.

Интересно, что такой свежий индикатор, как «индекс Хирша», H-index, зачастую уже не рассматривается всерьез докладчиками. Некоторые авторы даже посмеивались, упоминая его. А ведь в России этот показатель, наоборот, стал стремительно набирать популярность, даже в официальных отчетах и заявках. Получается, мы, как всегда, в противофазе мировым трендам?

Следующий момент, который мне бросился в глаза, — это недоверие к разнообразным рейтингам, в частности университетским. Наукометрическое сообщество чувствует, что этим «рэнкингам» уделяют слишком много внимания на разных уровнях — ученые и преподаватели, руководство вузов, министерства и даже высшие лица государств. Тренд, выросший из простого справочника, набора советов по выбору места обучения за рубежом для китайской молодежи (имеется в виду первый, «Шанхайский» рейтинг университетов. — Ред.), зашел слишком далеко. Повышение места в том или ином международном рейтинге становится уже не свидетельством развития вуза или системы образования, а самоцелью, университетской или даже государственной программой. Это вызывает непонимание и понятную тревогу у специалистов по библиометрическим практикам.

— «Хвост виляет собакой»?

— Именно. Не индикаторы выстраиваются для оценки науки, а наука и образование подстраиваются под индикаторы.

Еще один раздел конференции, на котором прозвучало несколько любопытных докладов, был посвящен так называемым альтернативным метрикам, altmetrics. Это совершенно новые показатели, отражающие популярность научных трудов вне собственно научных документов — в социальных сетях, блогах, форумах, персональных библиографических каталогах. Их пытаются предложить не как замену классическим индикаторам, например цитируемости, а как еще один подход к оцениванию значимости работы. Многие исследователи ищут связи между «традиционными» и «альтернативными» метриками. Например, один из участников конференции сравнивал рейтинг книг по числу покупок на Амазоне с их цитируемостью в Web of Science. Это все очень свежо, технологии рождаются на глазах, и за развитием таких методов интересно следить. Кстати, если не ошибаюсь, в базе Scopus уже стали приводить сведения по показателям altmetrics, но пока с помощью дополнительного «плагина».

— А о чем было ваше выступление?

— Доклад назывался «Measuring Excellence in Russia: Highly Cited Papers, Leading Institutions, Patterns of National and International Collaboration». Мы с Еленой Шукшиной, она тоже сотрудник нашей библиотеки, исследовали высокоцитируемые статьи, написанные российскими учеными или при участии российских ученых. Это наиболее влиятельные публикации, «научные шедевры», как мы иногда их называем. Мы анализировали структуру взаимодействия с зарубежными коллегами, определяли те российские институты и университеты, которые пишут много «шедевров», строили карту сотрудничества между ними, основанную на совместных высокоцитируемых статьях. К наиболее важным выводам работы можно отнести тот факт, что за исследуемый нами период (с 2000-го по 2009 год) высокоцитируемые статьи были написаны в основном авторами из исследовательских институтов, доля же авторов из вузов ощутимо скромнее. Кроме того, вузы недостаточно взаимодействуют с НИИ при проведении передовых исследований, а еще хуже — сотрудничают друг с другом. За десять лет авторами хотя бы из двух отечественных вузов было написано всего двенадцать высокоцитируемых совместных статей.

Еще один интересный вывод касается включения наших журналов в международные базы данных. У нас нередко сетуют, что российских изданий в том же Web of Science недостаточно. В то же время анализ свидетельствует, что представленность наших журналов, может быть, избыточна, поскольку из ста пятидесяти российских журналов, имеющихся в Web of Science, лишь в десятке из них за десять лет опубликована хотя бы одна высокоцитируемая статья российского ученого.

— В этом году конференция проходила в Монреале, какое впечатление у вас осталось от города?

— Может быть, это мое преломленное видение, но город оставил ощущение места, пропитанного наукой и образованием. Если говорить о наших местах, такое чувство у меня возникало только в «сибирских Афинах», в Томске. В Монреале всюду университеты (их в городе четыре), реклама университетов, студенты... Даже в Старом Порту, а это главное место городского отдыха и развлечений, есть здание «Science Center».

 

Людмила Мезенцева, Новостная служба портала ВШЭ

Вам также может быть интересно:

Вышка улучшила свои позиции в рейтинге QS

Университет в этом году продвинулся в рейтинге на 21 позицию, заняв 7-е место среди российских вузов. Это произошло благодаря значительному улучшению показателей академической репутации и высокой оценке выпускников работодателями.

Репутация российских вузов в институциональном рейтинге QS стабильно растет благодаря Проекту 5-100

За последние 5 лет российские вузы показали заметную динамику по вхождению в топ-500 институционального рейтинга QS, увеличив свое представительство в полтора раза (с 9 до 16) в основном благодаря участникам Проекта 5-100. Этот показатель является одним из основных ориентиров федерального проекта «Молодые профессионалы».

ВШЭ в лидерах рейтингов RAEX и Интерфакс

ВШЭ вошла в ежегодный рейтинг лучших вузов России агентства RAEX (РАЭКС-Аналитика) и устойчиво занимает в нем 5-е место, а по показателю востребованности выпускников находится на 3-м месте. Также в X ежегодном Национальном рейтинге университетов группы «Интерфакс» ВШЭ поднялась на 1 позицию и заняла 4–е место среди российских вузов.

ВШЭ стала лидером в 7 предметах рейтинга научной продуктивности вузов по версии АЦ «Эксперт»

Высшая школа экономики вошла в десять предметных областей и шесть более узких предметных срезов рейтинга аналитического центра «Эксперт». При этом в пяти областях и двух срезах университет занял 1 место.

В Высшей школе экономики установлен суперкомпьютер

Мощности суперкомпьютера, находящегося в МИЭМ, позволят университету выйти на новый уровень исследований в области глубинного обучения и математического моделирования.  Вычислительный кластер занял 6-е место в апрельском рейтинге «Топ-50 суперкомпьютеров России».

ВШЭ — лидер по количеству предметов рейтинга QS среди вузов Проекта 5-100

Предметные рейтинги QS демонстрируют новые успехи российских вузов в глобальном продвижении, где ВШЭ занимает лидирующие позиции. ВШЭ вошла в 16 предметных и 3 отраслевых рейтингах QS, увеличив их количество и улучшив показатели почти по всем предметам по сравнению с прошлым годом. В топ-100 ВШЭ представлена 3 предметами: «Социология», «Политика и международные отношения», «Экономика и эконометрика» и отраслью «Социальные науки и менеджмент». По этим же предметам ВШЭ является безусловным лидером среди российских вузов.

3 место

среди российских вузов заняла Высшая школа экономики в рейтинге Webometrics.

Программа двойных дипломов «Стратегическое управление логистикой» признана одной из лучших в Германии

Эта магистерская программа двойных дипломов (партнер — Университет прикладных наук BBW) получила 10 баллов из 11 в рейтинге магистерских программ, составляемых немецким Центром развития высшего образования, в категории «Международная подготовка кадров».

2 место

заняла Высшая школа экономики в рейтинге вузов, готовящих госслужащих. Первый пилотный рейтинг российских университетов, которые реализуют программы государственного и муниципального управления, составлен международной информационной группой «Интерфакс».

ВШЭ выросла на 10 позиций в рейтинге THE Emerging Economies Rankings

Высшая школа экономики заняла 22 место в рейтинге THE Emerging Economies Rankings, улучшив свой прошлогодний результат. Всего в рейтинге представлено 35 российских университетов, из них 18 вузов Проекта 5-100.