В рейтинге сайтов вузов Webometrics есть ошибки
Очередной рейтинг Webometrics вызвал недоумение в России. Так, его авторы сделали явно некорректный вывод, что по размеру сайта некоторые технические вузы в сотни раз опережают МГУ. О возможных ошибках при подсчетах и о способах повышения объективности рейтинга в интервью РИА Новости рассказывает главный редактор портала «Открытая экономика» Игорь Стадник.
— Игорь Валентинович, когда впервые появился рейтинг Webometrics? Кто и как его готовит?
— Webometrics, по-русски Вебометрика, появился в 2004 году. Этот рейтинг ранжирует более 20 тысяч вузов во всем мире, основываясь на их присутствии во всемирной Сети. Его готовит лаборатория киберметрии Высшего совета по научным исследованиям Испании, объединяющего 126 испанских центров и институтов. При этом создатель и идеолог рейтинга, глава этой лаборатории Исидро Агийо — единственный ее штатный сотрудник. Техническую обработку данных производят студенты и аспиранты.
В отличие от других мировых рейтингов вузов — например, журналов US News & World Report и The Times Higher Education, страдающих «привязанностью» к английскому языку и дающих преимущества англоязычным университетам, — Webometrics оказался очень нейтральным в смысле языковых перекосов — туда попало наибольшее число вузов России.
— В рейтинге этого года улучшились позиции ряда технических вузов РФ. На ваш взгляд, это обоснованно?
— Здесь есть некоторые сомнения. Позиции двух из них по параметру Size (размер сайта) оказались в мировом рейтинге выше, чем у МГУ — признанного национального лидера. У МГУ — 638-я позиция в мире, у этих двух вузов — 16-я и 22-я. Оба они — столпы нашей науки, но чисто физически не могут равняться с таким огромным организмом, как МГУ. Еще более странно, что один из них по размеру сайта оказался, согласно рейтингу, выше Стэнфордского университета, и оба — много больше, чем сайт крупнейшего в Японии Токийского университета.
В методологии Webometrics указано: данный параметр рассчитывается по показателям Google. Наша проверка по этому поисковику показала, что оба эти вуза в десятки раз уступают Московскому университету.
Это кричащая ошибка в подсчете. На сайте Webometrics содержится призыв обращаться за разъяснениями, указывать на возможные ошибки, авторы заведомо благодарят за такую помощь. Однако коллеги, обратившиеся к Webometrics с просьбой перепроверить данные позиции, получили высокомерный ответ от основателя рейтинга «быть профессиональнее», «еще раз перечитать методику подсчетов». Между тем такая ошибка ставит под сомнение и прочие позиции не только по данным вузам, но по рейтингу в целом.
— Чем объяснить, что Высшая школа экономики выпала из первой тысячи мировых вузов, потеряв более 500 позиций?
— ВШЭ «понесла потери» по двум показателям: число ссылок и число публикаций.
Число ссылок измеряется с помощью Majestic-SEO — анализатора ссылок на научные работы, который не адаптирован под русскоязычный сегмент, так как ориентирован на другие поисковые системы (проверка по бэкам Yahoo и Google). Однако столь низкий результат (2063-е место в мире) по числу ссылок на сайт ВШЭ объяснить невозможно. Элементарная проверка по Google Scholar, которым пользуются составители Webometrics, выдает многократное численное превосходство ссылок на ВШЭ над множеством других вузов, стоящих выше по этому показателю.
Что касается числа публикаций, то, по крайней мере, можно найти объяснение, исходя из собственной методологии Webometrics: в последнем рейтинге доля показателя Scholar была увеличена с 15 до 30%. Этот показатель складывается из данных двух интернет-инструментов: Scimago SIR, собирающего публикации в научных журналах, и Google Scholar (русскоязычный вариант — Google Академия).
Scimago SIR ориентирован на англоязычную библиографию. Так, по его версии, в разделе гуманитарных наук Университет Тасмании (22-й по рейтингу в своей Австралии) намного превосходит университеты Нагои и Осаки (3-й и 4-й университеты Японии). Гуманитарных российских вузов там никогда не было, а естественнонаучные вузы есть: в этой сфере многие авторы либо сразу публикуют свои работы на английском, либо переводят их. Поисковик Google очень популярен у нас, но все же уступает русскоязычному Яндексу по объему находимых ссылок — и неудивительно, что рост веса в рейтинге показателя научных публикаций, измеряемых не самыми адаптированными к русскому языку инструментами, привел к снижению показателя ВШЭ.
— Как повысить объективность Webometrics?
— Как минимум нужно, чтобы составители откликались на недоуменные вопросы. Методология должна быть прозрачной, это поможет вузам, если они захотят скорректировать свое поведение в веб-пространстве, облегчит поиск возможных ошибок. Пока же Webometrics раскрывает только самые общие указания по методологии составления рейтингов.
Может быть, наличие всего одной оплачиваемой ставки у составителей также влияет на точность расчетов. А тем, кто пишет претензии составителям, нужно быть жестче: предъявлять конкретные цифры, прикладывать скриншоты поисковиков, чтобы была ясна обоснованность претензий.
