Многомерное ранжирование для управления высшей школой

18 декабря состоялся семинар серии «Актуальные исследования и разработки в области образования», организованный Институтом образования НИУ ВШЭ. С докладом «Результаты апробации методологии многомерного ранжирования. Возможности методологии как инструмента стратегического управления университетом» выступила директор Института международных организаций и международного сотрудничества НИУ ВШЭ Марина Ларионова.

Марина Ларионова также является руководителем международных программ Национального фонда подготовки кадров (НФПК). Методология, которую представила докладчик, была результатом почти годовой работы группы исследователей в рамках проекта НФПК по заказу Министерства образования и науки РФ. Причем задача, поставленная перед экспертами, была не в том, чтобы составить очередной громкий рейтинг российских вузов, а в том, чтобы выработать и апробировать качественную методологию ранжирования на основе лучшего российского и зарубежного опыта.

Учесть российское разнообразие

Первый этап работы исследователей был связан с поиском и выбором наиболее удачных национальных и глобальных методологий. Всего в анализе участвовали 19 известных зарубежных и 10 российских методологий разных типов: одномерного ранжирования (более известного нам как рейтингование, например Shanghai, US News, Guardian, Leiden), многомерного ранжирования (U-multirank, CHE University) и классификаций (U-map, Carnegie). В основу создаваемой методологии легли критерии качества ранжирования международной экспертной группы (IREG): надежность и релевантность показателей, надежность сбора данных, транспарентность рейтинга и интерактивность. На этом этапе было показано, что, несмотря на большую ресурсоемкость и проблемы со сбором данных, многомерное ранжирование имеет ряд преимуществ перед другими методологиями — его все больше используют на глобальном рынке, оно более надежное и всеобъемлющее; наконец, именно оно позволяет учесть все многообразие и разношерстность российского образования.

Чтобы новая методология позволяла всесторонне оценить специфику российского образования и в перспективе способствовала бы его интеграции в глобальное образовательное пространство, исследователи выделили пять основополагающих направлений оценки в деятельности вузов: наука и исследования, образование и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом. В сферу интересов проекта попали вузы как государственные, так и частные: классические, инженерные, гуманитарные, экономические и медицинские. При этом, подчеркнула Марина Ларионова, вузы выступили не просто как объекты исследования, но и как полноценные партнеры проекта, которые участвовали в тестировании и апробации методики, а также снабдили исследователей полезными комментариями и замечаниями.

В итоге исследователи выделили целое поле индикаторов, которые так или иначе отражают направления деятельности вузов. Так, научно-исследовательскую деятельность вуза можно оценить по таким показателям, как доля расходов на научные исследования, доля профессорско-преподавательского состава с научной степенью, количество цитирования в РИНЦ, Scopus, Web of science и иже с ними, доля доходов от научных исследований и количество российских исследовательских грантов.

Обучение и преподавание можно оценить по доле программ, на которые были приняты студенты с высоким баллом ЕГЭ, по доле студентов, получивших престижные стипендии, доле магистров, закончивших бакалавриат в других вузах, доле защитившихся аспирантов, доле преподавателей — получателей престижных премий и грантов, по затратам на оборудование и другим показателям.

Международная деятельность характеризуется долей иностранных студентов в общей численности обучающихся, суммой международных исследовательских грантов, долей студентов, прошедших обучение за рубежом и другое.

Трансфер знаний теоретически можно подсчитать через долю доходов из внебюджетных источников, доходы от продажи объектов интеллектуальной собственности, количество специалистов, прошедших повышение квалификации.

Наконец, взаимодействие с регионом оценивается по доли доходов вуза из региональных источников, количеству договоров на исследования, заключенных с региональными партнерами, проценту выпускников, которые решают остаться и работать в своем регионе.
Очевидно, что индикаторов получилось много, часть из них весьма спорные, и, по словам Марины Ларионовой, их еще можно будет обсуждать, совершенствовать или сокращать.

Вузы лидирующие и догоняющие

В апробации методологии приняли участие 103 вуза, в основном классические и инженерно-технические университеты. Увы, без проблем тут не обошлось. Апробация пришлась на летний период, а также как раз на то время, когда вузы начали сбор данных и подготовку отчетов для министерства. Естественно руководителям вузов было не до апробации, и часть параметров, заложенных в методике, оказалась неоцененной. А ведь отсутствующие данные влияют в конечном итоге на места вузов в ранжировании… Чтобы свести такие «нулевые» индикаторы к минимуму, разработчики пытались сами добыть информацию, где могли, но, естественно, только из надежных источников, также работали с каждым вузом индивидуально и выверяли отсутствующие показатели отдельно.

По результатам апробации методом статистической группировки данных по интервальным значениям были выделены три группы вузов: «лидеры» (7 национальных исследовательских университетов), «конкуренты» (23 вузов) и «догоняющие» (73 вуза).

Оказалось, что группа лидеров вовсе не идеальна с точки зрения оценки всех пяти направлений деятельности. Так, самый-самый лучший вуз с замечательными показателями научно-исследовательской деятельности не дотягивает до максимальных показателей по обучению и преподаванию, международной деятельности и трансферу знаний. Иными словами, если в вузе много преподавателей со степенью кандидата наук и цитированием в РИНЦ, это еще не значит, что туда пойдут учиться студенты с высоким баллом ЕГЭ, международные гранты посыплются как из рога изобилия, а доходы от продажи интеллектуальной собственности обеспечат всем светлое будущее.
В группу конкурирующих вузов попали учебные заведения с чуть менее впечатляющими свершениями. Но один вуз из этой группы по уровню обучения и преподавания опередил даже лидеров.

Что касается группы догоняющих вузов, то их отрыв от лидеров довольно значителен по оценкам всех направлений деятельности.
Увы, о каких вузах идет речь — исследователи пока не сообщают… «Извините, что мы не называем конкретные вузы. У нас все еще идет этап апробации, и пока мы предоставляем полные профили только самим вузам-участникам, не открывая их ни широкой общественности, ни Минобрнауки», — отметила Марина Ларионова.

Оценивая распределение вузов отдельно по каждому направлению, разработчики сделали вывод, что по «науке» всего 3 лидера, а 90 вузов попадают под категорию догоняющих. В «обучении и преподавании» лидеров уже 6, среди них 5 НИУ и 1 федеральный университет, а вузов-«конкурентов» у них 32. Лидеров по «международной деятельности» снова всего три, в том числе один НИУ, а 93 вузам предстоит еще совершенствоваться в этой сфере. По «трансферу знаний» лидеров 5, и почти поровну распределились «конкуренты» и «догоняющие». Во «взаимодействии с регионом» преуспело 6 вузов-лидеров, 35 вузов потенциально могут побороться с ними за лидерство, и еще 62 дышат им в спину.

Ни один из 103 вузов-участников не является лидером по всем пяти направлениям…

Путь к сердцу мировых рейтингов

Если же ранжировать вузы не по 5 направлениям деятельности, а по 13 индикаторам глобальных рейтингов (международные индексы цитирования, доходы от научной деятельности, количество иностранных преподавателей и другое), то ситуация с нашими вузами будет выглядеть еще менее приглядно. В группу лидеров попадут всего 4 вуза, и, кроме первого, почти у всех ста вузов самое слабое место — это количество зарубежных публикаций и цитирований в Scopus и Web of science.

Таким образом, если хотя бы перед некоторыми нашими вузами стоит задача вхождения в мировые рейтинги, без существенного прорыва в публикационной активности на это рассчитывать не приходится…

Подводя итоги своего выступления, Марина Ларионова отметила, что созданная методология позволяет раскрыть качественные характеристики выделенных групп университетов, сравнить их между собой, провести качественный анализ и выработать рекомендации как для отдельных вузов, так и для повышения потенциала всей вузовской системы в целом.

По словам дискуссанта, ректора Российского нового университета (РосНоУ) Владимира Зернова, присутствие в мировых рейтингах является показателем конкурентоспособности вуза. И с этой точки зрения наши вузы неконкурентоспособны. Что не удивительно, ведь главным критерием, на который обращают внимание глобальные рейтинги, является генерация знаний. «А чем известна наша научная школа в мире? Остался, наверное, только теорминимум Ландау. Но ему уже лет 80… — сказал ректор РосНоУ, — и еще, мне кажется, что при расчете каких бы то ни было рейтингов книга, изданная за рубежом, должна иметь больший статистический вес, чем 100 иностранный профессоров, в очередной раз приезжающих читать курсы менеджмента».

Рейтинг как благо

Второй дискуссант, Ирина Карелина, директор программы развития НИУ ВШЭ, заметила, что тема рейтингов стала активно обсуждаться в университетском сообществе лишь последние два-три года. А до 2009 года, если говорить о вузах-лидерах, только один из национальных исследовательских университетов страны озаботился тем, чтобы прописать в своей программе развития цель вхождения в глобальные рейтинги. Это была Вышка. «Если позиция в рейтингах — это только дань моде, то может и не стоит на них ориентироваться. Но если в рейтинге заложен определенный смысл, и мы его понимаем, то нам необходимо выстроить свою работу так, чтобы добиться лидерских позиций», — отметила дискуссант.

По мнению Алексея Чаплыгина, директора отдела образовательного рейтинга «Интерфакса», выступавшего третьим дискуссантом, авторам исследования удалось решить поставленную задачу — создать методологию многомерного ранжирования как некий прототип, на основе которого можно будет строить управление вузом и всей образовательной системой страны. При этом сам Национальный фонд подготовки кадров мог бы выступить нашим российским аналогом IREG, который гармонизирует всю систему отношению по государственной и общественной оценке вузов с соблюдением интересов всех целевых категорий.

Итоги семинара этой серии, последнего в уходящем году, подвел Анатолий Каспржак, директор Центра развития лидерства в образовании ВШЭ. По его словам, с рейтингами, как с дорогим шампанским, — пока кисло, но уж очень хочется. А поскольку любой рейтинг — это политический инструмент, определяющий развитие в той или иной области, хорошо, когда рейтингов много, и ни один из них не является главным. И в этом смысле представленная методика многомерного ранжирования вузов — еще одно благо.

 

Алина Иванова, специально для новостной службы портала ВШЭ