• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

‘I Want Russia to Be a Psychometric Power’

‘I Want Russia to Be a Psychometric Power’

© HSE University
Руководитель Центра психометрических исследований в онлайн-образовании ВШЭ Дмитрий Аббакумов защитил в сентябре диссертацию PhD, посвященную психометрике массовых открытых онлайн-курсов, в Университете Лёвена (Бельгия). Как проходила работа над диссертацией – и какое значение она имеет для развития психометрики в России?

С чего все началось

Когда я учился на первом курсе одного из российских университетов (специальность была связана с нефтехимией), там ввели тестовый контроль оценки знаний. Подавляющее большинство студентов, включая меня, тесты завалили и попали в приказы на отчисление. Ректор, проанализировав ситуацию, понял, что проблема не в знаниях, а в тестах, и приказы подписывать не стал. Чтобы в дальнейшем такое не повторялось, он пригласил специалистов из МГУ – поделиться опытом разработки тестов. 

На встречу с ними в числе других студентов позвали меня.

 После серии заваленных тестов я эмоционально доказывал, что бездушные компьютеры не способны оценить знания

Коллеги решили убедить меня в обратном, пригласив на каникулы в Москву – пройти обучение по конструированию тестов. Так в 2006 году, будучи второкурсником, я получил свой первый профессиональный сертификат по конструированию и проведению образовательных тестовых экзаменов от Центра тестирования МГУ. И тогда я понял, что хотел бы углубиться в теорию разработки тестов – психометрику.

Первые шаги

Вскоре после окончания специалитета я узнал об открытии в Вышке магистерской программы «Измерения в психологии и образовании». Поступил на нее по результатам Олимпиады НИУ ВШЭ для студентов и выпускников. К тому времени у меня уже был опыт работы в компании «Роснефть», где я реализовал проект обучения сотрудников автозаправочных комплексов на основе тестовых заданий (и получил за него большую премию на внутрикорпоративном конкурсе).

Один из самых интересных курсов, посвященный теории измерений в психологии и образовании, вела руководитель магистерской программы Юлия Тюменева. А самым практически полезным оказался курс Евгения Куприянова по оценке персонала. Затем писал у Евгения Андреевича курсовую работу, по результатам которой в рубрике «Первые шаги» журнала «Организационная психология» Вышки вышла моя первая статья. Так я окончательно «подсел» на психометрику.

По окончании магистратуры занимался психометрикой как практик, но понял, что мне интересно стать психометриком-ученым.



Почему Лёвен

Психометрические методы в России, конечно же, применяются, но психометрические научные школы, к сожалению, не сложились. В мире наиболее авторитетными считаются психометрические школы нидерландоязычных университетов. В любой книге по психометрике авторы как минимум двух третей глав – профессора из Нидерландов или бельгийской Фландрии. Статья о психометрике в международной энциклопедии по социальным и поведенческим наукам написана профессорами Амстердамского университета Дэнни Борсбомом и Диланом Моленаром, который, кстати, был членом жюри на моей недавней защите PhD.

Таким образом, выбор докторантуры был очевиден. Если учиться и «делать степень», то у лучших и в одном из сильнейших университетов. Я был знаком с профессором Вимом Ван ден Ноортгате из Лёвенскогоуниверситета, основанного в 1425 году, – консультировался с ним при подготовке магистерской диссертации в Вышке. Написал ему, и он согласился принять меня в Бельгии.

1+2+2

Работа над диссертацией PhD заняла четыре года плюс год подготовки к поступлению (языковые экзамены, согласование с профессором проекта диссертации, сбор справок). Мой профессор сразу меня сориентировал, что нужно подготовить описание трех-четырех отдельных исследований. Конечно, я это сделал, но в получившейся диссертации от их замысла не осталось ничего. Наверное, это была просто проверка: как мыслит будущий докторант?

Бельгийские университеты практично подходят к диссертациям. Понятие «кирпича» (единого текста) там отсутствует. Диссертация PhD – это несколько статей по теме, которые для допуска к защите должны быть опубликованы в топовых журналах по теме исследования. Оформление этих статей в книгу с коротким вступлением и заключением – дань традиции.

Первые два года я проработал в библиотеке.

 Даже в современной библиотеке ВШЭ книги по психометрике по пальцам пересчитаешь, в лёвенской библиотеке – пять стеллажей в мой рост

Читаешь – и собственные мысли начинают плодиться. На этом этапе я делал разведочные расчеты, по пятницам встречался с профессором: мы сначала обедали, а потом в течение часа обсуждали диссертацию.

В результате я подготовил midterm project – первую версию будущей диссертации на 20-30 страниц, содержащую подробное описание исследований, включая методологию, сбор и подготовку данных, гипотезы. Защитил midterm project перед комиссией из пяти-шести человек, которая оценила реалистичность реализации всего задуманного в установленный срок и дала рекомендации, как сделать это оптимально. У меня была замечательная комиссия, один из членов – профессор Франсис Туерлинкс, президент Психометрического общества, созданного в 1935 году.

За оставшиеся два года я написал пять статей, две из них опубликованы (одна в журнале №1 по математической психологии в мире Behavior Research Methods), третья принята в печать и появится в престижном Applied Measurement in Education в апреле 2020 года, еще две отправлены в журналы. Выступил на нескольких конференциях, в том числе трижды – на конференциях партнеров Coursera и дважды – на конференциях Международного психометрического общества в Нью-Йорке и Сантьяго.

Защита

Итоговая версия диссертации, представленная на защиту, состояла из шести глав: вводной и пяти глав-статей. Название – Psychometrics of MOOCs: How to Measure Proficiency? («Психометрика массовых открытых онлайн курсов: подходы к измерению подготовленности студентов»). В диссертации разработано несколько способов для измерения уровня и динамики знаний студентов на основе цифровых следов, собираемых платформами онлайн-обучения.

Защита состоялась 13 сентября, в пятницу, в историческом зале Левенского университета. Комиссия, состоящая из председателя, моего руководителя, со-руководителя и трех членов жюри вошла в зал, присутствующие приветствовали ее стоя. О своих результатах я рассказал в течение 20 минут, затем оппоненты – члены жюри – в течение 45 минут задали мне вопросы, причем очень глубокие, заранее подготовленные, поскольку на прочтение диссертации у них было все лето (аналогичная модель защиты в последние два года используется и в Вышке). Затем комиссия удалилась и вскоре вернулась в зал, чтобы огласить решение. Так я получил степень PhD в образовании.

В Левенском университете защиты проводятся публично – присутствовать может любой. Поэтому презентация должна быть максимально понятной, запрещается использовать формулы и сложную профессиональную лексику. Так что вероятность правильного ответа студента я изобразил как поединок двух армрестлеров, один из которых – студент, а другой – задание. Чем сильнее спортсмен (чем лучше подготовлен студент), тем выше вероятность правильного ответа. Члены комиссии смеялись.

Перед защитой я очень нервничал, особенно пытаясь предвосхитить вопросы членов жюри. Но на самой защите чувствовал себя на удивление уверенным, более того – получил от нее удовольствие. Это точно не было часом позора, о котором часто рассказывают российские аспиранты, описывая, кто и как, зачастую не читав текста диссертации, их возил «лицом по столу». Наверное, в этом смысле западная докторантура – более человечная.

Работа

Незадолго до отъезда в Лёвен я начал сотрудничать с Дирекцией по онлайн-обучению Вышки – одного из первых российских университетов, где большое внимание уделяется онлайн-курсам и созданию компьютерной учебной среды. Евгения Кулик предложила мне стать психометриком-аналитиком, выстроить систему измерений в онлайн-курсах Вышки на Coursera, а затем и на Национальной платформе открытого образования. Я согласился, так как мне нравятся компьютерные технологии в обучении и оценке. Самое интересное – работа с уникальными данными, когда каждый след учащегося на платформе записывается в базу.

Последние четыре года я не только готовил диссертацию, но и работал в Вышке – совмещал две полноценные fulltime-позиции. Все результаты моих исследований внедрялись на практике в Вышке. Например, одним из таких проектов стала разработка сервиса психометрической аналитики для онлайн-курсов проекта «Современная цифровая образовательная среда РФ». Университет выиграл грант Минобрнауки России на эту разработку, и в заявке было много предложений и идей из моих еще неопубликованных статей.

 Большую часть работы в России я выполнял удаленно. Мало какой руководитель согласится на такое, но мне с моими повезло

И Евгения Кулик, и Сергей Рощин не возражали. К тому же Вышка оплачивала все поездки на конференции, и я везде четко заявлял об аффилиации с ней. За это время из одного меня в НИУ ВШЭ вырос целый Центр психометрических исследований в онлайн-образовании.

Что дальше

В Лёвене я останусь исследователем – предстоит трехлетний проект, посвященный психометрике и машинному обучению в США, а Вышка будет основным местом работы. У меня большая команда – девять человек, мне много чем хочется поделиться и с каждым коллегой написать по совместной статье.

Цели в России у меня амбициозные. Нидерланды стали психометрической державой за 20 лет – в середине 1990-х здесь появились международные публикационные стратегии, началось активное глобальное сотрудничество – осознанное движение в мир. Мне хотелось бы, чтобы то же самое случилось и с российской психометрикой, как бы пафосно это не звучало. И я постараюсь «раскрутить» эту «движуху».

See also:

HSE Launches Service for Psychometric Analysis of Online Courses

The website ‘Modern Digital Educational Environment in the Russian Federation’ has integrated an automated service for psychometric data analysis, which helps to improve the quality of educational content and the effectiveness of studying by analyzing the ‘digital footprints’ of students enroled in online courses.

Russian Psychometrics at an International Level

Dmitry Abbakumov is the first researcher from a Russian university to present their work at the Psychometric Society conference, founded in 1935. He told the HSE new service about his study of online learning and why Russia has not played a major role on the international psychometrics scene – until now.

HSE Offers Psychometric Analysis of Online Courses

The HSE Centre for Psychometrics in eLearning is currently developing techniques, tools, and automated services for psychometric analysis of online courses as part of the project ‘Modern Digital Educational Environment in the Russian Federation’. In this respect, HSE was the winner of a competition held by the Russian Ministry of Education and will receive a grant for developing analytical approaches for e-learning.