• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

«Хочу, чтобы Россия стала психометрической державой»

«Хочу, чтобы Россия стала психометрической державой»

@Высшая школа экономики
Руководитель Центра психометрических исследований в онлайн-образовании ВШЭ Дмитрий Аббакумов защитил в сентябре диссертацию PhD, посвященную психометрике массовых открытых онлайн-курсов, в Университете Лёвена (Бельгия). Как проходила работа над диссертацией – и какое значение она имеет для развития психометрики в России?

С чего все началось

Когда я учился на первом курсе одного из российских университетов (специальность была связана с нефтехимией), там ввели тестовый контроль оценки знаний. Подавляющее большинство студентов, включая меня, тесты завалили и попали в приказы на отчисление. Ректор, проанализировав ситуацию, понял, что проблема не в знаниях, а в тестах, и приказы подписывать не стал. Чтобы в дальнейшем такое не повторялось, он пригласил специалистов из МГУ – поделиться опытом разработки тестов. 

На встречу с ними в числе других студентов позвали меня.

 После серии заваленных тестов я эмоционально доказывал, что бездушные компьютеры не способны оценить знания

Коллеги решили убедить меня в обратном, пригласив на каникулы в Москву – пройти обучение по конструированию тестов. Так в 2006 году, будучи второкурсником, я получил свой первый профессиональный сертификат по конструированию и проведению образовательных тестовых экзаменов от Центра тестирования МГУ. И тогда я понял, что хотел бы углубиться в теорию разработки тестов – психометрику.

Первые шаги

Вскоре после окончания специалитета я узнал об открытии в Вышке магистерской программы «Измерения в психологии и образовании». Поступил на нее по результатам Олимпиады НИУ ВШЭ для студентов и выпускников. К тому времени у меня уже был опыт работы в компании «Роснефть», где я реализовал проект обучения сотрудников автозаправочных комплексов на основе тестовых заданий (и получил за него большую премию на внутрикорпоративном конкурсе).

Один из самых интересных курсов, посвященный теории измерений в психологии и образовании, вела руководитель магистерской программы Юлия Тюменева. А самым практически полезным оказался курс Евгения Куприянова по оценке персонала. Затем писал у Евгения Андреевича курсовую работу, по результатам которой в рубрике «Первые шаги» журнала «Организационная психология» Вышки вышла моя первая статья. Так я окончательно «подсел» на психометрику.

По окончании магистратуры занимался психометрикой как практик, но понял, что мне интересно стать психометриком-ученым.



Почему Лёвен

Психометрические методы в России, конечно же, применяются, но психометрические научные школы, к сожалению, не сложились. В мире наиболее авторитетными считаются психометрические школы нидерландоязычных университетов. В любой книге по психометрике авторы как минимум двух третей глав – профессора из Нидерландов или бельгийской Фландрии. Статья о психометрике в международной энциклопедии по социальным и поведенческим наукам написана профессорами Амстердамского университета Дэнни Борсбомом и Диланом Моленаром, который, кстати, был членом жюри на моей недавней защите PhD.

Таким образом, выбор докторантуры был очевиден. Если учиться и «делать степень», то у лучших и в одном из сильнейших университетов. Я был знаком с профессором Вимом Ван ден Ноортгате из Лёвенскогоуниверситета, основанного в 1425 году, – консультировался с ним при подготовке магистерской диссертации в Вышке. Написал ему, и он согласился принять меня в Бельгии.

1+2+2

Работа над диссертацией PhD заняла четыре года плюс год подготовки к поступлению (языковые экзамены, согласование с профессором проекта диссертации, сбор справок). Мой профессор сразу меня сориентировал, что нужно подготовить описание трех-четырех отдельных исследований. Конечно, я это сделал, но в получившейся диссертации от их замысла не осталось ничего. Наверное, это была просто проверка: как мыслит будущий докторант?

Бельгийские университеты практично подходят к диссертациям. Понятие «кирпича» (единого текста) там отсутствует. Диссертация PhD – это несколько статей по теме, которые для допуска к защите должны быть опубликованы в топовых журналах по теме исследования. Оформление этих статей в книгу с коротким вступлением и заключением – дань традиции.

Первые два года я проработал в библиотеке.

 Даже в современной библиотеке ВШЭ книги по психометрике по пальцам пересчитаешь, в лёвенской библиотеке – пять стеллажей в мой рост

Читаешь – и собственные мысли начинают плодиться. На этом этапе я делал разведочные расчеты, по пятницам встречался с профессором: мы сначала обедали, а потом в течение часа обсуждали диссертацию.

В результате я подготовил midterm project – первую версию будущей диссертации на 20-30 страниц, содержащую подробное описание исследований, включая методологию, сбор и подготовку данных, гипотезы. Защитил midterm project перед комиссией из пяти-шести человек, которая оценила реалистичность реализации всего задуманного в установленный срок и дала рекомендации, как сделать это оптимально. У меня была замечательная комиссия, один из членов – профессор Франсис Туерлинкс, президент Психометрического общества, созданного в 1935 году.

За оставшиеся два года я написал пять статей, две из них опубликованы (одна в журнале №1 по математической психологии в мире Behavior Research Methods), третья принята в печать и появится в престижном Applied Measurement in Education в апреле 2020 года, еще две отправлены в журналы. Выступил на нескольких конференциях, в том числе трижды – на конференциях партнеров Coursera и дважды – на конференциях Международного психометрического общества в Нью-Йорке и Сантьяго.

Защита

Итоговая версия диссертации, представленная на защиту, состояла из шести глав: вводной и пяти глав-статей. Название – Psychometrics of MOOCs: How to Measure Proficiency? («Психометрика массовых открытых онлайн курсов: подходы к измерению подготовленности студентов»). В диссертации разработано несколько способов для измерения уровня и динамики знаний студентов на основе цифровых следов, собираемых платформами онлайн-обучения.

Защита состоялась 13 сентября, в пятницу, в историческом зале Левенского университета. Комиссия, состоящая из председателя, моего руководителя, со-руководителя и трех членов жюри вошла в зал, присутствующие приветствовали ее стоя. О своих результатах я рассказал в течение 20 минут, затем оппоненты – члены жюри – в течение 45 минут задали мне вопросы, причем очень глубокие, заранее подготовленные, поскольку на прочтение диссертации у них было все лето (аналогичная модель защиты в последние два года используется и в Вышке). Затем комиссия удалилась и вскоре вернулась в зал, чтобы огласить решение. Так я получил степень PhD в образовании.

В Лёвенском университете защиты проводятся публично – присутствовать может любой. Поэтому презентация должна быть максимально понятной, запрещается использовать формулы и сложную профессиональную лексику. Так что вероятность правильного ответа студента я изобразил как поединок двух армрестлеров, один из которых – студент, а другой – задание. Чем сильнее спортсмен (чем лучше подготовлен студент), тем выше вероятность правильного ответа. Члены комиссии смеялись.

Перед защитой я очень нервничал, особенно пытаясь предвосхитить вопросы членов жюри. Но на самой защите чувствовал себя на удивление уверенным, более того – получил от нее удовольствие. Это точно не было часом позора, о котором часто рассказывают российские аспиранты, описывая, кто и как, зачастую не читав текста диссертации, их возил «лицом по столу». Наверное, в этом смысле западная докторантура – более человечная.

Работа

Незадолго до отъезда в Лёвен я начал сотрудничать с Дирекцией по онлайн-обучению Вышки – одного из первых российских университетов, где большое внимание уделяется онлайн-курсам и созданию компьютерной учебной среды. Евгения Кулик предложила мне стать психометриком-аналитиком, выстроить систему измерений в онлайн-курсах Вышки на Coursera, а затем и на Национальной платформе открытого образования. Я согласился, так как мне нравятся компьютерные технологии в обучении и оценке. Самое интересное – работа с уникальными данными, когда каждый след учащегося на платформе записывается в базу.

Последние четыре года я не только готовил диссертацию, но и работал в Вышке – совмещал две полноценные fulltime-позиции. Все результаты моих исследований внедрялись на практике в Вышке. Например, одним из таких проектов стала разработка сервиса психометрической аналитики для онлайн-курсов проекта «Современная цифровая образовательная среда РФ». Университет выиграл грант Минобрнауки России на эту разработку, и в заявке было много предложений и идей из моих еще неопубликованных статей.

 Большую часть работы в России я выполнял удаленно. Мало какой руководитель согласится на такое, но мне с моими повезло

И Евгения Кулик, и Сергей Рощин не возражали. К тому же Вышка оплачивала все поездки на конференции, и я везде четко заявлял об аффилиации с ней. За это время из одного меня в НИУ ВШЭ вырос целый Центр психометрических исследований в онлайн-образовании.

Что дальше

В Лёвене я останусь исследователем – предстоит трехлетний проект, посвященный психометрике и машинному обучению в США, а Вышка будет основным местом работы. У меня большая команда – девять человек, мне много чем хочется поделиться и с каждым коллегой написать по совместной статье.

Цели в России у меня амбициозные. Нидерланды стали психометрической державой за 20 лет – в середине 1990-х здесь появились международные публикационные стратегии, началось активное глобальное сотрудничество – осознанное движение в мир. Мне хотелось бы, чтобы то же самое случилось и с российской психометрикой, как бы пафосно это не звучало. И я постараюсь «раскрутить» эту «движуху».

Вам также может быть интересно:

Первая в России онлайн-магистратура на английском языке откроется в Вышке

В этом учебном году в НИУ ВШЭ стартует набор на магистерскую программу Master of Data Science по направлению «Прикладная математика и информатика», реализуемую полностью в онлайн-формате на глобальной образовательной платформе Coursera. Прием документов продлится до 6 декабря, занятия начнутся в феврале. После успешного окончания программы выдается диплом магистра НИУ ВШЭ.

ВШЭ запустила сервис психометрической аналитики онлайн-курсов

На портале «Современная цифровая образовательная среда в РФ» начал работу автоматизированный сервис психометрической аналитики, который по «цифровому следу» слушателей онлайн-курсов помогает повысить качество образовательного контента и эффективность обучения.

Российская психометрика вышла на международный уровень

Дмитрий Аббакумов стал первым в истории исследователем из российского университета, выступившим с докладом на конференции Психометрического общества, основанного в 1935 году. О своем исследовании онлайн-обучения и о том, почему Россия так долго не была представлена в мировой психометрической науке, он рассказал порталу ВШЭ.

НИУ ВШЭ займется разработкой психометрической аналитики онлайн-курсов

Центр психометрических исследований НИУ ВШЭ разработает методику, инструментарий и автоматизированный сервис психометрической аналитики онлайн-курсов в рамках приоритетного проекта «Современная цифровая образовательная среда в Российской Федерации». НИУ ВШЭ стал победителем конкурса Минобрнауки РФ и получит грант на развитие аналитики онлайн-обучения.

Надежный тест — это целая наука. Где и как готовят психометриков

Как измерить креативность и критическое мышление — навыки, которые требуются от современного человека? Разрабатывать тесты для измерения подобных «нематериальных» вещей будут уметь выпускники программы «Измерения в психологии и образовании». О том, чему еще учат на программе, рассказывает ее академический руководитель Елена Карданова.

Онлайн-курсы НИУ ВШЭ на Coursera будут доступны и после обновления платформы

30 июня крупнейшая в мире платформа Coursera переходит на новый сайт, что повлечет за собой сокращение числа доступных курсов. Речь идет только об устаревших курсах, которые сами университеты-партнеры платформы решили не продлевать. Слушателям, находящимся сейчас в процессе прохождения таких курсов, было рекомендовано скачать оставшиеся лекции и продолжить самостоятельное изучение.

Слушатели курсов ВШЭ на платформе «Открытое образование» смогут получать подтвержденные сертификаты

ВШЭ начнет выдавать подтвержденные сертификаты по всем курсам, которые стартовали на платформе «Открытое образование» в первом полугодии 2016 года.

ВШЭ совместно с Калифорнийским университетом в Сан-Диего запустила специализацию на Coursera

Высшая школа экономики совместно с Калифорнийским университетом в Сан-Диего (позиции в международных рейтингах: ARWU — 14-е место, THE — 41, QS — 59) запустила новую специализацию Data Structures and Algorithms на платформе Coursera. Специализация представлена на английском языке и состоит из пяти взаимосвязанных курсов. Зарегистрироваться на новый поток можно до 7 марта.

Вышка запустила новый формат курсов на Coursera

С этого года на Coursera появился новый формат практикоориентированных курсов — специализации. Каждая специализация состоит из нескольких отдельных коротких курсов, которые дают знания для решения конкретных практических задач. В феврале стартовали сразу две специализации ВШЭ — «Финансовые инструменты для частного инвестора» и «Корпоративные финансы и стоимость компании». Новая группа для обучения на каждом из курсов набирается минимум раз в месяц.

Вышка на Coursera: секреты успеха лучших онлайн-курсов

Преподаватели Высшей школы экономики продолжают создавать учебные курсы на международной платформе бесплатного онлайн-образования Coursera. В свежем, 38-м, номере «Академической среды» (приложение к бюллетеню ВШЭ «Окна роста») секретами успеха делятся авторы наиболее популярных программ: Дмитрий Дагаев (он подготовил курс «Теория игр»), Игорь Ким («Экономика для неэкономистов») и Борис Демешев («Эконометрика»).