• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

В Москве завершилась первая международная олимпиада по анализу данных

4 апреля стали известны имена победителей Первой международной олимпиады по анализу данных IDAO, которую организовали факультет компьютерных наук Высшей школы экономики, компания Яндекс и Harbour.Space University (Барселона) при поддержке Сбербанка. Лучшей стала команда «Magic City» из Санкт-Петербурга, второе место занял участник из Украины, бронзу завоевала команда «Apex» из Республики Беларусь.

В финале IDAO приняли участие 36 команд из России, Украины, Беларуси, Азербайджана, Израиля, Индии и Перу. Соревнования проходили в два этапа: в заочном онлайн-квалификационном раунде, который проходил с 15 января по 11 февраля 2018 года, участники должны были решить задачу, предложенную компанией Яндекс. Второй, очный тур прошёл 2–3 апреля в Москве, в центральном офисе компании Яндекс. Финалисты в течение 36 часов работали над заданием от Сбербанка.

«Профессия Data Scientist сегодня — одна из самых востребованных на рынке, и очень важно, чтобы квалифицированных специалистов в этой области появлялось как можно больше. Все, что связано с аналитикой данных, определяет будущее бизнеса и экономики в целом, поэтому компании, которые хотят идти в ногу со временем, ищут этих специалистов, — говорит куратор Школы анализа данных Яндекса, доцент факультета компьютерных наук НИУ ВШЭ Станислав Федотов. — В программировании уже сложилось некоторое количество глобальных мероприятий, которые делают его популярным и помогают определять лучших из лучших  — например, Международная студенческая олимпиада по программированию ACM/ICPC (International Collegiate Programming Contest). В сфере Data Science эта ниша только заполняется и в нашей стране, да и в мире в целом. Мы хотим, чтобы в Data Science эту функцию выполняла олимпиада IDAO, и с ее помощью стараемся показать молодым специалистам, какая это интересная сфера».

Как рассказал Станислав Федотов, одна из важных особенностей этой олимпиады заключается в том, что задачи, которые предлагаются участникам, в большей степени, чем обычно, приближены к «боевым». Например, на отборочном, онлайновом, этапе участники решали задачу для сервиса Яндекс.Маркет. Когда пользователь заходит на этот сервис с конкретной целью, система подбирает ему набор вариантов, которые соответствуют его запросу — например, если человек ищет чайник, то Яндекс.Маркет предлагает ему множество вариантов чайников в разных ценовых категориях и с различным набором опций. Но гораздо интереснее научить систему предсказывать запросы, то есть предлагать не то, что человек ищет в данный момент, а то, что он может захотеть в будущем, но о чем еще даже не подозревает. «Участникам была предложена история поисковых запросов условных пользователей, и они должны были предсказать такие категории товаров, которые эти люди за последние три недели не смотрели, но могут захотеть через неделю. Им надо было из всего количества пользователей выбрать пять процентов, для каждого выделить пять категорий товаров и «угадать» хотя бы одну из них», — объясняет Станислав Федотов.

Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч

В финале 36 команд (изначально отборочный тур прошла 41 команда, но не все смогли приехать в Москву) в течение 36 часов работали над задачей, предложенной командой data scientists Сбербанка.

Как рассказывает управляющий директор по исследованиям и разработкам в Сбербанке Андрей Черток, участники должны были разобраться с реальной проблемой, над которой недавно работала команда Сбербанка и с которой сталкиваются все банки. Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч. Проблема заключается в том, что инкассация денежных средств далеко не всегда и везде проводится эффективно — в результате в каких-то банкоматах деньги в течение долгого времени просто лежат, в то время как в других слишком быстро заканчиваются.

«Потери банка от «пролёживания» лишних денег в банкоматах исчисляются миллиардами рублей в год, — подчеркивает Андрей Черток. — Для решения таких задач наша команда все чаще применяет аналитику данных. В частности, эту проблему с оптимизацией развоза наличности и прогнозированием, сколько захотят снять денег в данном конкретном банкомате, нам удалось успешно решить с помощью методов машинного обучения. Мы предложили участникам олимпиады мини-версию того, что мы сделали в Сбербанке». Финалисты работали с реальными данными размещения и загрузки банкоматов Сбербанка. В ходе работы команды столкнулись с теми же проблемами, с которыми приходится иметь дело специалистам по анализу данных банка в реальной жизни. Например, с тем, что данные надо чистить, что в данных, на основе которых строятся прогнозы, есть так называемые «выбросы», связанные с более интенсивной выгрузкой наличности в день выплаты зарплаты или пенсии. «Все участники за короткий период времени достаточно успешно смогли построить модели, которые можно внедрять на практике, и получили опыт решения реальной банковской задачи, — считает Андрей Черток. — Мне кажется, в этой олимпиаде нам удалось соединить дух соревнования и прикладную значимость».

Практическая применимость и эффективность были важными требованиями к прототипам, над которыми работали финалисты. Как отмечает первый заместитель декана ФКН НИУ ВШЭ Тамара Вознесенская, главная цель любого моделирования в этой сфере — это точность предсказания. Однако специалисты, которые занимаются анализом данных с научной точки зрения, далеко не всегда заботятся о таких параметрах, как время работы или затрачиваемые ресурсы, и в результате их модели не получается применять в реальной жизни. «Сами алгоритмы могут строить качественные модели, но делать это или слишком долго, или требовать слишком большой объем памяти, и их нельзя, например, встраивать в мобильные приложения» — уточняет Тамара Вознесенская. Поэтому все участники должны были работать по принципу «Эффективность так же важна, как и качество».

Организаторы надеются, что по мере развития олимпиады в команды будут объединяться специалисты и по анализу данных (любители соревнований Kaggle), и по спортивному программированию.

Как рассказали победители олимпиады, участники команды из Санкт-Петербургского государственного университета «Magic City», основой их решения стала чистка данных, о которой им рассказывали аналитики из Сбербанка. «Первые наши решения на тестировании не всегда выдавали стабильный результат, их «шатало». В результате мы решили убрать из них весь «мусор», отследить все аномалии и выделить только самую необходимую информацию, поскольку данных, с которыми нам предлагалось работать, было не очень много, и качество играло большую роль, — объясняют Артем Плоткин, Роман Пьянков и Сергей Арефьев. — А дальше мы уже работали с готовым алгоритмом XGBoost, смотрели, что в нем надо поменять, а что добавить».

На втором месте — участник из Украины, постоянный участник Kaggle, Александр Макеев: «Kaggle-соревнование идет три месяца, полгода, год, команды не лимитированы в числе игроков, они могут делать сумасшедшие модели, которые могут считаться неделями на супермощных ресурсах, они занимают первые места, но без этих всех ресурсов занять первое место невозможно. А еще такие решения просто не получится применить в обычной жизни из-за требований к ресурсам».

Как рассказали бронзовые призеры из команды Гродненского государственного университета им. Янки Купалы (Республика Беларусь) «Apex» Евгений Демидович, Константин Млынарчик и Сергей Петров, эта олимпиада запомнится им тем, что финальный этап проходил всего два дня в режиме оффлайн, а не несколько месяцев в онлайне, как это обычно бывает, а также нестандартными заданиями. «Эти задачи были не только из сферы машинного обучения, нам пришлось и самим что-то придумывать, то есть побыть в роли data engineers, — отметил Евгений Демидович. — В задаче данных было не очень много, поэтому мы сами расширили данные, старались помочь модели найти решение, придумать такое представление данных, на которых модель не ошибется. Мы использовали алгоритм Random forest. Взяли 20 моделей, натренировали их на данных, которые мы сами нарезали, и эти 20 моделей потом усреднили, чтобы получить более стабильное решение».

Победители IDAO получили ценные призы, победившей команде вручили ноутбуки. Кроме того, факультет компьютерных наук НИУ ВШЭ учтет заслуги победителей при отборе на свои магистерские программы, а Harbour.Space University предоставит победителям стипендии, которые полностью покроют стоимость обучения на их образовательных программах.

Организаторы планируют проводить Международную олимпиаду по анализу данных регулярно. Как отмечает доцент ФКН НИУ ВШЭ Ростислав Яворский, это соревнование очень актуально, так как во всем мире к сфере Data Science уже сформировался большой интерес, но индустрия еще долго будет испытывать нехватку квалифицированных специалистов: «У нашей олимпиады несколько задач — заинтересовать и привлечь как можно больше молодых специалистов в эту сферу, дать им мотивацию самосовершенствоваться, внести свой вклад в формирование профессионального сообщества. Мне кажется, у нас получился хороший первый шаг, и мы очень надеемся на продолжение».  

Вам также может быть интересно:

Годовой отчет: как учатся на совместной магистерской программе ВШЭ и Сбербанка

В 2017 году в Вышке открылась магистерская программа «Финансовые технологии и анализ данных», которая реализуется совместно факультетом компьютерных наук ВШЭ и Сбербанком. О том, чем заняться технарю в банковской сфере, рассказал студент программы Денис Шведов.

Всех студентов бакалавриата Вышки будут учить анализу данных. Что это значит?

В Высшей школе экономики завершился первый год проекта Data Culture. Проект подразумевает, что все студенты университета должны в той или иной степени овладеть анализом данных, потому что сегодня знание методов анализа данных становится базовой компетенцией для специалистов практически во всех областях. В первый год в проект включились более половины программ университета. С нового учебного года Data Culture охватит абсолютно всех. Разбираемся, что это такое и какая студентам от него польза.

НИУ ВШЭ стал ассоциированным членом коллаборации LHCb в ЦЕРН

Высшая школа экономики вошла в коллаборацию LHCb на Большом адронном коллайдере в Европейском центре ядерных исследований. Группа НИУ ВШЭ будет состоять из сотрудников научно-учебной лаборатории методов анализа больших данных (LAMBDA). Это позволит исследователям ВШЭ получить полный доступ к данным коллаборации и участвовать в различных проектах.

Количество вузов-организаторов и направлений олимпиады «Я — профессионал» увеличится вдвое

7 июня в Екатеринбурге состоялось пленарное заседание выездного совещания вузов-организаторов олимпиады студентов «Я — профессионал». Одним из ключевых вопросов повестки стало масштабирование проекта. В частности, количество вузов-организаторов в 2018/2019 учебном году по сравнению с первой олимпиадой увеличится с 10 до 20, а количество направлений — с 27 до 52.

В НИУ ВШЭ открывается базовая кафедра компании SAS

Работа базовой кафедры SAS на факультете компьютерных наук ВШЭ поможет усилить программы подготовки специалистов в области анализа данных и привнести накопленную компанией бизнес-экспертизу в учебный процесс. Высшая школа экономики стала первым российским вузом, где появилась базовая кафедра SAS.

187

дипломов победителей и призеров олимпиады «Высшая проба» получили учащиеся Лицея НИУ ВШЭ. Всего победителями и призерами олимпиады стали 137 лицеистов. Из них шесть человек получили награды сразу по четырем предметам, пять человек — по трем предметам, 22 человека — по двум.

Команда военной кафедры ВШЭ стала призером олимпиады по иностранному языку

В Военном университете Министерства обороны РФ прошел всеармейский этап IV Международной олимпиады среди курсантов высших военно-учебных заведений по иностранному языку. Команда военной кафедры Вышки показала хороший результат как среди гражданских, так и среди военных вузов России и стран СНГ.

Как поступить в Вышку по олимпиаде «Я — профессионал»

30 марта Ученый совет НИУ ВШЭ утвердил перечень льгот при поступлении в магистратуру для медалистов, победителей, призеров и участников заключительного этапа олимпиады «Я — профессионал».

«Победа в олимпиаде “Я — профессионал” — это новые возможности»

На форуме «Россия — страна возможностей», который с 13 по 16 марта проходит на ВДНХ, были вручены награды победителям студенческой олимпиады «Я — профессионал». Среди них есть студенты Высшей школы экономики и студенты других российских вузов, рассматривающие возможность внеконкурсного поступления в Вышку по итогам олимпиады. Новостная служба ВШЭ поговорила с некоторыми из них об их впечатлениях и о планах на будущее.

Условия поступления в магистратуру ВШЭ для участников олимпиады «Я — профессионал» определят 30 марта

При поступлении на бюджетные места всех магистерских программ по профилю олимпиады медалистам и победителям будут засчитывать максимальный балл за вступительные испытания, а на большинстве программ — еще и призерам.