• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

В Москве завершилась первая международная олимпиада по анализу данных

4 апреля стали известны имена победителей Первой международной олимпиады по анализу данных IDAO, которую организовали факультет компьютерных наук Высшей школы экономики, компания Яндекс и Harbour.Space University (Барселона) при поддержке Сбербанка. Лучшей стала команда «Magic City» из Санкт-Петербурга, второе место занял участник из Украины, бронзу завоевала команда «Apex» из Республики Беларусь.

В финале IDAO приняли участие 36 команд из России, Украины, Беларуси, Азербайджана, Израиля, Индии и Перу. Соревнования проходили в два этапа: в заочном онлайн-квалификационном раунде, который проходил с 15 января по 11 февраля 2018 года, участники должны были решить задачу, предложенную компанией Яндекс. Второй, очный тур прошёл 2–3 апреля в Москве, в центральном офисе компании Яндекс. Финалисты в течение 36 часов работали над заданием от Сбербанка.

«Профессия Data Scientist сегодня — одна из самых востребованных на рынке, и очень важно, чтобы квалифицированных специалистов в этой области появлялось как можно больше. Все, что связано с аналитикой данных, определяет будущее бизнеса и экономики в целом, поэтому компании, которые хотят идти в ногу со временем, ищут этих специалистов, — говорит куратор Школы анализа данных Яндекса, доцент факультета компьютерных наук НИУ ВШЭ Станислав Федотов. — В программировании уже сложилось некоторое количество глобальных мероприятий, которые делают его популярным и помогают определять лучших из лучших  — например, Международная студенческая олимпиада по программированию ACM/ICPC (International Collegiate Programming Contest). В сфере Data Science эта ниша только заполняется и в нашей стране, да и в мире в целом. Мы хотим, чтобы в Data Science эту функцию выполняла олимпиада IDAO, и с ее помощью стараемся показать молодым специалистам, какая это интересная сфера».

Как рассказал Станислав Федотов, одна из важных особенностей этой олимпиады заключается в том, что задачи, которые предлагаются участникам, в большей степени, чем обычно, приближены к «боевым». Например, на отборочном, онлайновом, этапе участники решали задачу для сервиса Яндекс.Маркет. Когда пользователь заходит на этот сервис с конкретной целью, система подбирает ему набор вариантов, которые соответствуют его запросу — например, если человек ищет чайник, то Яндекс.Маркет предлагает ему множество вариантов чайников в разных ценовых категориях и с различным набором опций. Но гораздо интереснее научить систему предсказывать запросы, то есть предлагать не то, что человек ищет в данный момент, а то, что он может захотеть в будущем, но о чем еще даже не подозревает. «Участникам была предложена история поисковых запросов условных пользователей, и они должны были предсказать такие категории товаров, которые эти люди за последние три недели не смотрели, но могут захотеть через неделю. Им надо было из всего количества пользователей выбрать пять процентов, для каждого выделить пять категорий товаров и «угадать» хотя бы одну из них», — объясняет Станислав Федотов.

Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч

В финале 36 команд (изначально отборочный тур прошла 41 команда, но не все смогли приехать в Москву) в течение 36 часов работали над задачей, предложенной командой data scientists Сбербанка.

Как рассказывает управляющий директор по исследованиям и разработкам в Сбербанке Андрей Черток, участники должны были разобраться с реальной проблемой, над которой недавно работала команда Сбербанка и с которой сталкиваются все банки. Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч. Проблема заключается в том, что инкассация денежных средств далеко не всегда и везде проводится эффективно — в результате в каких-то банкоматах деньги в течение долгого времени просто лежат, в то время как в других слишком быстро заканчиваются.

«Потери банка от «пролёживания» лишних денег в банкоматах исчисляются миллиардами рублей в год, — подчеркивает Андрей Черток. — Для решения таких задач наша команда все чаще применяет аналитику данных. В частности, эту проблему с оптимизацией развоза наличности и прогнозированием, сколько захотят снять денег в данном конкретном банкомате, нам удалось успешно решить с помощью методов машинного обучения. Мы предложили участникам олимпиады мини-версию того, что мы сделали в Сбербанке». Финалисты работали с реальными данными размещения и загрузки банкоматов Сбербанка. В ходе работы команды столкнулись с теми же проблемами, с которыми приходится иметь дело специалистам по анализу данных банка в реальной жизни. Например, с тем, что данные надо чистить, что в данных, на основе которых строятся прогнозы, есть так называемые «выбросы», связанные с более интенсивной выгрузкой наличности в день выплаты зарплаты или пенсии. «Все участники за короткий период времени достаточно успешно смогли построить модели, которые можно внедрять на практике, и получили опыт решения реальной банковской задачи, — считает Андрей Черток. — Мне кажется, в этой олимпиаде нам удалось соединить дух соревнования и прикладную значимость».

Практическая применимость и эффективность были важными требованиями к прототипам, над которыми работали финалисты. Как отмечает первый заместитель декана ФКН НИУ ВШЭ Тамара Вознесенская, главная цель любого моделирования в этой сфере — это точность предсказания. Однако специалисты, которые занимаются анализом данных с научной точки зрения, далеко не всегда заботятся о таких параметрах, как время работы или затрачиваемые ресурсы, и в результате их модели не получается применять в реальной жизни. «Сами алгоритмы могут строить качественные модели, но делать это или слишком долго, или требовать слишком большой объем памяти, и их нельзя, например, встраивать в мобильные приложения» — уточняет Тамара Вознесенская. Поэтому все участники должны были работать по принципу «Эффективность так же важна, как и качество».

Организаторы надеются, что по мере развития олимпиады в команды будут объединяться специалисты и по анализу данных (любители соревнований Kaggle), и по спортивному программированию.

Как рассказали победители олимпиады, участники команды из Санкт-Петербургского государственного университета «Magic City», основой их решения стала чистка данных, о которой им рассказывали аналитики из Сбербанка. «Первые наши решения на тестировании не всегда выдавали стабильный результат, их «шатало». В результате мы решили убрать из них весь «мусор», отследить все аномалии и выделить только самую необходимую информацию, поскольку данных, с которыми нам предлагалось работать, было не очень много, и качество играло большую роль, — объясняют Артем Плоткин, Роман Пьянков и Сергей Арефьев. — А дальше мы уже работали с готовым алгоритмом XGBoost, смотрели, что в нем надо поменять, а что добавить».

На втором месте — участник из Украины, постоянный участник Kaggle, Александр Макеев: «Kaggle-соревнование идет три месяца, полгода, год, команды не лимитированы в числе игроков, они могут делать сумасшедшие модели, которые могут считаться неделями на супермощных ресурсах, они занимают первые места, но без этих всех ресурсов занять первое место невозможно. А еще такие решения просто не получится применить в обычной жизни из-за требований к ресурсам».

Как рассказали бронзовые призеры из команды Гродненского государственного университета им. Янки Купалы (Республика Беларусь) «Apex» Евгений Демидович, Константин Млынарчик и Сергей Петров, эта олимпиада запомнится им тем, что финальный этап проходил всего два дня в режиме оффлайн, а не несколько месяцев в онлайне, как это обычно бывает, а также нестандартными заданиями. «Эти задачи были не только из сферы машинного обучения, нам пришлось и самим что-то придумывать, то есть побыть в роли data engineers, — отметил Евгений Демидович. — В задаче данных было не очень много, поэтому мы сами расширили данные, старались помочь модели найти решение, придумать такое представление данных, на которых модель не ошибется. Мы использовали алгоритм Random forest. Взяли 20 моделей, натренировали их на данных, которые мы сами нарезали, и эти 20 моделей потом усреднили, чтобы получить более стабильное решение».

Победители IDAO получили ценные призы, победившей команде вручили ноутбуки. Кроме того, факультет компьютерных наук НИУ ВШЭ учтет заслуги победителей при отборе на свои магистерские программы, а Harbour.Space University предоставит победителям стипендии, которые полностью покроют стоимость обучения на их образовательных программах.

Организаторы планируют проводить Международную олимпиаду по анализу данных регулярно. Как отмечает доцент ФКН НИУ ВШЭ Ростислав Яворский, это соревнование очень актуально, так как во всем мире к сфере Data Science уже сформировался большой интерес, но индустрия еще долго будет испытывать нехватку квалифицированных специалистов: «У нашей олимпиады несколько задач — заинтересовать и привлечь как можно больше молодых специалистов в эту сферу, дать им мотивацию самосовершенствоваться, внести свой вклад в формирование профессионального сообщества. Мне кажется, у нас получился хороший первый шаг, и мы очень надеемся на продолжение».  

Вам также может быть интересно:

Завершен заключительный этап олимпиады «Высшая проба»

С 29 января по 6 февраля в Москве и еще в 41 городе России и стран СНГ прошел заключительный (очный) этап Всероссийской олимпиады школьников «Высшая проба» для учеников 7-11 классов. Приглашение принять участие в заключительном этапе получили более 26 тыс. человек – на 6 тыс. больше, чем в прошлом году.

16243

регистрации на олимпиаду студентов и выпускников «Высшая лига» зафиксировано в этом учебном году. По сравнению с прошлым учебным годом это число выросло почти вдвое.

26073

участника приглашены на второй (заключительный) этап Всероссийской олимпиады школьников «Высшая проба».

2756

участников из 83 стран зарегистрировались на олимпиаду IDAO. Лидеры по количеству регистраций – Россия и Индия. Также в первую десятку по числу зарегистрировавшихся вошли США, Иран, Азербайджан, Индонезия, Вьетнам и Пакистан.

Олимпиада «Высшая лига» для студентов и выпускников: 76 профилей и онлайн-состязания

До 20 января включительно продлится регистрация на олимпиаду студентов и выпускников «Высшая лига», дипломанты которой получат льготы при поступлении в магистратуру НИУ ВШЭ. Участвовать в олимпиаде могут студенты бакалавриата и специалитета любых вузов, а также обладатели дипломов о высшем образовании с любым гражданством.

В первом data science–хакатоне Вышки приняли участие 8 команд

В Культурном центре на Покровке прошел хакатон по анализу данных SAS Data Hack Platypus. Команды соревновались в решении кейса онлайн-гипермаркета «Утконос». Топ-5 финалистов получили в подарок гаджеты от партнеров.

На что вы способны в Data Science: Вышка приглашает на IDAO 2020

До 15 января открыта регистрация на совместную олимпиаду факультета компьютерных наук НИУ ВШЭ и компании Яндекс — International Data Analysis Olympiad. Одна из целей международной олимпиады по анализу данных — заинтересовать молодых разработчиков и аналитиков актуальными проблемами в Data Science.

«Источник исследовательских талантов»: Вышка открыла регистрацию на олимпиаду «Ступени»

До 15 декабря продлится регистрация на отборочный онлайн-этап исследовательской олимпиады для школьников «Ступени». Победители и призеры финального этапа получат дополнительные баллы при поступлении в Лицей НИУ ВШЭ и на ряд бакалаврских программ Вышки.

«Если хочется выучить русский язык, лучше заниматься с утра до ночи»

Как за два года заговорить на русском? Сложно ли привыкнуть к сибирским зимам? Может ли иностранец преподавать русский язык? Личным опытом поделился с новостной службой портала Андрес Куэльяр, студент магистерской программы «Русский как иностранный во взаимодействии языков и культур».

500 000

заявок подали российские студенты на олимпиаду «Я – профессионал», которая проводится уже третий год подряд.