• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

В Москве завершилась первая международная олимпиада по анализу данных

4 апреля стали известны имена победителей Первой международной олимпиады по анализу данных IDAO, которую организовали факультет компьютерных наук Высшей школы экономики, компания Яндекс и Harbour.Space University (Барселона) при поддержке Сбербанка. Лучшей стала команда «Magic City» из Санкт-Петербурга, второе место занял участник из Украины, бронзу завоевала команда «Apex» из Республики Беларусь.

В финале IDAO приняли участие 36 команд из России, Украины, Беларуси, Азербайджана, Израиля, Индии и Перу. Соревнования проходили в два этапа: в заочном онлайн-квалификационном раунде, который проходил с 15 января по 11 февраля 2018 года, участники должны были решить задачу, предложенную компанией Яндекс. Второй, очный тур прошёл 2–3 апреля в Москве, в центральном офисе компании Яндекс. Финалисты в течение 36 часов работали над заданием от Сбербанка.

«Профессия Data Scientist сегодня — одна из самых востребованных на рынке, и очень важно, чтобы квалифицированных специалистов в этой области появлялось как можно больше. Все, что связано с аналитикой данных, определяет будущее бизнеса и экономики в целом, поэтому компании, которые хотят идти в ногу со временем, ищут этих специалистов, — говорит куратор Школы анализа данных Яндекса, доцент факультета компьютерных наук НИУ ВШЭ Станислав Федотов. — В программировании уже сложилось некоторое количество глобальных мероприятий, которые делают его популярным и помогают определять лучших из лучших  — например, Международная студенческая олимпиада по программированию ACM/ICPC (International Collegiate Programming Contest). В сфере Data Science эта ниша только заполняется и в нашей стране, да и в мире в целом. Мы хотим, чтобы в Data Science эту функцию выполняла олимпиада IDAO, и с ее помощью стараемся показать молодым специалистам, какая это интересная сфера».

Как рассказал Станислав Федотов, одна из важных особенностей этой олимпиады заключается в том, что задачи, которые предлагаются участникам, в большей степени, чем обычно, приближены к «боевым». Например, на отборочном, онлайновом, этапе участники решали задачу для сервиса Яндекс.Маркет. Когда пользователь заходит на этот сервис с конкретной целью, система подбирает ему набор вариантов, которые соответствуют его запросу — например, если человек ищет чайник, то Яндекс.Маркет предлагает ему множество вариантов чайников в разных ценовых категориях и с различным набором опций. Но гораздо интереснее научить систему предсказывать запросы, то есть предлагать не то, что человек ищет в данный момент, а то, что он может захотеть в будущем, но о чем еще даже не подозревает. «Участникам была предложена история поисковых запросов условных пользователей, и они должны были предсказать такие категории товаров, которые эти люди за последние три недели не смотрели, но могут захотеть через неделю. Им надо было из всего количества пользователей выбрать пять процентов, для каждого выделить пять категорий товаров и «угадать» хотя бы одну из них», — объясняет Станислав Федотов.

Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч

В финале 36 команд (изначально отборочный тур прошла 41 команда, но не все смогли приехать в Москву) в течение 36 часов работали над задачей, предложенной командой data scientists Сбербанка.

Как рассказывает управляющий директор по исследованиям и разработкам в Сбербанке Андрей Черток, участники должны были разобраться с реальной проблемой, над которой недавно работала команда Сбербанка и с которой сталкиваются все банки. Задача очень прикладная: речь идет об оптимизации наполнения деньгами банкоматов Сбербанка, которых по всей стране — десятки тысяч. Проблема заключается в том, что инкассация денежных средств далеко не всегда и везде проводится эффективно — в результате в каких-то банкоматах деньги в течение долгого времени просто лежат, в то время как в других слишком быстро заканчиваются.

«Потери банка от «пролёживания» лишних денег в банкоматах исчисляются миллиардами рублей в год, — подчеркивает Андрей Черток. — Для решения таких задач наша команда все чаще применяет аналитику данных. В частности, эту проблему с оптимизацией развоза наличности и прогнозированием, сколько захотят снять денег в данном конкретном банкомате, нам удалось успешно решить с помощью методов машинного обучения. Мы предложили участникам олимпиады мини-версию того, что мы сделали в Сбербанке». Финалисты работали с реальными данными размещения и загрузки банкоматов Сбербанка. В ходе работы команды столкнулись с теми же проблемами, с которыми приходится иметь дело специалистам по анализу данных банка в реальной жизни. Например, с тем, что данные надо чистить, что в данных, на основе которых строятся прогнозы, есть так называемые «выбросы», связанные с более интенсивной выгрузкой наличности в день выплаты зарплаты или пенсии. «Все участники за короткий период времени достаточно успешно смогли построить модели, которые можно внедрять на практике, и получили опыт решения реальной банковской задачи, — считает Андрей Черток. — Мне кажется, в этой олимпиаде нам удалось соединить дух соревнования и прикладную значимость».

Практическая применимость и эффективность были важными требованиями к прототипам, над которыми работали финалисты. Как отмечает первый заместитель декана ФКН НИУ ВШЭ Тамара Вознесенская, главная цель любого моделирования в этой сфере — это точность предсказания. Однако специалисты, которые занимаются анализом данных с научной точки зрения, далеко не всегда заботятся о таких параметрах, как время работы или затрачиваемые ресурсы, и в результате их модели не получается применять в реальной жизни. «Сами алгоритмы могут строить качественные модели, но делать это или слишком долго, или требовать слишком большой объем памяти, и их нельзя, например, встраивать в мобильные приложения» — уточняет Тамара Вознесенская. Поэтому все участники должны были работать по принципу «Эффективность так же важна, как и качество».

Организаторы надеются, что по мере развития олимпиады в команды будут объединяться специалисты и по анализу данных (любители соревнований Kaggle), и по спортивному программированию.

Как рассказали победители олимпиады, участники команды из Санкт-Петербургского государственного университета «Magic City», основой их решения стала чистка данных, о которой им рассказывали аналитики из Сбербанка. «Первые наши решения на тестировании не всегда выдавали стабильный результат, их «шатало». В результате мы решили убрать из них весь «мусор», отследить все аномалии и выделить только самую необходимую информацию, поскольку данных, с которыми нам предлагалось работать, было не очень много, и качество играло большую роль, — объясняют Артем Плоткин, Роман Пьянков и Сергей Арефьев. — А дальше мы уже работали с готовым алгоритмом XGBoost, смотрели, что в нем надо поменять, а что добавить».

На втором месте — участник из Украины, постоянный участник Kaggle, Александр Макеев: «Kaggle-соревнование идет три месяца, полгода, год, команды не лимитированы в числе игроков, они могут делать сумасшедшие модели, которые могут считаться неделями на супермощных ресурсах, они занимают первые места, но без этих всех ресурсов занять первое место невозможно. А еще такие решения просто не получится применить в обычной жизни из-за требований к ресурсам».

Как рассказали бронзовые призеры из команды Гродненского государственного университета им. Янки Купалы (Республика Беларусь) «Apex» Евгений Демидович, Константин Млынарчик и Сергей Петров, эта олимпиада запомнится им тем, что финальный этап проходил всего два дня в режиме оффлайн, а не несколько месяцев в онлайне, как это обычно бывает, а также нестандартными заданиями. «Эти задачи были не только из сферы машинного обучения, нам пришлось и самим что-то придумывать, то есть побыть в роли data engineers, — отметил Евгений Демидович. — В задаче данных было не очень много, поэтому мы сами расширили данные, старались помочь модели найти решение, придумать такое представление данных, на которых модель не ошибется. Мы использовали алгоритм Random forest. Взяли 20 моделей, натренировали их на данных, которые мы сами нарезали, и эти 20 моделей потом усреднили, чтобы получить более стабильное решение».

Победители IDAO получили ценные призы, победившей команде вручили ноутбуки. Кроме того, факультет компьютерных наук НИУ ВШЭ учтет заслуги победителей при отборе на свои магистерские программы, а Harbour.Space University предоставит победителям стипендии, которые полностью покроют стоимость обучения на их образовательных программах.

Организаторы планируют проводить Международную олимпиаду по анализу данных регулярно. Как отмечает доцент ФКН НИУ ВШЭ Ростислав Яворский, это соревнование очень актуально, так как во всем мире к сфере Data Science уже сформировался большой интерес, но индустрия еще долго будет испытывать нехватку квалифицированных специалистов: «У нашей олимпиады несколько задач — заинтересовать и привлечь как можно больше молодых специалистов в эту сферу, дать им мотивацию самосовершенствоваться, внести свой вклад в формирование профессионального сообщества. Мне кажется, у нас получился хороший первый шаг, и мы очень надеемся на продолжение».  

Вам также может быть интересно:

ВШЭ и Индийский технологический институт Дели договорились о совместных исследовательских проектах

НИУ ВШЭ — Санкт Петербург и один из ведущих индийских вузов — Индийский технологический институт Дели (IIT Delhi) — договорились о запуске совместных исследовательских проектов в области социальных, политических и гуманитарных исследований и анализа данных для студентов магистратуры. С российской стороны работу будет координировать Санкт-Петербургская школа социальных наук НИУ ВШЭ.

Участники DANO написали задачный тур заключительного этапа

Завершился задачный тур заключительного этапа Национальной олимпиады по анализу данных DANO. Участниками стали 296 человек. В этот раз школьникам предстояло не тестовые задания решать, а работать над практическими задачами, которые требовали знания основ теории вероятностей и математической статистики.

Завершилась регистрация на VII сезон олимпиады студентов «Я — профессионал»

Завершилась регистрационная кампания седьмого сезона Всероссийской олимпиады студентов «Я — профессионал». За 49 дней число заявок на участие достигло рекордного показателя за всю историю существования проекта — 848 988 регистраций. Проект президентской платформы «Россия — страна возможностей» реализуется при поддержке Министерства науки и высшего образования России.

В Самаре прошла форсайт-сессия олимпиады «Своими словами»

В самарском филиале Московского городского педагогического университета прошла форсайт-сессия Всероссийского чемпионата сочинений «Своими словами». Перед студентами и преподавателями вуза выступили представители Проектной лаборатории развития интеллектуальных состязаний по гуманитарным наукам НИУ ВШЭ.

Магистерская программа «Науки о данных» аккредитована Альянсом в сфере искусственного интеллекта

По итогам экспертизы ее сильными сторонами были признаны широкий набор образовательных дисциплин, глубокий уровень изучения теоретической части в областях машинного обучения, кадровый состав и вовлеченность работодателей. Это уже пятая образовательная программа факультета компьютерных наук НИУ ВШЭ, получившая столь престижную профессионально-общественную аккредитацию.

Успеть до 8 ноября: регистрацию на «Высшую пробу» не стоит откладывать на последний день

Завершается регистрация на Всероссийскую олимпиаду школьников «Высшая проба» для учеников 7–11-х классов. Ее победители и призеры по всем 28 профилям могут быть зачислены на бюджет без вступительных испытаний или приравнять свой диплом к 100 баллам на ЕГЭ. При поступлении на ряд образовательных программ НИУ ВШЭ на преференции могут рассчитывать не только дипломанты из 11-го класса, но и те, кто получил диплом «Высшей пробы» в 10-м классе.

«Непростая задача — рассказать, как применяется Data Science в девелопменте»

В 2023 году факультет компьютерных наук ВШЭ и компания «Самолет» запустили магистерскую программу«Анализ данных в девелопменте». Это первая в России программа подготовки специалистов в области науки о данных, способных разрабатывать и применять вычислительные методы для решения задач девелопмента. В первый набор на программу было подано более 150 заявлений, на первый курс зачислены 35 человек, которые уже приступили к занятиям.

В НИУ ВШЭ в Нижнем Новгороде состоялся хакатон олимпиады по анализу данных DANO

В соревнованиях участвовали более 90 школьников 9–11 классов из Москвы, Нижнего Новгорода и области, Санкт-Петербурга, Самары, Чебоксар, Уфы — всего из 15 регионов России. «Все большую часть рынка занимают позиции, требующие работы с большими данными, поэтому еще в школе нужно учиться их обрабатывать, анализировать, получать правильные выводы», — отметил Дмитрий Покровский, сопредседатель методической комиссии Национальной олимпиады по анализу данных DANO.

Победитель Международной олимпиады по информатике IOI-2023 поступил на ФКН ВШЭ

Валерий Родионов, участник российской команды, взявший золото на Международной олимпиаде по информатике IOI-2023 (International Olympiad in Informatics), стал студентом факультета компьютерных наук Высшей школы экономики. Интеллектуальное состязание завершилось в начале сентября в Венгрии.

Стартует новый сезон Национальной технологической олимпиады 2023/24 учебного года

Открыта регистрация школьников и студентов для участия в девятом сезоне Национальной технологической олимпиады (НТО), входящей в президентскую платформу «Россия – страна возможностей». Участвовать в самых масштабных в России командных инженерных соревнованиях приглашаются учащиеся 5–11 классов и студенты вузов и колледжей, заявки принимаются на сайте.