Магистратура
2019/2020
Методы и системы обработки больших данных
Статус:
Курс по выбору (Интернет вещей и киберфизические системы)
Направление:
11.04.02. Инфокоммуникационные технологии и системы связи
Кто читает:
Департамент электронной инженерии
Когда читается:
1-й курс, 3, 4 модуль
Формат изучения:
без онлайн-курса
Преподаватели:
Хохлов Роман Леонидович
Прогр. обучения:
Интернет вещей и киберфизические системы
Язык:
русский
Кредиты:
5
Контактные часы:
72
Программа дисциплины
Аннотация
Курс посвящен актуальному направлению современных информационных технологий, связанному с обработкой больших данных (Big Data). В результате изучения курса студенты должны получить знания, умения и практические навыки по решению прикладных задач обработки и анализа больших данных. В рамках курса изучаются основные методы и алгоритмы обработки больших данных и программные системы, реализующие эти методы и алгоритмы. Уделяется внимание взаимосвязи технологии больших данных и машинного обучения. При обучении предусмотрен контроль знаний студентов в виде учета активности студентов на семинаре, домашнего задания, контрольной работы и экзамена
Цель освоения дисциплины
- Целью освоения дисциплины является изучение методов обработки больших данных в прикладных задачах и формирование представления о системах, реализующих такие методы. В результате изучения дисциплины студент должен знать: - понятие больших данных и основные источники происхождения больших данных; - основные методы и алгоритмы обработки больших данных; уметь: - решать задачи, связанные с обработкой больших данных; - применять методы анализа больших данных владеть: - программными средствами работы с большими данными; - навыками анализа больших данных.
Планируемые результаты обучения
- Знает понятие больших данных и источники происхождения больших данных.
- Знает модель распределенной обработки данных MapReduce. Умеет решать задачи обработки больших данных с использованием модели MapReduce.
- Знает специфику применения SQL в обработке больших данных. Умеет составлять SQL-запросы.
- Владеет методами машинного обучения применительно к задачам обработки больших данных.
- Владеет методами потоковой обработки больших данных .
- Знает архитектуру систем обработки данных.
Содержание учебной дисциплины
- Тема 1. Введение
- Тема 2. Модель вычислений MapReduce
- Тема 3. SQL over BigData
- Тема 4. Машинное обучение в задачах обработки больших данных
- Тема 5. Потоковая обработка данных
- Тема 6. Архитектура систем обработки данных
Элементы контроля
- Домашние задания
- Контрольная работа
- ЭкзаменЭкзамен проводится в устной форме (опрос по материалам курса). Экзамен проводится на платформе Jitsi (https://meet.miem.hse.ru/). К экзамену необходимо подключиться согласно расписанию ответов, высланному преподавателем на корпоративные почты студентов накануне экзамена. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка Jitsi. Для участия в экзамене студент обязан: поставить на аватар свою фотографию, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещено: выключать камеру, пользоваться конспектами и подсказками. Кратковременным нарушением связи во время экзамена считается нарушение связи менее минуты. Долговременным нарушением связи во время экзамена считается нарушение минута и более. При долговременном нарушении связи студент не может продолжить участие в экзамене. Процедура пересдачи подразумевает использование усложненных заданий. В ходе освоения дисциплины формируются следующие компетенции: УК-1, УК-7, ОПК-2, ПК-1, ПК-14
Промежуточная аттестация
- Промежуточная аттестация (4 модуль)0.25 * Домашние задания + 0.25 * Контрольная работа + 0.5 * Экзамен
Список литературы
Рекомендуемая основная литература
- Большие данные : революция, которая изменит то, как мы живем, работаем и мыслим, Майер-Шенбергер, В., 2014
- Майер-Шенбергер В., Кукьер К. - Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим - Издательство "Манн, Иванов и Фербер" - 2014 - 240с. - ISBN: 978-5-91657-936-9 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/62171
- Фрэнкс Б. - Укрощение больших данных: как извлекать знания из массивов информации с помощью глубокой аналитики - Издательство "Манн, Иванов и Фербер" - 2014 - 352с. - ISBN: 978-5-00057-146-0 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/62154
Рекомендуемая дополнительная литература
- Buyya, R., Calheiros, R. N., & Vahid Dastjerdi, A. (2016). Big Data : Principles and Paradigms. Cambridge, MA: Morgan Kaufmann. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1145031
- O. Chudinovskikh S., & О. Чудиновских С. (2018). Big Data and Statistics on Migration ; Большие Данные И Статистика Миграции. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.25D0F992
- Билл Фрэнкс. Революция в аналитике: Как в эпоху Big Data улучшить ваш бизнес с помощью операционной аналитики. Альпина Паблишер, 2015. ЭБС Альпина Диджитал. URL: https://hse.alpinadigital.ru/book/7918
- Юре Лесковец, Ананд Раджараман, Джеффри Д. Ульма - Анализ больших наборов данных - Издательство "ДМК Пресс" - 2016 - 498с. - ISBN: 978-5-97060-190-7 - Текст электронный // ЭБС ЛАНЬ - URL: https://e.lanbook.com/book/93571