Магистратура
2019/2020
Проектный семинар "Анализ Интернет-данных"
Лучший по критерию «Полезность курса для Вашей будущей карьеры»
Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»
Лучший по критерию «Новизна полученных знаний»
Статус:
Курс обязательный (Науки о данных)
Направление:
01.04.02. Прикладная математика и информатика
Кто читает:
Базовая кафедра Яндекс
Где читается:
Факультет компьютерных наук
Когда читается:
1-й курс, 1-4 модуль
Формат изучения:
без онлайн-курса
Преподаватели:
Федотов Станислав Николаевич
Прогр. обучения:
Науки о данных
Язык:
русский
Кредиты:
4
Контактные часы:
40
Программа дисциплины
Аннотация
Основная тема семинара - алгоритмы работы с большими данными. Одно из наиболее бурно растущих направлений информационных технологий в настоящее время - это работа с большими объемами данных. Множество известных IT-компаний (к примеру, Яндекс, Google, Facebook, Twitter, LinkedIn) ежедневно обрабатывают огромные массивы информации для решения своих бизнес-задач. Необходимость работы с большими данными существенно изменяет принципы построения всех аспектов информационных систем: хранения и анализа данных, планирования задач, координации сервисов, эффективности использования ресурсов. Среди руководителей и участников семинара - сотрудники компании Яндекс с многолетним опытом построения и эксплуатации различных распределенных систем. В начале осеннего семестра мы расскажем о некоторых актуальных задачах области. Далее, в течение семестра на семинаре студенты будут выступать с докладами по современным достижениям в области, также будут приглашаться внешние докладчики с рассказами об их практической деятельности. Слушатели семинара смогут получить представление об актуальных проблемах и задачах индустрии, определиться с темой их научной работы.
Цель освоения дисциплины
- Целью проектного семинара является ознакомление студентов с понятиями и технологиями, которые применяются в реальных IT--приложениях, но не входят в обязательную программу "Анализа интернет-данных".
Планируемые результаты обучения
- Формирование компетенций системного разработчика.
- Приобретение навыков разработки на ОС семейства UNIX.
- Получение навыков разработки на C.
- Формирование навыков написания программ на языке Haskell.
- Получение знаний о функциональной парадигме программирования.
- Получение опыта разработки параллельных и распределённых приложений.
- Формирование навыков распараллеливания программ.
- Получение представлений о целях, задачах и методах лингвистики.
- Формирование навыков разработчика распределённых приложений.
- Формирование навыков использования корпусов языков для исследований.
- Формирование навыков в построении криптографических систем.
- Формирование навыков в анализе стойкости криптографичеких систем.
- Получение навыков использования краудсорсинговых технологий для сбора и обработки данных
Содержание учебной дисциплины
- Введение в операционные системы1. Знакомство с устройством операционных систем семейства UNIX. 2. Процессы в UNIX: запуск, scheduling, обработка прерываний. 3. Файловая система в UNIX.
- Введение в функциональное программирование1. Проблемы императивного подхода: истота функций, побочные эффекты. 2. Введение в функциональную парадигму: основные принципы. 3. Основы языка Haskell.
- Параллельные вычисления и распределённые системы1. Изучение проблемы современных алгоритов: закон Мура. 2. Изучение технических способов параллелизации программы: MPI, OpenMP, POSIX threads, scalapack. 3. Распределённые алгоритмы. 4. Модель MapReduce.
- Компьютерная лингвистика1. Цели компьютерной лингвистки. 2. Основные методы лингвистического анализа. 3. Корпусная лингвистика
- Введение в криптографию1. История и цели криптографии. 2. Вычислительные проблемы в криптографии. Односторонние функции. RSA, проокол Диффи-Хеллмана. 3. Разделение секрета.
- Краудсорсинговые технологии1. Введение о общая концепция краудсорсинга 2. Декомпозиция исходной задачи 3. Использование сервиса Яндекс.Толока для сбора и обработки данных с помощью краудсорсинга
Элементы контроля
- Домашняя работа
- Домашняя работа 2
- ЭкзаменОценка за дисциплину выставляется в соответствии с формулой оценивания от всех пройденных элементов контроля. Экзамен не проводится.
Промежуточная аттестация
- Промежуточная аттестация (4 модуль)0.3 * Домашняя работа + 0.3 * Домашняя работа 2 + 0.4 * Экзамен
Список литературы
Рекомендуемая основная литература
- Поліщук, О. П., & Семеріков, С. О. (2013). The use of Free Pascal to support the course of system programming in Unix ; Применение Free Pascal для поддержки курса системного программирования в Unix ; Застосування Free Pascal для підтримки курсу системного програмування в Unix. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E94D4C0A
- Современные операционные системы, Таненбаум, Э., 2012
- Современные операционные системы, Таненбаум, Э., 2015
Рекомендуемая дополнительная литература
- Анурьева, М. (2013). Подходы К Обучению По Дисциплине «Расследование Компьютерных Инцидентов» В Зарубежных Странах. Гаудеамус, (2 (22)). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsclk&AN=edsclk.15271954
- Операционные системы : учеб. пособие, Илюшечкин, В. М., 2009
- Шаробайко, А. (2005). Опыт Портирования Ос Debian Gnu / Linux С Расширением Реального Времени Rtai На Процессорный Модуль Cm-X255. Компоненты и Технологии, (51). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsclk&AN=edsclk.13966423