Project Seminar "Internet Data Analysis"

2019/2020

Academic Year

RUS

Instruction in Russian

4

ECTS credits

Delivered at:

Joint Department with Yandex (Big Data and Information Retrieval School)

Course type:

Compulsory course

When:

1 year, 1-4 module

Instructor

Fedotov, Stanislav N.

Программа дисциплины

Аннотация

Основная тема семинара - алгоритмы работы с большими данными. Одно из наиболее бурно растущих направлений информационных технологий в настоящее время - это работа с большими объемами данных. Множество известных IT-компаний (к примеру, Яндекс, Google, Facebook, Twitter, LinkedIn) ежедневно обрабатывают огромные массивы информации для решения своих бизнес-задач. Необходимость работы с большими данными существенно изменяет принципы построения всех аспектов информационных систем: хранения и анализа данных, планирования задач, координации сервисов, эффективности использования ресурсов. Среди руководителей и участников семинара - сотрудники компании Яндекс с многолетним опытом построения и эксплуатации различных распределенных систем. В начале осеннего семестра мы расскажем о некоторых актуальных задачах области. Далее, в течение семестра на семинаре студенты будут выступать с докладами по современным достижениям в области, также будут приглашаться внешние докладчики с рассказами об их практической деятельности. Слушатели семинара смогут получить представление об актуальных проблемах и задачах индустрии, определиться с темой их научной работы.

Цель освоения дисциплины

• Целью проектного семинара является ознакомление студентов с понятиями и технологиями, которые применяются в реальных IT--приложениях, но не входят в обязательную программу "Анализа интернет-данных".

Планируемые результаты обучения

• Формирование компетенций системного разработчика.
• Приобретение навыков разработки на ОС семейства UNIX.
• Получение навыков разработки на C.
• Формирование навыков написания программ на языке Haskell.
• Получение знаний о функциональной парадигме программирования.
• Получение опыта разработки параллельных и распределённых приложений.
• Формирование навыков распараллеливания программ.
• Получение представлений о целях, задачах и методах лингвистики.
• Формирование навыков разработчика распределённых приложений.
• Формирование навыков использования корпусов языков для исследований.
• Формирование навыков в построении криптографических систем.
• Формирование навыков в анализе стойкости криптографичеких систем.
• Получение навыков использования краудсорсинговых технологий для сбора и обработки данных

Содержание учебной дисциплины

• Введение в операционные системы
  1. Знакомство с устройством операционных систем семейства UNIX. 2. Процессы в UNIX: запуск, scheduling, обработка прерываний. 3. Файловая система в UNIX.
• Введение в функциональное программирование
  1. Проблемы императивного подхода: истота функций, побочные эффекты. 2. Введение в функциональную парадигму: основные принципы. 3. Основы языка Haskell.
• Параллельные вычисления и распределённые системы
  1. Изучение проблемы современных алгоритов: закон Мура. 2. Изучение технических способов параллелизации программы: MPI, OpenMP, POSIX threads, scalapack. 3. Распределённые алгоритмы. 4. Модель MapReduce.
• Компьютерная лингвистика
  1. Цели компьютерной лингвистки. 2. Основные методы лингвистического анализа. 3. Корпусная лингвистика
• Введение в криптографию
  1. История и цели криптографии. 2. Вычислительные проблемы в криптографии. Односторонние функции. RSA, проокол Диффи-Хеллмана. 3. Разделение секрета.
• Краудсорсинговые технологии
  1. Введение о общая концепция краудсорсинга 2. Декомпозиция исходной задачи 3. Использование сервиса Яндекс.Толока для сбора и обработки данных с помощью краудсорсинга

Элементы контроля

• Домашняя работа
• Домашняя работа 2
• Экзамен
  Оценка за дисциплину выставляется в соответствии с формулой оценивания от всех пройденных элементов контроля. Экзамен не проводится.

Промежуточная аттестация

• Промежуточная аттестация (4 модуль)
  0.3 * Домашняя работа + 0.3 * Домашняя работа 2 + 0.4 * Экзамен

Список литературы

Рекомендуемая основная литература

• Поліщук, О. П., & Семеріков, С. О. (2013). The use of Free Pascal to support the course of system programming in Unix ; Применение Free Pascal для поддержки курса системного программирования в Unix ; Застосування Free Pascal для підтримки курсу системного програмування в Unix. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.E94D4C0A
• Современные операционные системы, Таненбаум, Э., 2012
• Современные операционные системы, Таненбаум, Э., 2015

Рекомендуемая дополнительная литература

• Анурьева, М. (2013). Подходы К Обучению По Дисциплине «Расследование Компьютерных Инцидентов» В Зарубежных Странах. Гаудеамус, (2 (22)). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsclk&AN=edsclk.15271954
• Операционные системы : учеб. пособие, Илюшечкин, В. М., 2009
• Шаробайко, А. (2005). Опыт Портирования Ос Debian Gnu / Linux С Расширением Реального Времени Rtai На Процессорный Модуль Cm-X255. Компоненты и Технологии, (51). Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsclk&AN=edsclk.13966423