• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Бакалавриат 2018/2019

Управление данными

Язык: русский
Кредиты: 10

Программа дисциплины

Аннотация

Дисциплина «Управление данными» нацелена на формирование знаний и навыков проектирования баз данных (БД), хранилищ данных (ХД), разработки приложений (внешних интерфейсов) БД и ХД, а также анализа данных (OLAP). Дисциплина «Управление данными» состоит из двух частей: «Базы данных» и «Хранилища данных». Задачи дисциплины «Управление данными»: - Изучить теорию реляционных баз данных; - Получить представление о реализации промышленных баз данных; - Овладеть навыками проектирования баз данных с использованием CASE- инструментов. - Выработать компетенции в области выполнения запросов к базам данных и проектирования бизнес-логики баз данных. - Хранилища данных (ХД) - причины возникновения. - Архитектура ХД. - Основные принципы проектирования ХД. - Проектирование и разработка процесса наполнения ХД. - Физическая модель ХД. - Использование ХД в процессе анализа данных. - Разработка WEB-приложений к ХД. В результате освоения дисциплины студенты получают знания и навыки проектирования БД и ХД, разработки приложений БД и ХД под WEB, анализа многомерных данных (OLAP) и др.
Цель освоения дисциплины

Цель освоения дисциплины

  • Целями освоения дисциплины «Управление данными» является формирование знаний, умений и навыков проектирования баз данных, администрирования баз данных и разработки приложений (внешних интерфейсов) баз данных.
Планируемые результаты обучения

Планируемые результаты обучения

  • Знание основных понятий теории баз данных и хранилищ данных.
  • Знание подходов к построению БД и сферы их применимости
  • Знание основных понятий теории баз данных и хранилищ данных
  • Знание особенностей реляционной модели БД
  • Знание теории реляционных БД: основные понятия, реляционная алгебра и реляционное исчисление, теория нормализации.
  • Знание теории реляционных БД: основные понятия, реляционная алгебра и реляционное исчисление, теория нормализации
  • Умение описывать предметную область, выявлять сущности и связи между ними.
  • Умение проектировать структуру БД вручную и с использованием выбранного CASE-средства
  • Умение проектировать структуру БД и ХД вручную и с использованием выбранного CASE-средства.
  • Умение использовать инструментальные средства СУБД при реализации модели БД и ХД.
  • Владение навыками проектирования структуры БД.
  • Умение разрабатывать бизнес-логику работы с БД.
  • Знание методологии ER-моделирования, проектирование БД и ХД на основе ER-моделей; классификации и способы задания ограничений целостности.
  • Знание языков описания и манипулирования данными разных классов
  • Умение строить запросы, используя различные языковые средства.
  • Владение навыками формирования SQL-запросов к БД.
  • Знание методов организации доступа к данным
  • Знание языка манипулирования данными SQL
  • Знание понятия предметной области и способы ее описания.
  • Знание расширений язык SQL (например, T-SQL), поддерживающих триггеры, хранимые процедуры и функции
  • Знание методов организации доступа к данным.
  • Владение навыками администрирования БД
  • Знание особенностей работы в распределенной многопользовательской среде.
  • Умение использовать БД при построении отчетов и разработке приложений.
  • Владеть навыками разработки WEB-приложении БД.
  • Владение навыками программирования приложений баз данных с использованием PHP и ASP.NET.
  • Знание языков программирования PHP и ASP.NET и технологий доступа к данным (ODBC, ADO и др.).
  • Умение разрабатывать WEB-приложения к БД и ХД.
  • Знание подходов к построению ХД и сфер их применимости.
  • Знание особенностей многомерной модели ХД.
  • Знание архитектуры программных средств, работающих с ХД.
  • Знание теории многомерных ХД: схемы типа «звезда», «снежинка», метод Data Vault Modeling, ETL-процедуры, ROLAP и др.
  • Владение навыками проектирования структуры ХД.
  • Умение проектировать ХД вручную и с использованием выбранного CASE-средства.
  • Умение использовать инструментальные средства СУБД при реализации модели ХД.
  • Знание языка манипулирования (построения запросов) многомерными данными MDX.
  • Владение навыками формирования MDX-запросов к ХД.
  • Владение навыками анализа данных.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Тема 1. Введение в курс «Управление данными»
    Структура курса, контрольные мероприятия, оценка за работу в семестре Понятия данные, информация, управление данными. Аспекты изучения информации. Понятие банка данных (БнД) Предпосылки создания БнД. Преимущества и недостатки БнД. Компоненты БнД. База данных (БД) - ядро БнД. Программные средства БнД. Языковые средства современных СУБД. Классификация языковых средств. Языки четвертого поколения и их свойства. Технические средства БнД. Организационно-методические средства. Понятие СУБД. Функции СУБД. Выбор СУБД. Классификация БнД. Иерархические, сетевые БД, БД на инвертированных списках. OLAP и OLTP-системы. Хранилища данных. Смешанные БД. XML-базы данных. Тенденции развития БнД. Пользователи БнД.
  • Тема 3. Инфологическое (концептуальное) моделирование предметной области
    Определение предметной области. Требования, предъявляемые к ИЛМ. Способы описания предметной области. Состав инфологической модели (ИЛМ). Требования, предъявляемые к ИЛМ. ER-модели. Объекты (сущности) и классы объектов. Атрибуты объектов. Типы объектов. Виды связей. Классы членства объектов в связи. Базовая ER-модель. Сравнение методик инфологического моделирования. Методология IDEF1X. Методология IE. Модели описания предметной области. Компоненты UML, связанные с проектированием БД.
  • Тема 2. Основы теории реляционных баз данных
    Отличительные особенности реляционных моделей. Основные понятия: отношение, кортеж, атрибут, ключ (простой, составной; первичный, альтернативный). Домен. Связывание таблиц. Внешний ключ. Функциональные зависимости. Многозначные зависимости. Операции реляционной алгебры. Трёхзначная логика (3VL). Теория нормализации. Понятие1НФ, 2НФ, 3НФ, 4НФ, 5НФ. Алгоритм нормализации. Достоинства и недостатки подхода.
  • Тема 4. Проектирование баз данных – логическое и физическое моделирование
    Общие сведения о даталогическом моделировании. Особенности даталогических моделей. Влияние особенностей модели на проектные решения. Факторы, влияющие на проектирование БД. Критерии оценки проекта БД. Проектирование структуры базы на основе использования ER-моделей. Влияние нотации ER-модели на сферу ее использования и алгоритм проектирования. Алгоритм проектирования (алгоритм перехода от базовой ER-модели к структуре реляционной базы). AllFusion ERwin Data Modeler. Уточнение терминологии. Интерфейс системы. Создание логических и физических моделей. Методология проектирования в среде ERwin Data Modeler. Методология построения физических моделей. Типы данных. Физическое хранение данных (файлы, файловые группы, страницы, экстенты, индексы, секции). Влияние нормализации/денормализации.
  • Тема 5. Целостность данных
    Понятие целостности и ограничения целостности. Классификация ограничений целостности. Причины, вызывающие нарушение ограничений целостности. Описание ограничений целостности в CASE-средствах. Способы задания ограничений целостности в современных СУБД: процедурный и декларативный способы задания ограничений целостности. Ссылочная целостность (целостность связи).
  • Тема 6. Языки запросов. Введение
    Понятие «язык запросов». Классификация языков запросов. Особенности языков запросов разных классов. Классификация запросов. Особенности запросов разных классов.
  • Тема 7. Табличные языки запросов
    Общая характеристика табличных языков запросов. Особенности реализации табличных языков запросов в современных СУБД. Задание простых и сложных запросов. Влияние типа поля на формулирование запроса. Возможности совместной обработки нескольких файлов, связывание файлов. Вычисляемые поля. Упорядочение данных в ответе. Состав и порядок следования полей в ответе. Возможности группировки данных, получение подитогов. Использование агрегатных функций. Корректирующие запросы. Запоминание и корректировка запросов. Запросы на создание таблиц. Табличные языки как «построители» SQL-запросов.
  • Тема 8. Язык SQL
    Введение в SQL. Стандарты. Диалекты. Составные части языка SQL (DDL, DML, DCL). Расширения языка. Визуальные построители запросов. Структура языка и синтаксис основных операторов SQL. Запросы и подзапросы. Управление выполнением сценария. Использование SQL для выборки данных из таблиц. Использование булевых и реля- ционных операторов создания более сложных предикатов. Использование специальных операторов в «условиях». Суммирование данных с помощью функций агрегирования. Форматирование результатов запросов. Использование множества таблиц в одном запросе. Вложенные запросы. Связанные подзапросы. Использование операторов EXIST, ANY, ALL, SOME. Использование предложения UNION. Ввод, удаление, изменение значений полей. Использование подзапросов с командами обновления. Создание таблиц, команда CREATE. Табличные и скалярные функции. Представления. Работа с метаданными на основе системных представлений. Динамическое формирование запросов. Планы выполнения запросов.
  • Тема 10. Роль и функции администратора БД
    Установка. Планы обслуживания. Резервное копирование и восстановление данных. Вопросы безопасности и управления доступом. Мониторинг и аудит. Перенос объектов БД и данных между серверами. Выделение дискового пространства. Загрузка и обновление данных. Управление пользователями (команды GRANT и REVOKE).
  • Тема 9. Триггеры и хранимые процедуры
    Разработка триггеров БД. Условия выполнения триггера (триггерные события). Тело триггера. Использование триггеров для проверки корректности введенных данных и выполнения сложных ограничений целостности данных. Использование триггеров для обновления данных в смежных таблицах. Разработка хранимых процедур БД. Общее представления о языках разработки хранимых процедур (TSQL и PL/SQL).
  • Тема 11. Распределенные БД
    Понятие распределенных БнД. Классификация БнД. Дополнительные критерии оценки СУРБД. Централизованные и распределенные системы. Работа с базами данных в режимах "файл-сервер" и "клиент-сервер". Двух- и трехуровневые системы клиент-сервер. Особенности работы с базами данных в многопользовательском режиме. Обеспечение целостности БД в распределенных БнД. Уровни изолированности в ANSI SQL. Механизм блокировок Технологии тиражирования. Проектирование распределенных баз данных. Сетевые возможности современных СУБД. Особенности создания баз данных, функционирующих в локальных сетях. Особенности программирования обработки баз данных при многопользовательском режиме доступа. Проектирование приложений типа "клиент-сервер". Клиентское и серверное ПО. Особенности работы в гетерогенной среде. Стандарты интерфейсов. Проблемы, возникающие при параллельном доступе, и пути их решения.
  • Тема 12. Вывод информации из баз данных
    Возможности генераторов отчетов современных СУБД. Задание формы и состава документа. Введение вычисляемых полей. Получение документов, включающих несколько степеней итогов. Получение документов на основе нескольких связанных файлов. Графическое оформление документа. Вывод документа на печать, на дисплей и в файл. Использование генераторов форм для получения выходных документов.
  • Тема 13. Особенности разработки приложений баз данных под WEB на PHP и ASP.NET
    Процедура инсталляции PHP и ASP.NET. Базовый синтаксис языков программирования PHP, VB.NET и C#. Особенности разработки приложений баз данных. Рекомендации по проектированию веб-интерфейсов баз данных. Обработка данных HTML-формы методом GET и POST. Проектирование физической схемы и объектов СУБД MySQL с использованием EMS SQL Manager for MySQL.
  • Тема 14. Организация доступа к данным из PHP и ASP.NET
    Организация программного доступа к СУБД из PHP и ASP.NET. Изучение интерфейсов ADO, ADO.NET, ODBC и др. Выполнение запросов на чтение, запись и обновление данных из PHP-программы. Доступ к метаданным.
  • Тема 15. Языки программирования PHP и VB.NET
    Особенности языков программирования PHP и VB.NET. Объектно-ориентированные возможности PHP. Логические операторы и функции PHP. Подключение внешних библиотек. Организация доступа к различным СУБД. Использование графической библиотеки. Глобальные массивы. Работа с cookies и сессиями. Работа с файловой системой.
  • Тема 16. Разработка приложений баз данных под WEB
    Расширенные возможности PHP. Разработка сложных веб-интерфейсов (на примере системы авторизации пользователей на сайте и форума).
  • Тема 17. Хранилища данных (ХД) - причины возникновения
    Проблема хранения данных при принятии решений. Причины появления Хранилищ данных. Применение хранилищ данных. Ключевые области применения - отчетность, интеллектуальный анализ данных, операционное реагирование (KPI). Отличия Хранилищ от операционных и прочих баз данных. Хранилище = "единый прозрачный источник данных о бизнесе компании для ее руководства". Место хранилища в IT-инфраструктуре предприятия. Компоненты хранилища и их связь с прочими элементами IT-инфраструктуры. Понятие основных данных (НСИ). Системы управления НСИ.
  • Тема 18. Архитектура ХД
    Типовые архитектуры хранилищ данных, рассматривается глобальное хранилище данных, централизованное хранилище данных, распределенное хранилище данных, киоски (витрины) данных, взаимосвязанные киоски данных, независимые киоски данных, корпоративная информационная фабрика, хранилище данных с архитектурой шины данных, федеративное хранилище данных.
  • Тема 19. Основные принципы проектирования ХД
    Инструменты (CASE - средства) для проектирования ХД. Методы проектирования Центрального хранилища данных. Метод многомерного моделирования: схема «Звезда», схема «Снежинка», преимущества и недостатки. Подход к построению ХД -Data Vault. Моделирование временных данных. Жизненный цикл разработки хранилища данных.
  • Тема 20. Проектирование и разработка процесса наполнения ХД
    Основные этапы задачи наполнения хранилища. Подходы ETL/ELT, различия между ними, преимущества и недостатки. Основные ETL/ELT инструменты. Задача отслеживания изменений в контексте хранилища. Медленно меняющиеся измерения (SCD).
  • Тема 21. Физическая модель ХД
    Денормализация данных, оптимизация запросов, использование индексов, партиций. Использование специальных конструкция языка SQL.
  • Тема 22. Использование ХД в процессе анализа данных
    История возникновения систем бизнес-анализа (BI), основные игроки и тенденции на рынке BI. Место ХД в системах BI. Системы принятия решений, OLAP. Системы отчетности. Язык запросов MDX.
Элементы контроля

Элементы контроля

  • неблокирующий Первая контрольная работа
  • неблокирующий Вторая контрольная работа
  • неблокирующий Третья контрольная работа
  • неблокирующий Четвертая контрольная работа
  • неблокирующий Домашнее задание
  • неблокирующий Экзамен
    Экзамен проводится в письменной форме (тест) с использованием асинхронного прокторинга. Экзамен проводится на платформе Canvas LMS (https://canvas.instructure.com/courses/1645125 ), прокторинг на платформе Экзамус (https://hse.student.examus.net). К экзамену необходимо подключиться за 15 минут. На платформе Экзамус доступно тестирование системы. Компьютер студента должен удовлетворять следующим требованиям: https://elearning.hse.ru/data/2020/05/07/1544135594/Технические%20требования%20к%20ПК%20студента.pdf Для участия в экзамене студент обязан: заранее зайти на платформу прокторинга, провести тест системы, включить камеру и микрофон, подтвердить личность. Во время экзамена студентам запрещено: общаться (в социальных сетях, с людьми в комнате), списывать, пользоваться телефоном, использовать распечатанные материалы. Студентам разрешено пользоваться конспектами в тетради. Кратковременным нарушением связи во время экзамена считается прерывание связи до 10 минут. Долговременным нарушением связи во время экзамена считается прерывание связи 10 минут и более. При долговременном нарушении связи студент не может продолжить участие в экзамене. Процедура пересдачи аналогична процедуре сдачи.
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.2 * Вторая контрольная работа + 0.4 * Домашнее задание + 0.1 * Первая контрольная работа + 0.1 * Третья контрольная работа + 0.2 * Четвертая контрольная работа
Список литературы

Список литературы

Рекомендуемая основная литература

  • Парфенов Ю. П. ; под науч. ред. Папуловской Н.В.-ПОСТРЕЛЯЦИОННЫЕ ХРАНИЛИЩА ДАННЫХ. Учебное пособие для вузов-М.:Издательство Юрайт,2019-121-Университеты России-978-5-534-09837-2: -Текст электронный // ЭБС Юрайт - https://biblio-online.ru/book/postrelyacionnye-hranilischa-dannyh-438577
  • Стружкин Н. П., Годин В. В.-БАЗЫ ДАННЫХ: ПРОЕКТИРОВАНИЕ. ПРАКТИКУМ. Учебное пособие для академического бакалавриата-М.:Издательство Юрайт,2019-291-Бакалавр. Академический курс-978-5-534-00739-8: -Текст электронный // ЭБС Юрайт - https://biblio-online.ru/book/bazy-dannyh-proektirovanie-praktikum-433865

Рекомендуемая дополнительная литература

  • - Джош Локхарт — Современный PHP. Новые возможности и передовой опыт - Издательство "ДМК Пресс" - 2016 - ISBN: 978-5-97060-184-6 - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/93269
  • - Интеллектуальный анализ данных средствами MS SQL Server 2008 - Национальный Открытый Университет "ИНТУИТ" - 2016 - ISBN: - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/100609
  • - Полубояров В.В. — Использование MS SQL Server Analysis Services 2008 для построения хранилищ данных - Национальный Открытый Университет "ИНТУИТ" - 2016 - ISBN: - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/100613
  • - Флойд К.С. — Введение в программирование на PHP5 - Национальный Открытый Университет "ИНТУИТ" - 2016 - ISBN: - Текст электронный // ЭБС Лань - URL: https://e.lanbook.com/book/100702
  • Microsoft SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных, Бергер А., Горбач И., 2007
  • Кондрашов, Ю.Н. Анализ данных и машинное обучение на платформе MS SQL Server : учебное пособие / Кондрашов Ю.Н. — Москва : Русайнс, 2020. — 303 с. — ISBN 978-5-4365-3369-8. — URL: https://book.ru/book/933497 (дата обращения: 10.10.2019). — Текст : электронный.
  • Кондрашов, Ю.Н. Анализ данных и машинное обучение на платформе MS SQL Server. : учебное пособие / Кондрашов Ю.Н. — Москва : Русайнс, 2019. — 303 с. — ISBN 978-5-4365-3369-8. — URL: https://book.ru/book/932005 (дата обращения: 10.10.2019). — Текст : электронный.
  • Кондрашов, Ю.Н. Эффективное использование СУБД MS SQL Server : учебное пособие / Кондрашов Ю.Н. — Москва : Русайнс, 2017. — 128 с. — ISBN 978-5-4365-2293-7. — URL: https://book.ru/book/927673 (дата обращения: 10.10.2019). — Текст : электронный.
  • Култыгин, О. П. Администрирование баз данных. СУБД MS SQL Server [Электронный ресурс] : учеб. пособие / О. П. Култыгин. - М.: МФПА, 2012. - 232 с. - (Университетская серия). - ISBN 978-5-4257-0026-1. - Режим доступа: http://znanium.com/catalog/product/451114