Intelligent Data Processing

2023/2024

Academic Year

RUS

Instruction in Russian

5

ECTS credits

Delivered at:

School of Computer Engineering

Course type:

Compulsory course

When:

3 year, 3, 4 module

Instructors

Vostrikov, Alexander V.

Klyshinskiy, Eduard

Программа дисциплины

Аннотация

В рамках данной дисциплины даются такие разделы как машинное обучение (классификация и кластеризация данных, полносвязанные и глубинные нейронные сети), методы визуализации данных, методы обработки текстов, методы обработки изображений. Материал изучается с применением языка программирования Python и написанных для него библиотек. В процессе освоения дисциплины «Интеллектуальная обработка данных» студент развивает следующие компетенции: • способен разрабатывать и применять специализированное программно-математическое обеспечение для проведения исследований и решения инженерных задач; • способен разрабатывать модели средств, систем и процессов в инфокоммуникациях, проверять их адекватность на практике и использовать пакеты прикладных программ анализа и синтеза инфокоммуникационных систем, сетей и устройств; • Способен самостоятельно выполнять экспериментальные исследования для решения научно-исследовательских и производственных задач с использованием современной аппаратуры и методов исследования, участвовать в научных исследованиях в группе, ставить задачи и выбирать методы экспериментальных исследований.

Цель освоения дисциплины

• Углубить и закрепить навыки в области машинного обучения, формирование знаний и навыков работы с нейронными сетями.

Планируемые результаты обучения

• Владеть: библиотеками обработки изображений на языке Python.
• Владеть: навыками применения библиотеки Pandas при решении практических задач.
• Владеть: навыками разработки методов отображения данных.
• Владеть: нейросетевым пакетом в составе библиотеки sklearn и других библиотек.
• Владеть: нейросетевым пакетом в составе библиотеки sklearn.
• Владеть: программными библиотеками для обработки текстов.
• Владеть: программными библиотеками классификации, входящими в состав библиотеки sklearn.
• Владеть: программными библиотеками кластеризации, входящими в состав библиотеки sklearn.
• Знать: методы обработки, нормализации и векторизации исходных данных, методы агрегирования и анализа данных.
• Знать: основные методы классификации данных такие как линейная и логистическая регрессия, метод поддерживающих векторов, метод к ближайших соседей, деревья принятия решений, случайный лес; методы оценки качества классификации.
• Знать: основные методы кластеризации данных: к-средних, DB-SCAN и ипроизводные от них.
• Знать: основные методы отображения числовой информации; методами снижения размерности пространства признаков.
• Знать: основные структуры глубинных нейронных сетей: сверточные, рекуррентные, их разновидности.
• Знать: основные структуры нейронных сетей; понятия функции потерь, пороговой функции, их основные виды.
• Знать: основные форматы изображений; методы обработки изображений.
• Знать: понятия лексического, синтаксического и семантического анализа текстов.
• Уметь: выделять фрагменты изображений в зависимости от поставленной задачи; преобразовывать изображения в зависимости от поставленной задачи.
• Уметь: использовать библиотеки Matplotlib и Seaborn для отображения информации в ходе проведения исследований.
• Уметь: корректно формировать структуру нейронной сети для решения поставленной прикладной задачи.
• Уметь: обоснованно и корректно выбирать метод для решения задачи классификации; корректно ставить задачу классификации.
• Уметь: обоснованно и корректно выбирать метод для решения задачи кластеризации; корректно ставить задачу кластеризации.
• Уметь: осуществлять первичный анализ данных для решения прикладных задач.
• Уметь: реализовать систему анализа текстов на естественном языке.

Содержание учебной дисциплины

• Обработка данных с использованием библиотеки Pandas
• Визуализация данных и их анализ
• Классификация данных
• Кластеризация данных
• Обработка текстов на естественном языке
• Обработка изображений
• «Плотные» нейронные сети
• Глубинное обучение нейронных сетей

Элементы контроля

• Активность
• Проект
• Тест
• Экзамен
• Лабораторные работы

Промежуточная аттестация

• 2023/2024 учебный год 4 модуль
  0.1 * Активность + 0.4 * Лабораторные работы + 0.2 * Проект + 0.1 * Тест + 0.2 * Экзамен

Список литературы

Рекомендуемая основная литература

• Gries, P., Campbell, J., & Montojo, J. (2017). Practical Programming : An Introduction to Computer Science Using Python 3.6 (Vol. Third edition). [Place of publication not identified]: Pragmatic Bookshelf. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1716748

Рекомендуемая дополнительная литература

• Bhasin, H. (2019). Python Basics : A Self-Teaching Introduction. Dulles, Virginia: Mercury Learning & Information. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1991381
• Matthes, E. Python crash course: a hands-on, project-based introduction to programming. – No Starch Press, 2015. – 562 pp.
• McKinney, W. (2018). Python for Data Analysis : Data Wrangling with Pandas, NumPy, and IPython (Vol. Second edition). Sebastopol, CA: O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1605925
• Джозеф, Л. Изучение робототехники с помощью Python / Л. Джозеф , перевод с английского А. В. Корягина. — Москва : ДМК Пресс, 2019. — 250 с. — ISBN 978-5-97060-749-7. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/123716 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.