Python для извлечения и обработки данных

2021/2022

Учебный год

RUS

Обучение ведется на русском языке

4

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс обязательный

Когда читается:

1-й курс, 1, 2 модуль

Преподаватели

Дейниченко Ксения Александровна

Широкова Лари Дмитриевна

Программа дисциплины

Аннотация

Курс «Python для извлечения и обработки данных» имеет целью обучить студентов не только работе в Python, но и основам программирования вообще, поскольку наиболее базовые принципы являются схожими почти во всех языках программирования. При решении ряда задач исследователи часто сталкиваются с необходимостью работать с большими массивами данных. Характер данных может быть очень разным: последовательности нуклеиновых кислот (ДНК, РНК), аминокислот (белки). Для того чтобы эффективно работать с разными типами данных, необходимо знать основы программирования, так как именно навыки программирования позволяют автоматически собирать необходимую информацию за достаточно быстрое время. В качестве языка программирования в данном курсе используется Python. Язык Python на данный момент является очень популярным, в том числе в исследованиях в рамках естественных наук. Дисциплина подразделяется на два блока. Первый блок посвящен основам программирования и включает необходимые для дальнейшей работы в Python темы: переменные и типы данных, списки и кортежи, словари, условные конструкции, циклы и функции. Второй блок посвящен решению прикладных задач в Python и включает темы, связанные со сбором и анализом данных: выгрузка данных с сайтов, парсинг веб-страниц, работа с таблицами, визуализация и разведывательный анализ данных. Студентам будет предложен проект, при выполнении которого они смогут применить полученные знания для анализа генома. Базовые навыки программирования позволят работать с биологическими данными различного уровня и размеров эффективнее и уже сегодня являются достаточно востребованными навыками у специалистов естественнонаучного профиля.

Цель освоения дисциплины

• Овладение навыками программирования на языке Python, овладение методами сбора и обработки данных для решения задач анализа биологических последовательностей и биологической статистики

Планируемые результаты обучения

• Знает этапы предварительной обработки текста и умеет реализовывать их на практике
• Умеет выполнять операции с массивами NumPy
• Знает особенности изменяемых и неизменяемых типов данных; умеет создавать разные структуры данных
• Знает особенности типов и структур данных: словарь, список, вложенные структуры, float, int, строка
• Умеет выполнять базовые операции с табличными данными средствами Python
• Умеет загружать файлы с данными разных форматов и экспортировать их
• Умеет писать функции на Python, тестировать их, обрабатывать ошибки
• Умеет работать в среде Jupyter Notebook, умеет создавать переменные разных типов, принимать информацию от пользователя и выводить информацию на экран
• Умеет решать прикладные задачи с применением условных конструкций и циклов

Содержание учебной дисциплины

• Начало работы в Python
• Управляющие конструкции в Python.
• Циклы в Python
• Структуры данных в Python
• Функции в Python
• Работа с файлами
• Работа с текстами
• Массивы NumPy
• Работа с таблицами
• Работа с html-файлами
• Работа с Bioython

Элементы контроля

• Контрольная работа
• Тесты
  8 тестов в течение курса. Общая оценка за Т вычисляется как среднее арифметическое всех оценок за тесты.
• Онлайн-курс
  Курс "____" размещен на внутренней платформе НИУ ВШЭ [URL: online.hse.ru]. Оценка за дисциплину выставляется в соответствии с формулой оценивания от всех пройденных элементов контроля
• Проект
• Экзамен
  Экзамен проводится с применением прокторинга.

Промежуточная аттестация

• 2021/2022 учебный год 2 модуль
  0.2 * Контрольная работа + 0.2 * Онлайн-курс + 0.2 * Экзамен + 0.15 * Тесты + 0.25 * Проект

Список литературы

Рекомендуемая основная литература

• Nelli, F. (2018). Python Data Analytics : With Pandas, NumPy, and Matplotlib (Vol. Second edition). New York, NY: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1905344
• Федоров Д. Ю. - ПРОГРАММИРОВАНИЕ НА ЯЗЫКЕ ВЫСОКОГО УРОВНЯ PYTHON 2-е изд. Учебное пособие для СПО - М.:Издательство Юрайт - 2019 - 161с. - ISBN: 978-5-534-11961-9 - Текст электронный // ЭБС ЮРАЙТ - URL: https://urait.ru/book/programmirovanie-na-yazyke-vysokogo-urovnya-python-446505
• Федоров Д. Ю. - ПРОГРАММИРОВАНИЕ НА ЯЗЫКЕ ВЫСОКОГО УРОВНЯ PYTHON 2-е изд. Учебное пособие для СПО - М.:Издательство Юрайт - 2020 - 161с. - ISBN: 978-5-534-11961-9 - Текст электронный // ЭБС ЮРАЙТ - URL: https://urait.ru/book/programmirovanie-na-yazyke-vysokogo-urovnya-python-454101

Рекомендуемая дополнительная литература

• G. Nair, V. (2014). Getting Started with Beautiful Soup. Birmingham, UK: Packt Publishing. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=691839