Python для извлечения и обработки данных

2020/2021

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс обязательный

Когда читается:

4-й курс, 1, 2 модуль

Преподаватели

Лебедева Валентина Алексеевна

Рогович Татьяна Владимировна

Программа дисциплины

Аннотация

Язык программирования Python является одним из самых простых в освоении и популярных языков программирования. Данный язык является мощным инструментом анализа данных и может повысить эффективность практически любой деятельности в науке и индустрии. С помощью языка Python можно автоматизировать рутинные операции и обрабатывать объемы данных, на несколько порядков превышающие объемы, доступные для обработки вручную или с помощью электронных таблиц. С использованием онлайн-курса, размещенного на online.hse.ru

Цель освоения дисциплины

• Обучить студентов навыкам программирования на языке Python, а также базовым приёмам извлечения данных из сети интернет и различных типов файлов, и их обработки, необходимым для дальнейшего обучения и в работе по специальности

Планируемые результаты обучения

• Обладает навыками web-scraping
• Умеет работать с текстом, структурированными файлами (csv)
• Применяет списки, кортежи, множества, словари, методы работы с отдельными элементами и всеми структурами
• Применяет цикл for, функцию range, решает задачи с использованием локальных и глобальных переменных
• Решает задачи на работу с вещественными числами, применяет функции работы со строками
• Решает задачи на ввод-вывод и целочисленную арифметику
• Применяет логические выражения, условный оператор, оператор цикла while

Содержание учебной дисциплины

• Введение в программирование. Переменные и арифметические действия.
  Ввод-вывод. Естественные типы данных и арифметические действия. Строки и символы. Форматированные строки.
• Условный оператор, цикл while
  Блок-схемы и логические переменные. Логические выражения. Условный оператор, оператор цикла while
• Введение в структурированные данные и цикл for
  Списки и кортежи. Цикл for, функция range.
• Методы строк и списков
  Срезы. Поиск в строке. Основные методы списков. Преобразование строк в списки.
• Словари и множества
  Словари, множества, методы работы с отдельными элементами и всеми структурами
• Функции и библиотеки
  Написание собственных функций. Разбиение программы на функции. Локальные переменные. Загрузка функций из специализированных библиотек.
• Текстовые файлы и таблицы
  Чтение из файла и запись в файл. Работа с текстовыми файлами. Работа со структурированными файлами (csv).
• Обработка web-страниц
  Основы HTML, загрузка и обработка web-страниц, работа с тегами HTML, обработка ссылок и таблиц.

Элементы контроля

• Онлайн курс
• Экзамен
  Экзамен проводится в письменной форме с использованием синхронного прокторинга. Экзамен проводится на платформе Онлайн-образование в НИУ ВШЭ (https://online.hse.ru/), прокторинг на платформе Экзамус (https://hse.student.examus.net). На платформе Экзамус доступно тестирование системы (https://lms.demo.examus.net/syscheck_st). Компьютер студента должен удовлетворять требованиям: https://elearning.hse.ru/data/2020/05/07/1544135594/Технические%20требования%20к%20ПК%20студента.pdf.

Промежуточная аттестация

• Промежуточная аттестация (2 модуль)
  0.3 * Онлайн курс + 0.7 * Экзамен

Список литературы

Рекомендуемая основная литература

• Lutz, M. (2008). Learning Python (Vol. 3rd ed). Beijing: O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=415392

Рекомендуемая дополнительная литература

• Vanderplas, J. T. (2016). Python Data Science Handbook : Essential Tools for Working with Data (Vol. First edition). Sebastopol, CA: Reilly - O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1425081