Python для извлечения и обработки данных

2020/2021

Учебный год

RUS

Обучение ведется на русском языке

3

Кредиты

Кто читает:

Департамент больших данных и информационного поиска

Статус:

Курс обязательный

Когда читается:

1-й курс, 4 модуль

Преподаватели

Куприянов Александр Михайлович

Чуйкин Николай Константинович

Якунина Анастасия Димитриевна

Программа дисциплины

Аннотация

Язык программирования Python является одним из самых простых в освоении и популярных языков программирования. Данный язык является мощным инструментом анализа данных и может повысить эффективность практически любой деятельности в науке и индустрии. С помощью языка Python можно автоматизировать рутинные операции и обрабатывать объемы данных, на несколько порядков превышающие объемы, доступные для обработки вручную или с помощью электронных таблиц. С использованием онлайн-курса "Python как иностранный" [URL: https://online.hse.ru/course/view.php?id=3903].

Цель освоения дисциплины

• Обучить студентов навыкам программирования на языке Python, а также базовым приёмам извлечения данных из сети интернет и различных типов файлов, и их обработки, необходимым для дальнейшего обучения и в работе по специальности

Планируемые результаты обучения

• Решает задачи на ввод-вывод и целочисленную арифметику
• Применяет логические выражения, условный оператор, оператор цикла while
• Решает задачи на работу с вещественными числами, применяет функции работы со строками
• Применяет цикл for, функцию range, решает задачи с использованием локальных и глобальных переменных
• Применяет списки, кортежи, множества, методы работы с отдельными элементами и всеми структурами
• Умеет работать с текстом, структурированными файлами (csv), xlsx-файлами и листами в них
• Знает основы HTML, получает ресурсы по URL-адресу, использует библиотеки для обработки HTML

Содержание учебной дисциплины

• Арифметика
  Ввод-вывод и целочисленная арифметика
• Условный оператор, цикл while
  Логические выражения и условный оператор, оператор цикла while
• Вещественные числа и строки
  Работа с вещественными числами, функции работы со строками, срезы
• Цикл for, функции
  Цикл for, функция range, функции, локальные и глобальные переменные
• Словари и множества
  Словари, множества, методы работы с отдельными элементами и всеми структурами
• Обработка текстовых файлов и электронных таблиц
  Работа с текстом, файлами csv, электронные таблицы xlsx и листы в них, доступ к ячейкам, чтение и запись
• Обработка и создание HTML-страниц
  Основы HTML, получение ресурсов по URL-адресу, использование библиотек для обработки HTML
• XML и передача параметров в URL
  Разметка данных с помощью XML, примеры XML, геоданные OpenStreetMap и их получение
• json и API
  Обработка данных в формате json, работа с публичным интерфейсом API
• Визуализация данных
  Визуализация графиков с использованием pyplot, отображение картографической информации с помощью API leaflet

Элементы контроля

• Оценка онлайн курса
  Онлайн-курс "Python как иностранный" [URL: https://online.hse.ru/course/view.php?id=3903].
• Экзамен
  Экзамен проводится в письменной форме очно, для студентов не имеющих возможность выполнять экзамен очно организуется синхронный прокторинг в системе Zoom. Во время экзамена студентам разрешено: пользоваться jupytrer файлами разрешёнными преподавателями, опубликованными на платформе Вышки.Онлайн; использовать среды разработки, в том числе и онлайн, без использования заготовок. Кратковременным нарушением связи во время экзамена считается прерывание связи не более 5 минут. Долговременным нарушением связи во время экзамена считается прерывание связи 5 минут и более. При долговременном нарушении связи студент не может продолжить участие в экзамене. Процедура пересдачи аналогична процедуре сдачи.
• Самостоятельная работа 1
  Практическая задача и/или тест на практическом занятии
• Самостоятельная работа 2
  Практическая задача и/или тест на практическом занятии
• Самостоятельная работа 3
  Практическая задача и/или тест на практическом занятии
• Самостоятельная работа 4
  Практическая задача и/или тест на практическом занятии
• Самостоятельная работа 5
  Практическая задача и/или тест на практическом занятии

Промежуточная аттестация

• Промежуточная аттестация (4 модуль)
  0.2 * Оценка онлайн курса + 0.08 * Самостоятельная работа 1 + 0.08 * Самостоятельная работа 2 + 0.08 * Самостоятельная работа 3 + 0.08 * Самостоятельная работа 4 + 0.08 * Самостоятельная работа 5 + 0.4 * Экзамен

Список литературы

Рекомендуемая основная литература

• Lutz, M. (2008). Learning Python (Vol. 3rd ed). Beijing: O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=415392

Рекомендуемая дополнительная литература

• Vanderplas, J. T. (2016). Python Data Science Handbook : Essential Tools for Working with Data (Vol. First edition). Sebastopol, CA: Reilly - O’Reilly Media. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=nlebk&AN=1425081