Система для извлечения структурированной информации из web-сайтов

ФИО студента: Бесчетнов Павел Константинович

Руководитель: Сухорослов Олег Викторович

Кампус/факультет: Факультет компьютерных наук

Программа: Прикладная математика и информатика (Бакалавриат)

Год защиты: 2019

В настоящее время довольно часто возникают задачи, требующие сбор данных из Интернета. В данной работе описывается разработка системы, которая позволяет упростить решение подобных задач. Особенность разрабатываемого сервиса заключается в простоте его использования, применить его в своих целях могут люди, не обладающие навыком программирования. Данный сервис предоставляет не только инструмент для единоразового получения данных, но и отслеживания обновлений сайта, регулярной обработки новых страниц, анализа полученных данных и уведомления пользователя об изменении структуры страниц сайта. В работе представлены алгоритмы по эффективным сбору и обработки веб-документов и извлечению из них данных, описаны архитектура сервиса и процесс разработки его бэкенд составляющей. В результате, была разработана система для извлечения данных из веб-страниц и запущена в одной из российских компаний.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ