• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Извлечение информации из веб страниц с использованием сверточных нейронных сетей

ФИО студента: Горносько Илья Александрович

Руководитель: Кускова Валентина Викторовна

Кампус/факультет: Международная лаборатория прикладного сетевого анализа

Программа: Прикладная статистика с методами сетевого анализа (Магистратура)

Год защиты: 2021

Эта магистерская диссертация посвящена проблеме извлечения структурированного текста из HTML документов. Актуальность этой работы заключается в том, что на сегодняшний день нет проектов с открытым исходным кодом по данной теме, которые давали бы приемлемые результаты, учитывая быстрое развитие веб-страниц. Старые классические методы теряют свою функциональность из-за динамической загрузки, требований входа в систему, CAPTCA, блокировки IP и Honeypots. Большинство существующих методов были разработаны до широкого применения нейронных сетей. С тех пор как аппаратное технологическое развитие, так и алгоритмы машинного обучения улучшились и позволили повысить качество решения проблем в смежных областях. В частности, алгоритмы машинного обучения, основанные на многослойных нейронных сетях, привели к значительным улучшениям в таких областях, как компьютерное зрение и обработка естественного языка. Учитывая это, предположение данного тезиса состоит в том, что применение этих методов для извлечения структурированной информации должно дать хорошие результаты. Целью данной работы является изучение возможности применения архитектур сверточных нейронных сетей для извлечения структурированной информации из HTML страниц. В данной работе было проведено комплексное исследование существующих методов, на основе которого был предложен и реализован новый метод извлечения релевантного текста на собранном наборе данных. Ключевые слова. Сверточные нейронные сети, HTML, извлечение информации.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ