Извлечение информации из веб-страниц с использованием сверточных нейронных сетей

Эта магистерская диссертация посвящена проблеме извлечения структурированного текста из HTML документов. Актуальность этой работы заключается в том, что на сегодняшний день нет проектов с открытым исходным кодом по данной теме, которые давали бы приемлемые результаты, учитывая быстрое развитие веб-страниц. Старые классические методы теряют свою функциональность из-за динамической загрузки, требований входа в систему, CAPTCA, блокировки IP и Honeypots. Большинство существующих методов были разработаны до широкого применения нейронных сетей. С тех пор как аппаратное технологическое развитие, так и алгоритмы машинного обучения улучшились и позволили повысить качество решения проблем в смежных областях. В частности, алгоритмы машинного обучения, основанные на многослойных нейронных сетях, привели к значительным улучшениям в таких областях, как компьютерное зрение и обработка естественного языка. Учитывая это, предположение данного тезиса состоит в том, что применение этих методов для извлечения структурированной информации должно дать хорошие результаты. Целью данной работы является изучение возможности применения архитектур сверточных нейронных сетей для извлечения структурированной информации из HTML страниц. В данной работе было проведено комплексное исследование существующих методов, на основе которого был предложен и реализован новый метод извлечения релевантного текста на собранном наборе данных. Ключевые слова. Сверточные нейронные сети, HTML, извлечение информации.