Программа сбора и анализа данных о доступности прокси серверов

Данная работа посвящена проблеме сбора и анализа данных о доступности прокси-серверов из открытых источников. Прокси-сервер – это промежуточный сервер между клиентом и целевым ресурсом, позволяющий клиентам как выполнять запросы, так и получать ответы. Среди причин использования прокси-серверов выделяют возможность сокрытия идентифицирующих признаков, обход применяемых политик доступа к ресурсу и другие. В открытых источниках публикуется информация о прокси-серверах, которые могут быть использованы любым пользователем Интернета . Однако, большинство таких прокси-серверов либо имеют слишком высокое время отклика, либо оказываются недоступны. Целью данной работы является разработка метода выявления пригодных для использования прокси-серверов на основе собранных о них данных. Предлагаемый подход основан на автоматизированном сборе информации о публичных прокси-серверах, регулярном тестировании работоспособности данных прокси-серверов и прогнозировании их доступности. В работе рассмотрены различные способы прогнозирования доступности прокси-серверов, в том числе с использованием алгоритмов машинного обучения. Результатом работы является программа, разработанная с использованием предлагаемого подхода. Работа содержит 61 страниц, 3 главы, 31 рисунков, 15 таблиц, 41 источников, 4 приложения.