Выявление нарушений законодательства в текстах сети Интернет

Выпускная квалификационная работа на тему «Выявление нарушений в текстах сети Интернет» выполнена Соколовой Татьяной Владимировной под руководством д.ф.-м.н., профессора Осипова Геннадия Семеновича. Основной целью работы является разработка методик для решения задачи по выявлению текстов сети Интернет, содержащих возможные нарушения законодательства. Задачу предлагается рассматривать как задачу классификации и рубрикации текстов – отнесения текстов на естественном языке к заранее предопределенным категориям. В работе представлена разработанная методика, на основе которой может быть построена система рубрикации текстов, позволяющая упростить и в то же время повысить эффективность работы экспертов по выявлению возможных нарушений в сети Интернет. Основная идея методики заключается в использовании специализированных тематических словарей, лексика в которых разбита по нескольким уровням в зависимости от степени соответствия тематике. Также в работе описываются методика классификации текстов, основанная на методе взаимной информации, и коэффициенты сравнения результатов работы различных методов классификации и дифференцирующих признаков. Экспериментальные исследования и оценка качества работы построенных систем рубрикации и классификации текстов, показавших высокую точность выявления текстов с нарушениями, подтверждают их применимость на практике. Проведенный анализ показывает, что псевдоосновы, выделенные аналитическим алгоритмом морфологического анализа, эффективны при рубрикации по словарям и являются универсальными дифференцирующими признаками при классификации текстовых сообщений на различных естественных языках. Эксперименты проводились с текстами на четырех языках: русский, английский, татарский, башкирский. Однако предложенные методики применимы и для текстов на других естественных языках. Ключевые слова: выявление нарушений, классификация текстов, рубрикация текстов, дифференцирующие признаки, псевдоосновы