Методы автоматического морфологического анализа текстов на русском языке

<p>Работа посвящена проблемам автоматического морфологического анализа текстов на русском языке. В ней описаны различные подходы к морфологическому анализу, а также их достоинства и недостатки. Рассмотрены два морфологических анализатора для текстов русского языка, способные проводить полный морфологический анализ.</p><p>В настоящей работе изучены методы автоматического морфологического анализа и методы разрешения омонимии, исследованы два модуля морфологического анализа для русского языка на базе экспериментальных тестов. Выбран метод, основанный на наборе контекстных правил, удаляющих из числа вариантов разбора нерелевантные относительно контекста варианты разбора. Составлены и реализованы контекстные правила, частично снимающие&nbsp; морфологическую омонимию. А также проведено экспериментальное исследование результативности&nbsp; применения этих правил по отношению к протестированным анализаторам.</p><p>Решение этих задач потребовало разработки программы, позволяющей сравнивать работу анализаторов на большом объеме входных данных, а также программу для частичного снятия морфологической омонимии. &nbsp;Для тестирования функциональности анализаторов был использован размеченный корпус со снятой морфологической омонимией проекта OpenCorpora. Тестирование анализаторов показало, что точность работы анализаторов Mystem и MorphanCrossLexica примерно 20.1% и 26.3% соответственно, полнота &ndash; 82,6% и 46,64% соответственно. После постобработки морфологическая омонимия в результатах разбора данных анализаторов снимается на 7% для MorphanCrossLexica и на 18% для Mystem. Выявлено, что эффективность применения контекстных правил сильно зависит от полноты покрытия лексики морфологического анализатора. Чем ниже полнота покрытия лексики, тем менее эффективно применяются контекстные правила.</p>