Методы классификации для поиска закономерностей в демографических последовательностях

В настоящее время накопилось большое количество демографических данных, которые необходимо проанализировать и проинтерпретировать. Из накопленных демографических данных можно извлечь больше полезной информации, применив современные методы майнинга данных. Данные для анализа были предоставлены институтом демографии НИУ ВШЭ. В них представлены результаты опроса 6626 человек, среди которых 3314 мужчин и 3312 женщин. Для каждого человека указаны даты значимых первых событий в их жизни, такие как: партнер, брак, расставание, развод, образование, работа, отделение от родителей, рождение ребенка. Также указаны признаки: тип образования (общее, высшее, профессиональное), место жительства (город, поселок городского типа, деревня), религиозность и частота посещения служб, поколение (советские 1930-1969 и современные 1970-1986) и пол. В ходе работы были выведены и доказаны формулы для вычисления мер сходства последовательностей без разрыва, которые потом были применены в качестве ядер в методе SVM. Целью работы было сравнение методов классификации демографических данных с помощью кастомизации ядра SVM с использованием различных мер сходства. Также произведено сравнение нейросетевых алгоритмов. Совместно с демографами был разработан и осуществлен универсальный алгоритм по чистке данных, так как данные содержат большое количество разнообразных ошибок и опечаток. Для выполнения работы были написаны программы на языке Python, с помощью которых обработаны исходные демографические данные. Лучшие результаты классификации получены с помощью специальной функции ядра в SVM для обработки последовательностей, а также с помощью рекуррентной нейронной сети. Новизной работы является использование специальных вариантов ядер в методе SVM. Кроме того, были улучшены результаты с помощью нейросетевых алгоритмов. Ключевые слова: анализ данных, демография, машины опорных векторов, нейронные сети, ядра, префиксы, подпоследовательности, меры сходства.