Анализ демографических последовательностей методами майнинга данных

Сейчас накопилось большое количество демографических данных, которые необходимо проанализировать и проинтерпретировать. Демографы хотят найти интересную взаимосвязь событий и определить, какие из них наиболее часто встречаются. Институтом демографии НИУ ВШЭ была предоставлена база данных, которая содержит результаты опроса 4857 человек. Для каждого человека указана дата рождения и даты, в которые произошли первые значимые для них события, такие как: образование, отделение от родителей, работа, партнерство, брак, расставание, развод и рождение ребенка. При этом также указаны признаки человека, такие как: пол, тип образования, населенный пункт, наличие религиозности, частота посещения служб и поколение человека. Целью моей работы был анализ предоставленных данных. В частности, были поставлены следующие задачи: 1) Определение первого и последнего события в жизни человека с учетом всех признаков и уже произошедших событий. Нахождение зависимости событий от признака пол. 2) Нахождение частых замкнутых последовательностей событий, а также событий, характерных для мужчин и женщин. Для решения первой задачи использовались деревья решений. Было создано несколько видов таблиц. Сравнивая точности построения дерева решений для каждой из них, были выбраны таблицы с наилучшими результатами. В программе Orange для них построены деревья решений. Также построены гистограммы и определены частые и редкие первые и последние события у мужчин и у женщин. Кроме того, написана программа для преобразования таблицы в определенный вид и программа, производящая балансировку данных. Для решения второй задачи использовалась программа SPMF. Была изучена классификация эмерджентных последовательностей для определения последовательностей, характерных для мужчин и женщин. Также написан ряд программ для обработки данных. Все результаты сопровождены подробным описанием и интерпретацией. Данная работа является актуальной и представляет интерес для демографов.