Использование текстуального анализа для предсказания цен на недвижимость

В данной работе исследуются способы включения текстуальных данных в гедонистическую модель ценообразования на рынке жилой вторичной недвижимости г. Москвы. Для исследования, с помощью программы-парсера, написанной на языке Python, с сайта cian.ru был собран массив данных – все активные объявления о продаже квартир в июле 2019 года. Исходный размер массива данных составляет около 60 тысяч записей. Записи содержат не только числовые характеристики, но и описание недвижимости, составленное продавцами. На основании этих данных в данной работе сравниваются 6 различных гедонистических моделей ценообразования, 3 из которых содержат текстовую информацию. Рассматриваются два способа включения текстовых данных в модель: основанные на bag of words и на word2vec. В работе показывается, что с помощью данных подходов можно значительно расширить признаковое множество моделей, что позволяет сократить среднеквадратичную ошибку на отложенной выборке. А также в работе сделана попытка визуализации и интерпретация полученных моделей на основе текстов.