• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Версия для слабовидящихЛичный кабинет сотрудника ВШЭПоиск

Эффективные методы распознавания мультимедийных данных для задач анализа предпочтений пользователей мобильных устройств

2019

Основной задачей Научно-учебной группы «Анализ мультимедийных данных пользователей мобильных устройств» является автоматическое извлечение интересов и характеристик пользователей в результате анализа мультимедийных данных (фото, видео, текстовые сообщения) их мобильных устройств. Акцент сделан на повышение вычислительной эффективности принятия решений для методов распознавании образов, основанных на глубоких нейронных сетях. В частности, будет исследовано применение теорий тернарных решений (three-way decisions) и гранулярных вычислений для последовательного анализа векторов признаков высокой размерности с выбором на каждом шаге только достаточно надежных классов. Для выбора таких классов может использоваться сравнение с порогом апостериорной вероятности принадлежности входного объекта к классу или минимального расстояния между входных объектов и эталоном из этих классов. При этом на последнем шаге для выбора решений среди небольшого числа отобранных классов могут использоваться более мощные (по сравнению с методами ближайших соседей) бинарные классификаторы, такие как one-vs-one SVM. Рассматриваются такие прикладные задачи, как идентификация и кластеризация лиц в фотоальбомах, детектирование объектов (предметы интерьера, еды, транспорт, спортивные принадлежности) на фото и видео. Будут исследованы основанные на распознавании лиц и детектировании текстов методы выделения публичных фотографий и видео, для которых высокоточные алгоритмы обработки могут быть реализованы на удаленном сервере. Предполагается, что публичные фото и видео не содержат отсканированные документы паспортов, билетов и т.п., а также лица из выделенных кластеров достаточно большого размера (родственники и знакомые, присутствующих на многих фотографиях). Планируется рассмотреть альтернативные методы анализа фотографий с предварительным автоматическим получением их текстовых описаний (image captioning), из которых интересы пользователей извлекаются с помощью методов обработки текстов, начиная от подсчета ключевых слов и заканчивая автоматической суммаризацией и группировкой описаний на основе их распределенных представлений. При анализе текстовых сообщений предполагается создание моделей пользовательских предпочтений и оценок, а также применение методик аспектного анализа тональности. Кроме того, будут исследованы способы повышения точности распознавания голосовых команд на многопользовательских мобильных устройствах с выбором акустической модели на основе предварительной идентификации характерных особенностей (пола, возраста) лица диктора по видеоданным. При этом для дальнейшего повышения точности распознавания будет использоваться оперативная настройка на переменный проблемно-ориентированный рабочий словарь.

Публикации по проекту:


Demochkin K. V., Savchenko A. Visual product recommendation using neural aggregation network and context gating // Journal of Physics: Conference Series. 2019. Vol. 1368. No. 032016. P. 1-7. doi
Kopeykina L., Savchenko A. Automatic Privacy Detection in Scanned Document Images Based on Deep Neural Networks, in: 2019 International Russian Automation Conference (RusAutoCon).: IEEE, 2019. С. 1-6. 
Demochkin K., Savchenko A. Multi-label Image Set Recognition in Visually-Aware Recommender Systems, in: Analysis of Images, Social Networks and Texts. 8th International Conference, AIST 2019, Lecture Notes in Computer Science, Revised Selected Papers. Cham : Springer, 2019. С. 291-297. 
Savchenko A., Rassadin A. G. Scene Recognition in User Preference Prediction Based on Classification of Deep Embeddings and Object Detection, in: Advances in Neural Networks – ISNN 2019 16th International Symposium on Neural Networks, ISNN 2019, Moscow, Russia, July 10–12, 2019, Proceedings, Part II. Cham : Springer, 2019. С. 422-430. 
Sokolov A., Savchenko A. Voice command recognition in intelligent systems using deep neural networks, in: 17th World Symposium on Applied Machine Intelligence and Informatics (SAMI).: IEEE, 2019. С. 113-116. 
Savchenko A., Дёмочкин К. В., Savchenko L. Neural Attention Mechanism and Linear Squeezing of Descriptors in Image Classification for Visual Recommender Systems // Optical Memory and Neural Networks (Information Optics). 2020. Vol. 29. No. 4. P. 297-304. doi
Sokolova A., Savchenko A. Computation-Efficient Face Recognition Algorithm Using a Sequential Analysis of High Dimensional Neural-Net Features // Optical Memory and Neural Networks (Information Optics). 2020. Vol. 29. No. 1. P. 19-29. doi
Демочкина П. В., Savchenko A. Improving the Accuracy of One-Shot Detectors for Small Objects in X-ray Images, in: Proceedings of IEEE International Russian Automation Conference (RusAutoCon 2020).: IEEE, 2020. С. 610-614. 
Kopeykina L., Savchenko A. Photo privacy detection based on text classification and face clustering, in: Proceedings of the VI International conference Information Technology and Nanotechnology. Session Image Processing and Earth Remote Sensing (ITNT-IPERS). Samara : CEUR Workshop Proceedings, 2020. С. 171-176. 
Malafeev A., Nikolaev K. A Deep Learning Method Study of User Interest Classification, in: Analysis of Images, Social Networks and Texts. 8th International Conference, AIST 2019, Kazan, Russia, July 17–19, 2019, Revised Selected Papers. Communications in Computer and Information Science.: Springer, 2020. С. 154-159. 
Maltina L., Malafeev A. Morpheme Segmentation for Russian: Evaluation of Convolutional Neural Network Models, in: Analysis of Images, Social Networks and Texts. 8th International Conference, AIST 2019, Kazan, Russia, July 17–19, 2019, Revised Selected Papers. Communications in Computer and Information Science.: Springer, 2020. С. 160-166. 
Малафеев А. Ю., Мальтина Л. П. Распределённые представления редких слов русского языка, учитывающие векторы однокоренных слов // Научно-техническая информация. Серия 2: Информационные процессы и системы. 2021. № 1.