Новый метод кластеризации упрощает анализ больших массивов информации
Исследователи из ВШЭ и Института проблем управления РАН предложили новый метод анализа данных — туннельную кластеризацию. Он помогает быстро находить группы похожих объектов и требует меньше вычислительных ресурсов, чем традиционные методы. В зависимости от конфигурации данных алгоритм может работать в десятки раз быстрее аналогов. Исследование опубликовано в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления».
С каждым годом объем информации, которую нужно обработать, становится все больше. Данные поступают из разных источников: научных исследований, финансовых отчетов, медицинских обследований и множества других. Для поиска закономерностей и структурирования информации в таких массивах применяют методы кластеризации — группировки данных по схожим характеристикам. Группы, полученные таким способом, называют кластерами.
Один из самых популярных методов кластеризации — метод k-средних. Он делит данные на заданное количество кластеров, предварительно выбирая их центры (центроиды). Однако у этого метода есть ограничение: перед началом работы необходимо знать, сколько кластеров должно получиться, что не всегда возможно при анализе сложных данных.Ученые из НИУ ВШЭ и Института проблем управления имени В.А. Трапезникова РАН предложили новый подход, который упрощает этот процесс, — туннельную кластеризацию. В отличие от метода k-средних, этот алгоритм не требует заранее задавать число кластеров: он сам определяет, сколько кластеров необходимо, анализируя структуру данных.
Фуад Алескеров
«Алгоритм формирует “туннели” данных — области в многомерном пространстве, в которых группируются объекты с похожими характеристиками, — объясняет руководитель департамента математики факультета экономических наук НИУ ВШЭ Фуад Алескеров. — Пользователь может выбрать один из трех вариантов работы алгоритма: с фиксированными границами кластеров, с адаптивными границами, которые подстраиваются под структуру данных, или комбинированный подход. Это делает метод гибким и подходящим для разных типов задач».
Метод протестировали на синтетическом (сгенерированном) наборе данных из 100 000 объектов, а также на реальных задачах в области государственного управления и банковского сектора.
Главное преимущество нового метода — скорость. В отличие от классических алгоритмов, требующих больших вычислительных ресурсов, туннельная кластеризация в зависимости от конфигурации данных может справляться с анализом в десятки раз быстрее.
Кроме того, ученые ввели понятие «степень перехода» — параметр, который показывает, сколько характеристик объекта нужно изменить, чтобы он оказался в другом кластере. Это помогает оценить четкость границ кластеров и выявлять объекты, находящиеся на стыке групп.
Алексей Мячин
«Люди создают все больше данных, и этот процесс только ускоряется. Согласно последнему отчету “Digital 2025: Global Overview Report”, в начале 2025 года в интернете насчитывалось 5,56 миллиарда пользователей — это почти 68% населения планеты. Взрослые проводят в Cети в среднем по 6 часов 38 минут в день, общаясь, работая, смотря видео и потребляя контент, — рассказывает старший научный сотрудник Международного центра анализа и выбора решений НИУ ВШЭ Алексей Мячин. — Компании, которые игнорируют анализ данных, теряют большие деньги».
Авторы продолжают работать над усовершенствованием алгоритма, включая исследования по снижению размерности данных, что позволит еще больше сократить временные затраты при поиске закономерностей в данных.
Работа выполнена при частичной поддержке РНФ.
Вам также может быть интересно:
Как прогнозировать будущее науки и технологий
Лаборатория исследований науки и технологий, действующая в структуре Института статистических исследований и экономики знаний НИУ ВШЭ, изучает текущее состояние научных исследований и разработок, анализирует тренды и их динамику, что позволяет понимать масштаб вызовов, связанных с применением новейших технологий, определять приоритеты будущих работ, формировать научную и промышленную политику. Новостная служба «Вышка.Главное» побеседовала с заведующей лабораторией Лилианой Проскуряковой и директором Форсайт-центра ИСИЭЗ Александром Соколовым.
Плоская модель местности скрыла от симулятора потерю связи между машинами
Исследователи МИЭМ ВШЭ показали, что популярные симуляторы связи между автомобилями заметно переоценивают ее надежность, потому что считают рельеф местности плоским. Если учесть рельеф, мосты и туннели, доля потерянных соединений на горном серпантине вырастает с 21 до 30%, у эстакады — с 20 до 33%, а в туннеле — с нуля до 80%.Результаты опубликованы в журнале Future Transportation.
РНФ поддержал 26 научных проектов НИУ ВШЭ
Российский научный фонд подвел итоги конкурса на получение грантов «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами». Победителями признаны более 850 проектов, в том числе 26 из Высшей школы экономики.
«Наши работы можно назвать исследованиями на переднем крае науки»
Международная лаборатория кластерной геометрии, действующая на факультете математики НИУ ВШЭ, занимается формированием новой научной дисциплины, соединяющей в себе знания из различных областей математики. Выполненные в ней работы вызывают большой интерес, в том числе у зарубежных коллег. Лаборатория изучает семейства кривых и разрабатывает методы, применяемые в исследованиях физического микромира. Новостная служба «Вышка.Главное» побеседовала с заведующим лабораторией профессором Сергеем Ландо.
«Наш коллектив состоит из настоящих лидеров в своих научных дисциплинах»
Международный центр анализа и выбора решений НИУ ВШЭ исследует широкий спектр методов изучения принятия решений и вероятных сценариев развития природных, социально-экономических и политических явлений, применяя различные математические модели. Использование методов высшей математики для прогнозирования позволяет избежать негативного развития событий и ошибочных решений. О деятельности центра новостная служба «Вышка.Главное» побеседовала с его директором профессором Фуадом Алескеровым.
Какие компетенции развивает аспирантура
Российская аспирантура, по оценкам ее выпускников, лучше развивает исследовательские навыки, чем сквозные компетенции, востребованные в различных, в том числе неакадемических, областях. К таким выводам пришли исследователи ИСИЭЗ НИУ ВШЭ Елизавета Маринина и Алена Нефедова, а также Галина Ефимова из Тюменского государственного университета. Результаты анализа были представлены на 38-й ежегодной международной конференции Консорциума исследователей высшего образования CHER 2026.
«Время на содержательные вопросы у нас не лимитировалось»
Международная лаборатория атомистического суперкомпьютерного моделирования и многомасштабного анализа НИУ ВШЭ провела масштабную конференцию «Молекулярная динамика». Участники могли услышать всех докладчиков, а сами докладчики — ответить на любое количество содержательных вопросов. О подготовке конференции и дискуссиях «Вышка.Главное» поговорила с заведующим лабораторией Григорием Смирновым и ее главным научным сотрудником Генри Норманом.
НИУ ВШЭ расширяет сотрудничество с Малайзией в сфере технологического форсайта
Ученые НИУ ВШЭ примут участие в исследовании перспектив инженерного образования в Малайзии, а Малайзийская промышленно-правительственная группа высоких технологий (MIGHT) использует для валидации результатов их форсайт-исследований систему анализа больших данных iFORA. Таковы результаты визита представителей Вышки в Куала-Лумпур.
Ученые ВШЭ разработали алгоритм, позволяющий производить более надежные процессоры для ЦОД
Ученые из МИЭМ ВШЭ и Самарского университета создали алгоритм LRF-3D для автоматического обхода неработающих узлов в трехмерных сетях на кристалле. Благодаря своей иерархической организации он превосходит аналоги по быстродействию и точности пути, повышая надежность процессоров для использования в ЦОД, суперкомпьютерах и ИИ-вычислениях. Исходные коды алгоритмов и тестов опубликованы в открытом доступе.
Социальная интеграция: на перекрестках знаний и ценностей
Международная лаборатория исследований социальной интеграции (МЛИСИ) НИУ ВШЭ занимается изучением проблем уязвимых слоев населения и поиском методов их вовлечения в полноценную повседневную жизнь. Для поиска решений ученые лаборатории сочетают разработку передовых методов с практической работой «в поле». О деятельности лаборатории новостной службе «Вышка.Главное» рассказала ее заведующая Елена Ярская-Смирнова.