Умные алгоритмы обработки строк в ClickHouse

ФИО студента: Кутенин Данила Михайлович

Руководитель: Сухорослов Олег Викторович

Кампус/факультет: Факультет компьютерных наук

Программа: Прикладная математика и информатика (Бакалавриат)

Оценка: 10

Год защиты: 2019

Обработка строк встречается везде - каждую секунду обрабатываются тысячи текстовых запросов в поисковых системах среди нескольких петабайт возможно сжатых данных. Конечно, существуют классические асимптотически оптимальные методы поиска подстрок, но исследования продолжают происходить по сей день для ускорения на реальных данных. Мы расскажем о собственно придуманном алгоритме поиска одновременно нескольких подстрок мульти-Волницкий, который был внедрён в систему управления базами данных ClickHouse. Мы также реализовали поиск многих регулярных выражений с помощью библиотеки hyperscan. Мы добавили несколько методов приближенного поиска, чтобы находить опечатки и зависимости между строками. Мы уделили много внимания SIMD методам обработки UTF-8 закодированных строк. Также мы хотим рассказать о вероятностной оптимизации алгоритма разжатия LZ4 и как он используется в ClickHouse.

Текст работы (работа добавлена 15 мая 2019 г.)

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ