Улучшение аналитической СУБД ClickHouse

ФИО студента: Анвардинов Шариф Ринатович

Руководитель: Пузыревский Иван Витальевич

Кампус/факультет: Факультет компьютерных наук

Программа: Прикладная математика и информатика (Бакалавриат)

Год защиты: 2018

В работе представлено сравнение различных методов генерации объектов для функциональных и регрессионных тестов субд ClickHouse. Изначально тестирование производилось над данными Яндекс.Метрики но с выходом ClickHouse в open source появилась необходимость предоставления тестовых данных для внешних контрибьюторов. Были сравнены четыре подхода к генерации тестовых данных: с использованием марковских цепей, нейронных сетей, сэмплирования из распределений и искажения сжатых данных. Сгенерированные данные должны иметь похожие свойства распределений значений; текстовые значения должны быть некоторым образом похожи на настоящие; данные должны иметь коэффициент сжатия, похожий на исходный, в целях репрезентативности на тестах производительности. В некоторых случаях требуется сохранить свойства совместного распределения некоторых столбцов. Например, должно быть видно, что для одного веб-сайта в логах множество поисковых запросов отличается своими свойствами от другого. После сравнения был реализован генератор тестовых данных использующий рекуррентные нейронные сети как наиболее точно приближающий реальные данные и универсальный в плане исходных данных которые он способен приближать.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ