• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Исследование производительности Apache Spark на растровых данных

ФИО студента: Морозов Иван Александрович

Руководитель: Родригес Залепинос Рамон Антонио

Кампус/факультет: Факультет компьютерных наук

Программа: Программная инженерия (Бакалавриат)

Год защиты: 2018

БОЛЬШИЕ ДАННЫЕ, APACHE SPARK, HDFS, КЛАСТЕРНЫЕ ВЫЧИСЛЕНИЯ, ДИСТАНЦИОН- НОЕ ЗОНДИРОВАНИЕ ЗЕМЛИ, MICROSOFT AZURE, HDInsight, SCALA, GEOTRELLIS Объект исследования - Операции обработки растровых данных. Предмет исследования - оценка производительности системы Apache Spark при выполнении пространственных операций над данными дистанционного зондирования космическим аппаратом Landsat 8. Исследование включает в себя реализацию и проверку таких операций, как тайлинг, репроэк- ция, вычисление вегетационного индекса, построение пирамиды, чтение в память кластера с учетом геопривязки и сохранение обработанных изображений в распределенном хранилище. Данные опе- рации были реализованы на языке программирования Scala с использованием библиотеки GeoTrellis. Кластер Apache Spark был создан с помощью технологии Azure HDInsight. Актуальность исследования обусловлена разработкой инновационной системы обработки растро- вых данных на факультете компьютерных наук НИУ ВШЭ, в связи с чем возникает потребность в сравнении различных систем кластерных вычислений и демонстрации преимуществ разрабатывае- мой системы.

Выпускные квалификационные работы (ВКР) в НИУ ВШЭ выполняют все студенты в соответствии с университетским Положением и Правилами, определенными каждой образовательной программой.

Аннотации всех ВКР в обязательном порядке публикуются в свободном доступе на корпоративном портале НИУ ВШЭ.

Полный текст ВКР размещается в свободном доступе на портале НИУ ВШЭ только при наличии согласия студента – автора (правообладателя) работы либо, в случае выполнения работы коллективом студентов, при наличии согласия всех соавторов (правообладателей) работы. ВКР после размещения на портале НИУ ВШЭ приобретает статус электронной публикации.

ВКР являются объектами авторских прав, на их использование распространяются ограничения, предусмотренные законодательством Российской Федерации об интеллектуальной собственности.

В случае использования ВКР, в том числе путем цитирования, указание имени автора и источника заимствования обязательно.

Реестр дипломов НИУ ВШЭ