Страница публикации
Спецификации обработчиков растровых изображений в рамках модели MapReduce
Авторы: Авраменко Ю.В., Шумилов А.С.
Журнал: География и природные ресурсы
Том:
Номер: S6
Год: 2016
Отчётный год: 2016
Издательство:
Местоположение издательства:
URL:
Аннотация: По мере развития информационных технологий увеличиваются объемы обрабатываемой информации, что требует как увеличения аппаратных мощностей, так и нахождения новых подходов к более эффективной обработке данных. В данной статье предлагается метод обработки растровых изображений на основе использования модели распределенных вычислений MapReduce. Модель MapReduce предполагает разбиение исходного массива данных на части с помо-щью операции map, отправку полученных частей на обработку и сбор результатов с помощью операции reduce. Сервисо-ориентированная среда распределенных сервисов ИДСТУ СО РАН, представляющая собой набор вычислительных узлов с развернутыми на них сервисами, также сталкивается с проблемами обработки больших массивов данных, в частности растровых данных. Для повышения скорости обработки растровых геопространственных данных в пределах сервисо-ориентированной среды было реализовано распределение растровых изображений между узлами вычислительной сети с помощью разработанных обработчиков для операций Map и Reduce. Распределение фрагментов растровых изображений осуществляется с помощью спецификаций – правил распределения и сбора обработанных данных. Правила задаются в текстовом виде, в формате JSON. Механизм создания и использования спецификаций интегрирован в информационную систему Геопортала ИДСТУ СО РАН. Геопортал позволяет централизованно выполнять распределенные сервисы. Ис-пользование спецификаций при выполнении сервисов позволяет эф-фективно использовать доступные вычислительные мощности. Предлагаемый метод позволяет использовать инструменты про-странственного анализа растровых изображений в распределенной вычислительной среде без их модификации. Выполнение распреде-ленных сервисов, работающих с большими объемами растровых дан-ных, в рамках модели MapReduce позволяет уменьшить время выпол-нения сервисов и максимально использовать имеющиеся аппаратные мощности.
Индексируется WOS: 0
Индексируется Scopus: 0
Индексируется РИНЦ: 1
Публикация в печати: 0
Добавил в систему: