Страница публикации

Спецификации обработчиков растровых изображений в рамках модели MapReduce

Авторы: Авраменко Ю.В., Шумилов А.С.

Журнал: География и природные ресурсы

Том:

Номер: S6

Год: 2016

Отчётный год: 2016

Издательство:

Местоположение издательства:

URL:

Аннотация: По мере развития информационных технологий увеличиваются объемы обрабатываемой информации, что требует как увеличения аппаратных мощностей, так и нахождения новых подходов к более эффективной обработке данных. В данной статье предлагается метод обработки растровых изображений на основе использования модели распределенных вычислений MapReduce. Модель MapReduce предполагает разбиение исходного массива данных на части с помо-щью операции map, отправку полученных частей на обработку и сбор результатов с помощью операции reduce. Сервисо-ориентированная среда распределенных сервисов ИДСТУ СО РАН, представляющая собой набор вычислительных узлов с развернутыми на них сервисами, также сталкивается с проблемами обработки больших массивов данных, в частности растровых данных. Для повышения скорости обработки растровых геопространственных данных в пределах сервисо-ориентированной среды было реализовано распределение растровых изображений между узлами вычислительной сети с помощью разработанных обработчиков для операций Map и Reduce. Распределение фрагментов растровых изображений осуществляется с помощью спецификаций – правил распределения и сбора обработанных данных. Правила задаются в текстовом виде, в формате JSON. Механизм создания и использования спецификаций интегрирован в информационную систему Геопортала ИДСТУ СО РАН. Геопортал позволяет централизованно выполнять распределенные сервисы. Ис-пользование спецификаций при выполнении сервисов позволяет эф-фективно использовать доступные вычислительные мощности. Предлагаемый метод позволяет использовать инструменты про-странственного анализа растровых изображений в распределенной вычислительной среде без их модификации. Выполнение распреде-ленных сервисов, работающих с большими объемами растровых дан-ных, в рамках модели MapReduce позволяет уменьшить время выпол-нения сервисов и максимально использовать имеющиеся аппаратные мощности.

Индексируется WOS: 0

Индексируется Scopus: 0

Индексируется РИНЦ: 1

Публикация в печати: 0

Добавил в систему: