Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

TECHNOLOGY OF CONVERGENT DATA PROCESSING IN A SECURE NETWORK MONITORING SYSTEM

Finogeev A.A. 1 Finogeev A.G. 1 Nefedova I.S. 1
1 Penza State University, Penza
The article discusses the concept of convergent distributed data processing based on convergence models the GRID, the cloud and fog computing. It is proposed to use this paradigm for organizing analytical processing of big sensor data in SCADA systems for the organization of supervisory control of spatially distributed engineering networks and processes of energy distribution and consumption. This concept model of the «fog» of calculations can be implemented for the processing, normalization and aggregation of sensor data at the sensor network nodes and/or industrial controllers, and the GRID or «cloud» computing model to analyze the aggregate data in a computing cluster dispatching SCADA systems. To support the model of «fog» computing processes and secure collection and processing of sensor data using a wireless transport medium based on the ZigBee sensor network segments and cellular networks. Special attention is paid to decision of questions of information security among the fog computing. Aggregates of data and integrated parameters are transferred to the accumulation of information in the multi-dimensional store for later retrieval and mining in GRID computing cluster system.
convergence
distributed computing
cloud computing
grid
fog computing
wireless sensor network
SCADA
big sensory data
1. Kamaev V.A., Finogeev A.G., Nefedova I.S., Fino geev E.A Instrumentalnye sredstva oblachnogo monitoringa raspredelennyh inzhenernyh setej // Izvestija Volgogradskogo gosudarstvennogo tehnicheskogo universiteta, serija «Aktualnye problemy upravlenija, vychislitelnoj tehniki i informatiki v tehnicheskih sistemah», 2014, t. 22 (no. 25), vyp. 20, рр. 164–176.
2. Finogeev A.G., Nefedova I.S., Finogeev E.A., Kuang Vin Thaj, Kamaev V.A., Shevchenko S.V., Finogeev A.A. Analiz dannyh v sisteme dispetcherizacii gorodskogo teplosnabzhenija // Prikaspijskij zhurnal: upravlenie i vysokie tehnologii, 2014, no. 2 (26), рр. 182–197.
3. Finogeev A.G., Dilman V.B., Finogeev A.A., Mas lov V.A. Operativnyj distancionnyj monitoring v sisteme gorodskogo teplosnabzhenija na osnove besprovodnyh sensornyh setej // Izvestija vysshih uchebnyh zavedenij. Povolzhskij region. Tehnicheskie nauki., 2010, no. 3, рр. 27–36.
4. Eisa Aleisa Wireless Sensor Networks Framework for Water Resource Management that Supports QoS in the Kingdom of Saudi Arabia Original Research Article, Procedia Computer Science, Volume 19, 2013, рр. 232–239
5. Jamal N. Al-Karaki, Raza Ul-Mustafa, Ahmed E. Kamal, Data Aggregation in Wireless Sensor Networks – Exact and Approximate Algorithms, Proceedings of IEEE Workshop on High Performance Switching and Routing (HPSR) 2004, Phoenix, USA.
6. Lorincz K., Malan D., Fulford-Jones T.R.F., Nawoj A., Clavel A., Shnayder V., Mainland G., Welsh M., Moulton S. Sensor networks for emergency response: challenges and opportunities, Pervasive Computing for First Response (Special Issue), IEEE Pervasive Computing, 2004.
7. Kamaev V.A., Fionova L.R., Finogeev A.G., Fino geev A.A. Wireless monitoring and control at urban heating supply system // International Journal of Applied Engineering Research, 2015, Volume 10 (no. 3), рр. 6499–6507.
8. Hewwit C. ORGs for Scalable, Robust, Privacy-Friendly Client Cloud Computing //IEEE Internet Computing. Vol. 12, NY, USA, 2008. doi: 10.1109/MIC.2008.107.
9. OASIS Standard MQTT Version 3.1.1 29 (October 2014), Available at: http://docs.oasis-open.org/mqtt/mqtt/v3.1.1/os/mqtt-v3.1.1-os.html , (accessed 23.11.2015).
10. Armbrust M., Fox A., Griffith R., Joseph A., Katz R., Konwinski A., Lee G., Patterson D., Rabkin A., and Stoica I. Above the clouds: A Berkeley view of cloud computing, EECS Department, University of California, Berkeley, Tech. Rep. UCB/EECS-2009-28, 2009.
11. Valery Kamaev, Alexey Finogeev, Anton Finogeev, and Sergiy Shevchenko Knowledge Discovery in the SCADA Databases Used for the Municipal Power Supply System /Knowledge-Based Software Engineering (JCKBSE 2014), 2014, рр. 1–15.

Внедрение автоматизированных систем управления технологическими процессами выдвигает на первый план необходимость сбора и обработки большого объема телеметрических (сенсорных) данных с множества датчиков, располагаемых на объектах мониторинга для анализа и прогнозирования состояния и функционирования объектов, процессов и явлений техногенного и природного характера. Разработка беспроводных сенсорных сетей и их использование в системах дистанционного мониторинга объектов и процессов достаточно широко освещается в литературе [3, 6], так как существует тенденция к замене проводных телекоммуникаций беспроводными каналами связи для мониторинга пространственно-распределенных объектов на больших территориях, к которым относятся сети инженерных коммуникаций предприятий энергетики [4, 7]. Для сетей инженерных коммуникаций с большим числом объектов не всегда возможно реализовать полномасштабный сбор и передачу данных в единый диспетчерский центр для обработки в режиме реального времени. Поэтому актуальность приобретает задача синтеза и исследования модели и метода распределенных вычислений, которые можно реализовывать на оконечных пунктах сбора данных. Поэтому для решения задач сбора и обработки больших сенсорных данных (BigSensorData) концепция конвергентных распределенных вычислений с использованием защищенной беспроводной транспортной среды в плане обеспечения информационной безопасности.

Цель исследований ? синтез технологии конвергентной обработки данных на основе интеграции модели «туманных» и «облачных» вычислений.

Можно выделить три основных модели распределенных вычислений: параллельные GRID вычисления, облачные вычисления (cloud computing) и туманные вычисления (fog computing). GRID вычисления базируются на архитектуре компьютерных сетей и представляют собой способ организации вычислительного процесса, когда части задания распределяются по свободным в данный момент сетевым ресурсам для решения задач, сложных для отдельно взятого узла. Облачные вычисления (cloud computing) – это модель предоставления повсеместного сетевого доступа к общему пулу конфигурируемых ресурсов. Пользователь использует технологию «тонкого» клиента в качестве средства доступа к приложениям, платформам и данным, а вся инфраструктура системы находится у провайдера. Модель облачных вычислений возникла как развитие модели параллельных распределенных вычислений (Grid computing) [10]. Термин Grid вычисления относится преимущественно к архитектуре компьютерных сетей и представляет собой ориентированный на виртуализацию способ организации вычислительного процесса, когда части задачи распределяются по свободным в данный момент ресурсам сети для решения задач, сложных для отдельно взятого узла, что требует использования специального ПО. В документе IEEE «ORGs for Scalable, Robust, Privacy-Friendly Client Cloud Computing» [8] облачная обработка данных определена как технология распределенных вычислений, в рамках которой информация хранится в «облачном» хранилище на серверах в сети Интернет и временно кэшируется на клиентской стороне для аналитической обработки.

Туманные вычисления – это платформа распределенных вычислений и служб хранения информации на терминальных устройствах, а также сетевые службы передачи данных в центры сбора, хранения и обработки данных. Концепция туманных вычислений предусматривает распределённые вычисления, но выполняются они терминальные устройствами с ограниченными вычислительными и энергетическими ресурсами.

Конвергентная концепция распределенных вычислений означает:

1. Процесс сближения существующих моделей распределенных вычислений (GRID, Cloud-computing, Fog-computing).

2. Процесс сведения кластерных вычислительных систем (grid-кластеров, «облачных» кластеров и «туманных» кластеров) в единую инфокоммуникационно-вычислительную систему.

3. Процесс сведения в интегрированный комплекс серверных приложений бизнес-логики, операционных платформ, систем хранения данных, сетевых технологий, технологий виртуализации и т.п.

4. Разработка единого механизма управления и администрирования с поддержкой комплексной системы обеспечения информационной безопасности на всех уровнях распределенной обработки и хранения данных.

Архитектура системы, реализующей конвергентную концепцию распределенных вычислений, включает 4 программно-аппаратных уровня:

1. Множество терминальных сенсорных узлов, связанных с датчиками и промышленными контролерами, непосредственно реализующих туманные вычисления.

2. Координаторы сенсорных сегментов, модемы сотовой связи, ретранслирующие маршрутизаторы, осуществляющие сбор и доставку сенсорных данных.

3. Вычислительный кластер GRID вычислений.

4. Пользовательские устройства для доступа к информационным ресурсам.

Для взаимодействия программных агентов «туманных» вычислений с вычислительным GRID кластером реализуется механизм интеллектуальных брокеров. Брокером называется программный агент, реализующий функции накопления, шифрования, управления ключами, маршрутизации и передачи данных, разворачиваемый на координаторах сенсорных сегментов и промежуточных ретрансляторах сенсорной сети. Здесь целесообразно использовать протокол MQTT (Message Query Telemetry Transport)  [9]. MQTT представляет протокол обмена сообщениями, предназначенный для использования в сетях с минимумом энергетических и вычислительных ресурсов. Сбор результатов туманных вычислений, поступающих из сенсорных сегментов ZigBee сети, осуществляется с помощью протокола MQTT посредством брокера. В качестве шлюза, в который загружается брокер, выступает координатор сенсорного сегмента сети ZigBee или модем сотовой связи.

Модель и метод «туманных» вычислений на базе беспроводной сенсорной сети с механизмами информационной защиты

Базовый уровень конвергентной модели реализуется на платформе распределенных «туманных» вычислений посредством программных агентов, интегрированных в узлы беспроводной сенсорной сети и/или в промышленные контроллеры. Для реализации модели «туманных» вычислений предлагается использовать беспроводную сенсорную сеть технологии ZigBee, поскольку каждый узел имеет микроконтроллер с предустановленной ОС, флеш-память и интерфейс для получения данных с датчиков и приборов автоматики. Терминальные вычислительные узлы распределены по периферии сети, и обработка информации в них может проводиться в режиме реального времени непосредственно в процессе сбора данных. Согласно модели туманных вычислений сенсорные узлы будут использоваться не только для сбора и передачи данных, но и для реализации операций по их структурированию и агрегированию [5]. Перенос на сенсорные узлы ряда операций, связанных с обработкой первичных сенсорных данных в плане их очистки, агрегирования, кластеризации и фильтрации обеспечит:

1. Снижение загруженности каналов связи сенсорных сетей.

2. Повышение автономности сети за счет сокращения числа передач.

3. Снижение нагрузки на серверные приложения.

4. Уменьшение объема данных в информационном хранилище.

5. Обработку сенсорных данных в режиме реального времени.

Предварительная обработка данных, собираемых узлами сенсорной сети с датчиков, приборов учета и промышленной автоматики, заключается в вычислении агрегированных энергетических показателей непосредственно в сетевых узлах. Затем показатели передаются для интеграции в «облачном» хранилище с целью последующего извлечения и интеллектуального анализа в кластерах масштабируемой GRID системы [1]. Таким образом, первой задачей в плане создания единой среды конвергентных вычислений является организация беспроводной сенсорной сети, создаваемой на базе множества автономных модулей, которые могут не только собирать данные с датчиков и приборов промышленной автоматики, но и выполнять обработку, анализ, агрегацию и хранение данных, реализуя модель «туманных» вычислений.

К идее использования вычислительных узлов ограниченной мощности, распределенных на большой территории и связанных в единую транспортную среду сенсорной сети, для решения аналитических задач привело создание и распространение промышленных вирусов и троянских программ, которые могут дистанционно загружаться на контроллеры и сенсорные узлы, мигрировать по промышленным сетям и вызывать определенные деструктивные действия. Аналогичный подход предлагается реализовать для дистанционной загрузки программных агентов на терминальные устройства. Способность агента дублировать самого себя и распространить свои копии на другие узлы сети назовем «миграцией». Безопасность функционирования агентов в беспроводной сенсорной сети можно обеспечивать следующими способами:

– установкой на этапе прошивки сенсорного узла (запрет процесса миграции);

– установкой и конфигурированием в процессе функционирования системы мониторинга с помощью оборудования (миграция разрешена в ручном режиме);

– установкой через защищенные каналы связи (VPN сети);

– установкой в виде встраиваемых служб операционной платформы и проприетарных протоколов для сенсорных узлов и контроллеров от конкретного производителя непосредственно на этапе их разработки;

– использованием стандартных средств информационной защиты, таких как присвоение электронной цифровой подписи, цифровой сертификации и шифрования сообщений, которыми они обмениваются.

Модель «туманных» вычислений на базе сенсорной сети можно представить в виде гиперграфа с двумя подмножествами вершин и ребер и расширенными свойствами (рисунок).

finogeev01.wmf,

pic_65.tif

Гиперграфовое представление модели туманных вычислений

где подмножество вершин finogeev02.wmf описывает сетевые узлы с весовыми (id) атрибутами, характеризующими вычислительные особенности контроллеров и координатами {x, y} пространственно-распределенных узлов, подмножество вершин finogeev03.wmf определяет загружаемые программные агенты с атрибутами (pa), характеризующими параметры модулей, и атрибутами к, определяющими вычислительные функции, подмножество гиперребер finogeev04.wmf постоянной инцидентности описывает каналы передачи данных с весовыми (id) атрибутами, подмножество гиперребер Uvar переменной инцидентности описывает маршруты миграции загружаемых программных агентов на узлы и контроллеры, P – предикат, определяющий инцидентность вершин и гиперребер.

Подмножество вершин finogeev05.wmf определяет различные виды устройств, в том числе процессоры сенсорных узлов и контроллеры приборов автоматики, учета и контроля энергоносителей, а также разные операционные платформы и программные прошивки. Поэтому в нем выделяются кластеры однотипных вершин, сгруппированных по вычислительной мощности и платформам, которые позволяют загружать агенты определенного класса, подмножество вершин которых Vpa также разделено на кластеры. Гиперребра постоянной инцидентности Uconst (a1, …, an), где n = const, делятся на кластеры, объединяющие сегменты конкретной сетевой технологии. Гиперребра Uvar объединяют подмножества вершин, моделирующих программные агенты, с подмножеством вершин, моделирующих конкретные типы контроллеров и сенсорных узлов, в которые они загружаются для выполнения вычислительных задач. Особенность гиперграфовой модели заключается в том, что множество гиперребер Uvar (b1, …, bm) является структурой, динамически изменяющейся в реальном времени, а также геопространственная привязка вершин, моделирующих узлы туманных вычислений, что позволяет решать задачи пространственно-временного анализа миграционных процессов агентов. Для семантического описания конвергентной инфраструктуры распределенных вычислений может быть использована реляционная модель. Вершине гиперграфа в таблице соответствует статическая запись с атрибутами конкретного объекта мониторинга и устройства обработки информации. Гиперребру Uconst также соответствует статическая запись, а гиперребру Uvar – динамически изменяющаяся запись.

Заключение

Инструментарий интеллектуального анализа данных работает на стороне вычислительного GRID кластера серверов и разрабатывается на платформе Java Enterprise Edition (J2EE) с использованием многослойной платформы Spring framework и технологии объектно-реляционного проецирования ORM (Object-relational mapping) Hibernate [2, 11]. Библиотека Hibernate решает задачи объектно-реляционного проецирования для связи классов Java с таблицами БД, типов данных Java с типами данных SQL. Объектно-реляционный адаптер Hibernate используется для обеспечения гибкости запросов и прозрачности работы с хранилищем через систему Cassandra. В качестве серверной платформы в системе анализа данных и поиска знаний можно использовать сервер приложений JBoss Application. Обмен данными между «тонкими» клиентами и серверами вычислительного кластера реализуется на базе протоколов HTTPS и AMF (Adobe Media Format) с использованием платформы Adobe Flex и технологии ActionScript. Архитектура вычислительного кластера GRID вычислений включает сеть серверов небольшой мощности на первом уровне и графические процессоры видеокарт серверных узлов на втором уровне с поддержкой технологии CUDA для параллельной обработки данных с целью повышения производительности и вычислительной мощности кластера.

Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 15-37-50142, 15-07-01720.

Рецензенты:

Кравец А.Г., д.т.н., профессор кафедры «Системы автоматизированного проектирования и поискового конструирования», ФГБОУ ВПО «Волгоградский государственный технический университет», г. Волгоград;

Шуршев В.Ф., д.т.н., профессор кафед­ры «Информационные системы», ФГБОУ ВПО «Астраханский государственный технический университет», г. Астрахань.