Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

DEVELOPMENT OF ANALYTICAL MONITORING SYSTEM POOLS OF OPEN WATER BODIES AND FLOOD WARNINGS

Averchenkov V.I. 1 Leonov E.A. 1 Shkaberin V.A. 1 Kryshnev Y.V. 2 Zakharenko L.A. 2 Lepikh Y.I. 3
1 Bryansk State Technical University
2 Pavel Sukhoi State Technical University of Gomel
3 Odessa I.I. Mechnikov national University
3161 KB
The article considers the issues of creation of the automated system for the analysis of the situation in pools of open water bodies in order to build a detailed forecasts of dangerous situations during periods of high water floods and minimize material damage due to the timely notification of emergency personnel. In this paper, we propose the distributed architecture of the monitoring system, consisting of a mobile network control and measurement systems, Central data storage and analytical center, describes compositions and methods for interaction. The available methods for automatic real-time monitoring of water levels and temperatures by obtaining information from a distributed network of automatic sensors and combining meteorological data observations for individual gauging stations with the publication of these data in open access.
flood protection system
monitoring basin reservoirs
системный анализ
обработка данных
monitoring the Internet
the creation of complex distributed information systems
1. Averchenkov V.I., Shkaberin V.A. Development of the principles of creation of the automated system for monitoring of water level in open water. Vestnik Bryansk state technical University. Issue no 4. Bryansk: BSTU, 2013, pp. 143–148.
2. Averchenkov V.I., Shkaberin V.A., Lepikh Ya.I., Santoniy V.I., Kryshnev Yu.V. Automation procedures protivopavodkovoj monitoring of water level open water. Izvestiya VolGTY. 2014. Vol. 20, no 6 (133), pp. 92–97.
3. Averchenkov V.I., Shkaberin V.A., Ivkina N.N., Lepikh Ya.I., Kryshnev Yu.V. Research methods automation flood Moni-monitoring level open water reservoir. Mikhailo-Arkhangelskie chteniya: materially VIII mezhdunarodnoy nauchno-prakticheskoy konferentsii (15 november 2013). Rybnitsa, 2013. pp. 310–311.
4. Nikolay Ignatovich. IBM MQSeries: the system architecture of message queues. «Open Systems», 1999, no 9–1.
5. Krzysztof J. Cios, Data Mining: A Knowledge Discovery Approach, Springer 2007, ISBN 978-0-387-33333-5. Page 123 «4.2 OLAP Server Architectures».
6. Jim Gray and Andreas Reuter, Transaction Processing: Concepts and Techniques. p. cm, The Morgan Kaufmann series in data management systems. 1993.
7. Leonov E.A., Architecture and Self-learning Concept of Knowledge-Based Systems by Use Monitoring of Internet Network / Vladimir I.A., Averchenkov A.V., Kazakov Y.M., Leonov Y.A. // Knowledge-Based Software Engineering: Communications in Computer and Information Science., Springer International Publishing, 2014, Vol. 466, pp. 15–26.
8. Tyurin Yu.N., Makarov A.A., Statistical data analysis on a computer / Ed. by V.E. Figurnova. M.: INFRA-M, 1998, 528 p.

Анализ динамики уровня воды открытых водных источников выявил, что существующие противопаводковые системы не достаточно эффективны в целях раннего предупреждения наводнений, несмотря на их регулярность и сезонную повторяемость. Для решения данных проблем необходимо использовать комплексные аналитические системы мониторинга открытых водоемов, способных предоставлять специалистам по чрезвычайным ситуациям полную картину данных для анализа ситуации в бассейнах рек и осуществлять прогнозирование ее развития.

Для реализации данных целей проводились научные исследования совместно учеными вузов России (Брянский государственный технический университет), Украины (Одесский национальный университет им. И.И. Мечникова) и Республики Беларусь (Гомельский государственный технический университет им. П.О. Сухого), в рамках которых были исследованы различные аспекты методов создания автоматизированных противопаводковых систем для мониторинга открытых водоемов на основе применения новых видов телеуправляемых уровнемеров и современных информационно-коммуникационных технологий [1–3]. Разработанная автоматизированная система прошла испытания при мониторинге параметров уровня воды в опасных районах, которые охватывают пограничные территории соседних славянских государств.

Архитектура системы

Архитектура разработанной аналитической системы мониторинга состояния бассейнов открытых водоемов и противопаводкового предупреждения (рис. 1) состоит из трех основных компонентов: сети контрольно-измерительных комплексов (КИК), центра хранения измерений и аналитического центра. Все компоненты системы взаимодействуют друг с другом через сеть Интернет и могут быть физически разнесены.

Основой аналитической системы мониторинга должна стать масштабная сеть датчиков, расположенных в анализируемых открытых водоемах, что в свою очередь требует значительных материальных вложений на закупку необходимых датчиков гидростатического давления, температурных датчиков и организации изготовления на их базе контрольно-измерительных комплексов, способных самостоятельно взаимодействовать с центром хранения измерений через сеть Интернет. Датчики могут иметь самостоятельное мобильное базирование в пределах зоны покрытия операторов сотовой связи, а также могут быть установлены на уже имеющиеся контрольные гидропосты метеослужб, для автоматизации их деятельности, используя при этом наземные средства передачи данных и силовые линии. Каждый контрольно-измерительный комплекс предусматривает постоянные измерения показателей уровня воды и температуры и передачу их через заданный интервал с использованием средств мобильной связи в центр хранения измерений.

Основой центра хранения измерений является транзакционная база данных, построенная в соответствии с архитектурой OLTP (Online Transaction Processing) [4]. Применение данного вида архитектуры обусловлено огромным количеством, но незначительными по объему транзакций, совершаемых в реальном времени, что позволяет обеспечить минимальное время отклика системы при сохранении новых данных и выборки последних измерений. Основными функциями центра хранения измерений является аутентификация запросов, приходящих от КИК и сохранения новых данных, а также возможности управления сетью КИК и получения информации о состоянии ее отдельных компонентов.

aver1.tif

Рис. 1. Архитектура аналитической системы мониторинга бассейнов открытых водоемов

Аналитический центр предназначен для интеллектуального анализа данных, поступающих из различных источников, в том числе и из центра хранения измерений. В отличие от него основная база данных аналитического центра имеет многомерную структуру со множеством представлений и построенную на базе архитектуры OLAP (online analytical processing) [5]. Такая структура позволяет обеспечить наибольшую скорость доступа к различным аналитическим представлениям информации, созданным на основе анализа больших массивов данных, полученных от центра хранения измерений. В результате обработки данных в аналитическом центре производится прогнозирование ситуации в наблюдаемых районах, а также представление разносторонних отчетов и оповещение специалистов по чрезвычайным ситуациям.

Сеть контрольно-измерительных комплексов

Классические средства контроля состояния водоемов на гидропостах, накопление данных, и передача их через стационарные средства связи являются малоэффективными и не позволяют вести мониторинг ситуации в реальном времени для удаленного специалиста, а также в связи с малым объемом измерительных данных в краткосрочный период они не позволяют составлять точные и ранние прогнозы развития опасной ситуации. Для этого необходима автоматизация средств измерения и передачи данных с последующей их централизованной обработкой.

Для этих условий были разработаны собственные контрольно-измерительные комплексы (КИК), представляющие собой процессорный блок, имеющий внутри схемы согласования сигнала, поступающего от датчиков, программируемый микроконтроллер, модуль GPRS и аккумулятор для питания схем процессорного блока и подключаемых датчиков (рис. 2) [6].

 

aver2.tif

Рис. 2. Структурная схема контрольно-измерительного комплекса

Программируемый микроконтроллер использует на входе сигнал от датчиков уровня воды и температуры, а также о текущем заряде аккумулятора. На основе данной информации он формирует HTTP запрос и отсылает его через GPRS модуль на сервер хранения измерений. Каждый запрос может быть представлен в следующем виде:

av01.wmf, (1)

где d – дата и точное время фиксации показаний каждого датчика в отдельных параметрах; P – множество параметров, измеряемых КИК; la – уровень напряжения на аккумуляторе (характеризует его оставшийся заряд); id – идентификационный номер контрольно-измерительного комплекса; n – порядковый номер передаваемого сообщения; F(q’) – хеш-функция, вычисляемая от конкатенации значений всех передаваемых параметров q’, вычисленная с секретным ключом k.

Множество передаваемых параметров измерения представляет собой набор пар, включающих имя и значение, и имеет следующий вид:

av02.wmf, (2)

где nP – имя параметра; vP – значение параметра; NP – полное множество типов параметров, анализируемое системой; R – множество вещественных чисел. Полный перечень включаемых параметров в запрос, а также периодичность пересылки данных регулируются с помощью команд управления КИК.

Перед установкой датчика на место проведения измерений производится настройка контрольно-измерительного комплекса, в рамках которой задается идентификатор устройства и секретный ключ для вычисления хеш-функции. При получении запроса от КИК сервер выбирает в своей базе закрытый ключ по открытому идентификатору устройства и вычисляет хеш-функцию от всех переданных параметров. В случае если полученные значения при вычислении функций совпадают с переданной, то полученные данные заносятся в БД, иначе игнорируются.

Для реализации обратного управления контрольно-измерительным комплексом ему могут передаваться команды: перезагрузка, остановка передачи данных, возобновление передачи, повтор сообщений с определенного номера и др. Для этого от сервера хранения измерений посылается сообщение, содержащее произвольный набор данных, в которое в произвольное место помещается идентификатор команды и ее параметры, а в конце помещается хеш-функция переданных данных. Измерительный комплекс, получив данные, проверяет их аутентичность, вычисляя функцию с закрытым ключом, и если она совпадает, то производит поиск идентификатора любой команды и исполняет ее.

Использование в контрольно-измерительном комплексе модуля беспроводной связи, а также аккумуляторов позволяет значительно повысить мобильность данного комплекса, при этом позволяя размещать прибор вне наземных средств передачи данных, а также без использования стационарных силовых линий, которые также могут быть использованы в случае установки прибора в специально оборудованных гидропостах, имеющих средства коммуникации и подведенные силовые линии.

Центр хранения измерений

Все измеряемые данные приходят на http сервер в центре хранения измерений, после чего запросы обрабатываются модулем регистрации данных (рис. 3).

aver3.tif

Рис. 3. Алгоритм регистрации сообщений от КИК

Задачи данного модуля – произвести аутентификацию принимаемых данных, а также, в случае если для приславшего запрос КИК имеется команда управления, выслать ему эту команду. При получении потока сообщений от КИК все они накапливаются в очереди. При этом сообщения разбиваются по отдельным типам датчиков и сортируются в хронологическом порядке их измерений. Таким образом, измерения, полученные от одного КИК в одном сообщении, представляются в виде нескольких отдельных измерений одного устройства имеющих конкретные штампы времени. Из измерений датчиков различного типа формируются отдельные непрерывные потоки данных, которые последовательно сохраняются в OLTP базе данных [7].

Перед сохранением все полученные сообщения q транслируются в множество измерений Mq(Т:q → Mq), где каждый элемент mq представляет собой множество:

av03.wmf, (3)

где ids – уникальный идентификатор датчика измерений, полученный из базы данных по идентификатору КИК (id∈q), имени передаваемого параметра nP∈P∈q, которое характеризует тип измеряемого параметра. Кортеж mp также содержит множество измерений, выбранных из очереди сообщений, где каждый элемент является парой даты и значения измерений d, vp. База данных хранит измерения каждого датчика в отдельных файлах. При этом данная структура хранения позволяет гибко расширять систему за счет добавления модифицированных КИК с дополнительными или иными датчиками без изменения структуры хранения информации и внесения изменений в уже сохраненные данные. Все файлы пишутся линейно за счет добавления новых записей фиксированной длины в конец файлов в четко хронологическом порядке, что позволяет привести к линейному возрастанию сложности записи при увеличении объема потока данных (количества измерений в секунду) и не приводить к деградации скорости записи при увеличении объема хранимых данных.

Данная структура БД не имеет ключей и не предназначена для выборки данных по значениям отдельных полей записей. Основные цели данной базы – обеспечить максимальную скорость осуществления транзакций записи данных, их резервирование и хранение. Выборка данных производится только линейно в заданном интервале записей. При достижении заданных объемов файлов создается его копия, которая помещается в архив, а размер рабочего актуального файла урезается до заданного значения, определяющего количество последних записей доступного для оперативного доступа.

Центр хранения измерений имеет собственный веб-интерфейс, пользователем которого является инженер по обслуживанию сети контрольно-измерительных комплексов (рис. 4). Интерфейс предназначен для слежения за работоспособностью центра хранения измерений, настроек параметров OLTP базы данных и ее резервирования, регистрации новых и осуществления управления имеющимися КИК, а также получения актуального состояния сети измерительных приборов.

 

aver4.tif

Рис. 4. Пример веб-интерфейса инженера по обслуживанию сети КИК

 

С использованием интерфейса инженер производит регистрацию новых КИК, для этого он вносит всю необходимую информацию о нем, после чего система выдает сгенерированный ключ и идентификатор устройства, который должен быть записан в самом КИК. После установки на место измерений для КИК отправляется команда его включения в систему и заносится дата первого полученного сообщения как основная дата установки.

Также инженер обслуживания сети должен заносить в БД информацию о производимых работах с сетью, таких как установка новых КИК, замена аккумуляторов, ремонт, модернизация отдельных ее узлов.

Центр хранения информации может быть распределен по региональному принципу размещения датчиков, а также в случае необходимости уменьшения нагрузки на сервер в КИК могут быть установлены несколько различных адресов центров хранения для их чередования, в результате чего будет построена разнесенная база измерений.

Аналитический центр

Основной задачей аналитического центра является оперативный анализ данных и прогнозирование ситуации в наблюдаемом регионе. Результатом работы аналитического центра являются визуальное представление аналитических данных, специализированные отчеты об актуальной ситуации и разработанных прогнозах. Вся данная информация предоставляется специалисту по чрезвычайным ситуациям по средствам специально разработанного веб-интерфейса, в котором он также имеет возможность настройки подсистемы экстренного оповещения об ухудшении ситуации и неблагоприятных прогнозах.

Основой для анализа являются данные о состоянии наблюдаемых объектов, формируемых в центре хранения измерений. Для получения этих данных производится постоянная синхронизация через сеть Интернет с заданными параметрами точности получения измерений.

Преобразованные данные хранятся в базе статистических и аналитических данных. При этом неактуальные измерения, имеющие давность более года, используются для создания прогноза в виде статистических данных. Такие устаревшие данные необходимы для построения объективных моделей возможных развитий ситуации, а также в связи с циклическим повторением состояний объектов наблюдения.

Заключение

В статье рассмотрены основные принципы построения комплексной аналитической системы мониторинга бассейнов открытых водоемов и противопаводкового предупреждения. При построении системы предлагается производить автоматическую регистрацию состояния водных бассейнов посредством сети контрольно-измерительных приборов, устанавливаемых в наиболее значимых точках водоемов, каждое из которых имеет несколько различных датчиков для проведения измерений в реальном времени.

Предложенная архитектура системы является гибко расширяемой и масштабируемой, что реализуется посредством разделения системы на процессинговый центр хранения измерений, построенный на базе структуры OLTP систем, и аналитического центра, использующий базы статистических и аналитических данных на базе OLAP, а также имеющий базу знаний о бассейнах водоемов представленную в виде онтологий. Взаимодействия всех узлов осуществляются посредством сети Интернет, что позволяет распределять узлы как логически по региональному признаку, так и географически.

Статья подготовлена в рамках гранта РФФИ «Исследование и разработка метода и автоматической системы противопаводкового мониторинга уровня воды открытых водоемов» (проект № 13-01-90351).

Рецензенты:

Шведенко В.Н., д.т.н., профессор, заведующий кафедрой «Информационные технологии» Костромского государственного технологического университета, г. Кострома;

Коськин А.В., д.т.н. профессор, проректор по информатизации ФГБОУ «Государственный университет учебно-научно-производственный комплекс», г. Орел.

Работа поступила в редакцию 05.12.2014.