Поузданост података у процесу аквизиције великих временских серија у мониторингу климатских елемената

Abstract

Урбано окружење дефинише специфичну микро-климу која директно утиче на квалитет живота у урбанизованим подручјима, често имајући негативан утицај на урбану популацију. Феномени попут урбаног топлотног острва и површи, представљају директан продукт урбаног начина живота. Урбане метеоролошке мреже (urbanmeteorological networks, UMNs) представљају алат који омогућава боље разумевање и анализу тренутних фактора као и алат уз који се боље планира урбани развој. Постављене да прате и бележе различите објекте и њихова стања у оквиру урбане средине, урбане метеоролошке мреже креирају базу великих, метеоролошких, временских серија. Најчешће имплементације оваквих система, представљају бежичне мреже сензора (wireless sensor networks, WSN). Овај рад представља синтезу искустава у развоју оваквих типова мерних станица. У периоду од седам година истраживања у оквиру ове области, аутор је препознао значај поузданости података у процесу аквизиције. Битније, услед недостатка довољног броја публикованих истраживања која се односе на поузданост података прикупљених од стране WSN и њиховог централног сегмента на серверу (процес чија је улога преузимање, валидација, парсирање и складиштење података у инстанцу датабасе сервера), прикупљени подаци се користе у научне сврхе без провере њихове валидности. Како би се утврдила могућност промене валидности информације прослеђене од стране мреже сензора, пре њеног складиштења у неку од форми базе, за потребе овог истраживања развијен је модел поузданог сокет сервера, базираног на високом степену поузданости као и перформанси, који у свом раду укључује три главна процеса који за своју комуникацију користе комбинацију сигнала и контролних порука. Студија случаја је изведена на серверски оријентисаном хардверу у оквиру кога је оперативни систем, Linux, доведен до лимита свог рада. Узастопни тестови су показали недоследност у преносу информација између оперативног система и апликативног нивоа, која може да доведе до губитка прикупљених података поготову оних који се односе на измерене објекте кратког трајања. Резултати доводе до закључка да је неопходан већи ниво поузданости у процесу прикупљања података у оквиру урбаних метеоролошких мрежа. Предложени модел сокет сервера би могао да употпуни ту потребу у оквиру серверског, централног сегмента.

Urbano okruženje definiše specifičnu mikro-klimu koja direktno utiče na kvalitet života u urbanizovanim područjima, često imajući negativan uticaj na urbanu populaciju. Fenomeni poput urbanog toplotnog ostrva i površi, predstavljaju direktan produkt urbanog načina života. Urbane meteorološke mreže (urbanmeteorological networks, UMNs) predstavljaju alat koji omogućava bolje razumevanje i analizu trenutnih faktora kao i alat uz koji se bolje planira urbani razvoj. Postavljene da prate i beleže različite objekte i njihova stanja u okviru urbane sredine, urbane meteorološke mreže kreiraju bazu velikih, meteoroloških, vremenskih serija. Najčešće implementacije ovakvih sistema, predstavljaju bežične mreže senzora (wireless sensor networks, WSN). Ovaj rad predstavlja sintezu iskustava u razvoju ovakvih tipova mernih stanica. U periodu od sedam godina istraživanja u okviru ove oblasti, autor je prepoznao značaj pouzdanosti podataka u procesu akvizicije. Bitnije, usled nedostatka dovoljnog broja publikovanih istraživanja koja se odnose na pouzdanost podataka prikupljenih od strane WSN i njihovog centralnog segmenta na serveru (proces čija je uloga preuzimanje, validacija, parsiranje i skladištenje podataka u instancu database servera), prikupljeni podaci se koriste u naučne svrhe bez provere njihove validnosti. Kako bi se utvrdila mogućnost promene validnosti informacije prosleđene od strane mreže senzora, pre njenog skladištenja u neku od formi baze, za potrebe ovog istraživanja razvijen je model pouzdanog soket servera, baziranog na visokom stepenu pouzdanosti kao i performansi, koji u svom radu uključuje tri glavna procesa koji za svoju komunikaciju koriste kombinaciju signala i kontrolnih poruka. Studija slučaja je izvedena na serverski orijentisanom hardveru u okviru koga je operativni sistem, Linux, doveden do limita svog rada. Uzastopni testovi su pokazali nedoslednost u prenosu informacija između operativnog sistema i aplikativnog nivoa, koja može da dovede do gubitka prikupljenih podataka pogotovu onih koji se odnose na izmerene objekte kratkog trajanja. Rezultati dovode do zaključka da je neophodan veći nivo pouzdanosti u procesu prikupljanja podataka u okviru urbanih meteoroloških mreža. Predloženi model soket servera bi mogao da upotpuni tu potrebu u okviru serverskog, centralnog segmenta.

Urban environment defines a specific micro-climate, which directly affects the quality of life in urbanized areas and often has a negative impact on urban population. Phenomena like urban heat and surface heat islands are direct products of an urban lifestyle. Urban meteorological networks (UMNs) are a tool that can help to better understand and analyze the current situation and make right decisions about future urbandevelopment. Deployed to monitor and record different objects and their states inside urban areas, UMNs build a longterm meteorological data time series database. The most commonly used systems in achieving this goal include wireless sensor networks (WSN). This paper presents a combined experience in deploying three different WSN systems. During seven years of research in this field, the authors have recognized the importance of data reliability in data acquisition. More importantly, due to the lack of research addressing the reliability of the data received from WSNs by the core segment of the server (processes used in receiving, validating, parsing and storing data into a database instance), the received data are used in scientific studies without questioning their reliability. To determine the possibility of shifting information provided by the data measured from sensor networks before it is stored in a desired form of database, this paper proposes a highly reliable socket server model. The model is built with high reliability and performance in mind and it includes three major processes, which use a combination of signals and control messages to pass information about their states. A case study is performed using high-end hardware, running a Linux operating system stressed to its limits. A repetition testing revealed inconsistency in the information provided by the operating system to the application layer, which could lead to the loss of information about short-term and rarely occurring, monitored objects. The results lead to the conclusion that there is a clear need for a higher level of data reliability in the process of data acquisition at UMNs. The proposed socket server should fill this gap within server's core segment.