Систем за надгледање перформанси мреже кабловског оператора заснован на технологији великих података

Abstract

Велики телекомуникациони оператори пружају сервис милионима корисника користећи комплексну и хетерогену телекомуникациону инфраструктуру која садржи огроман број различитих мрежних уређаја. Надгледање перформанси таквих мрежа је с једне стране веома битан ради постизања високог квалитета рада мреже и великог степена задовољства корисника, а с друге стране је веома изазован задатак који није лако испунити. Надгледање перформанси мреже подразумева периодично прикупљање података са сваког мрежног уређаја, њихово складиштење и даљу обраду. Коришћењем прикупљених података, мрежни оператори су у стању да ефикасно детектују, локализују и решавају проблеме у мрежи како би унапредили квалитет и перформансе. Пошто се ради о огромним количинама података потребно је користити технологију великих података. У овој дисертацији представљен је скалабилан и флексибилан систем за надгледање перформанси мреже кабловског оператора заснован на технологији великих података. У првом делу дисертације је дат преглед алата отвореног кода који се користе у решењима заснованим на технологији великих података. Такође, представљени су и изазови надгледања перформанси мрежа са становишта великих података са посебним нагласком на кабловске мреже. У наставку дисертације је детаљно описан систем за надгледање перформанси мреже кабловског оператора, при чему су детаљно описани сви делови система, као и ток података кроз сам систем. Предложени систем је у стању да прикупи, складишти и обрађује податке са огромног броја уређаја. Скалабилност система пружа могућност једноставног проширења капацитета и процесорске снаге на сваком слоју архитектуре система у циљу подршке, како и самог проширења постојеће мреже, тако и даљих интеграција са другим доменима и мрежама. Како у мрежи постоје и уређаји са којих се не могу прикупљати подаци, представљен је алгоритам за процену стања таквих уређаја на основу података прикупљених из мреже. Додатно, предложен је механизам за детекцију и локализацију отказа у мрежи кабловског оператора. Предложени систем је успешно имплементиран у реалној кабловској мрежи, при чему су у дисертацији наведени и проблеми који су се појавили приликом имплементације. Систем се може применити и у другим системима са великим бројем уређаја (на пример, интернет ствари) где је неопходно прикупљати временске серије што је описано у другом делу дисертације. Изложени су и потенцијали за даљи развој предложеног система којима се може проширити функционалност система и изван основне функције надгледања перформанси мреже.

Large telecom operators provide service to millions of users using a complex and heterogeneous telecommunication infrastructure comprising huge number of various network devices. Performance monitoring of such networks is very important for achieving high levels of performance and user satisfaction, but on the other hand it represents a very challenging task. Performance management requires a periodic data collection from all network devices, as well as collected data storing and processing. Using the collected data, telecom operators can efficiently detect, localize, and solve network problems to further improve network's quality and performance. Big data technology needs to be used given the huge amount of collected data. This thesis proposes scalable and flexible big data based system for performance monitoring of cable operator networks. The first part of the thesis provides open-source big data tools overview. Also, big data challenges in network performance monitoring are given and discussed with special attention to cable networks. Next in thesis, the proposed big data system for cable network performance monitoring is explained in detail. All parts and components of the system are explained as well as the data flow through the overall system architecture. The proposed system is capable of collecting, storing and processing data from large number of devices. System scalability offers simple capacity and processing power expansion on every layer of system architecture to support future network expansions, but also to support future system integration with other domains and networks. Since there are network devices that are not capable of generating data for collection, an algorithm for performance estimation of such network elements based on collected data from other network devices is proposed. Moreover, a mechanism for failure detection and localization is proposed for cable networks. The proposed system is succesfully deployed in real cable network. Discussion regarding the problems that emerged during the system deployment is given in thesis. The proposed system can be used in other networks with a huge number of devices where time-series collection is required (e.g., Internet of Things) which is dicussed in the later part of thesis. Also, potentials for future expansions of supported system features is discussed providing use cases beyond performance monitoring.