Систем за надгледање перформанси мреже кабловског оператора заснован на технологији великих података
Big data system for cable operator network performance monitoring
Докторанд
Simaković, MilanМентор
Čiča, ZoranЧланови комисије
Čiča, ZoranDrajić, Dejan
Drajić, Dejan
Ivaniš, Predrag
Метаподаци
Приказ свих података о дисертацијиСажетак
Велики телекомуникациони оператори пружају сервис милионима корисника
користећи комплексну и хетерогену телекомуникациону инфраструктуру која садржи
огроман број различитих мрежних уређаја. Надгледање перформанси таквих мрежа је с једне
стране веома битан ради постизања високог квалитета рада мреже и великог степена
задовољства корисника, а с друге стране је веома изазован задатак који није лако испунити.
Надгледање перформанси мреже подразумева периодично прикупљање података са сваког
мрежног уређаја, њихово складиштење и даљу обраду. Коришћењем прикупљених података,
мрежни оператори су у стању да ефикасно детектују, локализују и решавају проблеме у
мрежи како би унапредили квалитет и перформансе. Пошто се ради о огромним количинама
података потребно је користити технологију великих података. У овој дисертацији
представљен је скалабилан и флексибилан систем за надгледање перформанси мреже
кабловског оператора заснован на технологији великих података.
У првом делу дисертације је дат пр...еглед алата отвореног кода који се користе у
решењима заснованим на технологији великих података. Такође, представљени су и изазови
надгледања перформанси мрежа са становишта великих података са посебним нагласком на
кабловске мреже. У наставку дисертације је детаљно описан систем за надгледање
перформанси мреже кабловског оператора, при чему су детаљно описани сви делови
система, као и ток података кроз сам систем. Предложени систем је у стању да прикупи,
складишти и обрађује податке са огромног броја уређаја. Скалабилност система пружа
могућност једноставног проширења капацитета и процесорске снаге на сваком слоју
архитектуре система у циљу подршке, како и самог проширења постојеће мреже, тако и
даљих интеграција са другим доменима и мрежама. Како у мрежи постоје и уређаји са којих
се не могу прикупљати подаци, представљен је алгоритам за процену стања таквих уређаја на
основу података прикупљених из мреже. Додатно, предложен је механизам за детекцију и
локализацију отказа у мрежи кабловског оператора. Предложени систем је успешно
имплементиран у реалној кабловској мрежи, при чему су у дисертацији наведени и проблеми
који су се појавили приликом имплементације. Систем се може применити и у другим
системима са великим бројем уређаја (на пример, интернет ствари) где је неопходно
прикупљати временске серије што је описано у другом делу дисертације. Изложени су и
потенцијали за даљи развој предложеног система којима се може проширити
функционалност система и изван основне функције надгледања перформанси мреже.
Large telecom operators provide service to millions of users using a complex and
heterogeneous telecommunication infrastructure comprising huge number of various network
devices. Performance monitoring of such networks is very important for achieving high levels of
performance and user satisfaction, but on the other hand it represents a very challenging task.
Performance management requires a periodic data collection from all network devices, as well as
collected data storing and processing. Using the collected data, telecom operators can efficiently
detect, localize, and solve network problems to further improve network's quality and performance.
Big data technology needs to be used given the huge amount of collected data. This thesis proposes
scalable and flexible big data based system for performance monitoring of cable operator networks.
The first part of the thesis provides open-source big data tools overview. Also, big data
challenges in network performance monitoring are given a...nd discussed with special attention to
cable networks. Next in thesis, the proposed big data system for cable network performance
monitoring is explained in detail. All parts and components of the system are explained as well as
the data flow through the overall system architecture. The proposed system is capable of collecting,
storing and processing data from large number of devices. System scalability offers simple capacity
and processing power expansion on every layer of system architecture to support future network
expansions, but also to support future system integration with other domains and networks. Since
there are network devices that are not capable of generating data for collection, an algorithm for
performance estimation of such network elements based on collected data from other network
devices is proposed. Moreover, a mechanism for failure detection and localization is proposed for
cable networks. The proposed system is succesfully deployed in real cable network. Discussion
regarding the problems that emerged during the system deployment is given in thesis. The proposed
system can be used in other networks with a huge number of devices where time-series collection is
required (e.g., Internet of Things) which is dicussed in the later part of thesis. Also, potentials for
future expansions of supported system features is discussed providing use cases beyond
performance monitoring.