Sistem za inteligentno otkrivanje uzroka problema u relacionim bazama podataka u klaud okruženju

Abstract

Oblast računarstva u klaudu se veoma intenzivno razvijala tokom prethodne decenije. Klaud okruženja i servisi koji takva okruženja pružaju postoje u različitim oblicima koji su i diskutovani u ovom radu. Prilikom njihove upotrebe uočeni su različiti problemi koji predstavljaju velike izazove za korisnike. Administratori i korisnici relacionih baza podataka su morali da rešavaju različite probleme i pre postojanja klaud platformi. Ažuriranje softvera, kao operativno zahtevan problem, pojavom relacionih baza podataka kao platforme u klaud okruženju postao je isključiva odgovornost pružaoca usluge. Nasuprot tome, problemi koji zahtevaju unapređivanje rada i optimizovanje relacione baze podataka postali su još izraženiji usled višeg nivoa apstrakcije koji donosi klaud okruženje i većeg broja relacionih baza koje je potrebno istovremeno održavati. S obzirom da se u klaud okruženju prikupljaju i čuvaju detaljne informacije o upotrebi servisa, u ovom radu je realizovan sistem koji na osnovu analize prikupljenih podataka olakšava korisnicima razumevanje funkcionisanja relacione baze podataka i pronalaženje uzroka problema koji se u radu sa njima mogu pojaviti. Nakon detaljnog pregleda uže i šire naučne oblasti, predložen je i definisan sistem koji uključuje dve vrste statističkih modela da bi se obezbedila i sveobuhvatnost i preciznost. Za donošenje konačnih odluka nad dobijenim podacima od strane statističkih modela o tome šta je uzrok a šta je posledica definisan je i ekspertski sistem. Opisan je i izgled infrastrukture koja je zasnovana na konceptu mikroservisa. Pored definisanog sistema, predstavljen je način organizacije tima sačinjenog od različitih aktera sa različitim odgovornostima. Konkretna implementacija sistema je izvršena u Azure platformi kompanije Microsoft. Implementirani sistem je potom podrobno testiran i evaluiran upotrebom realnog radnog opterecenja iz produkcionog okruženja Azure SQL relacione baze podataka tokom perioda od 6 meseci. Dobijeni rezultati su pokazali značajno unapređenje u pogledu performansi izvršavanja upita. Od pojedinačnih korisnika je dobijena i eksplicitna usmena i pismena potvrda o tome. Izvršena je i analiza dobijenih podataka o unapređenju korišćenja relacionih baza podataka svih korisnika platforme koji su se prijavili na ovaj sistem. Zaključak rada sadrži pravce i mogućnosti budućih istraživanja u ovoj oblasti.

Development of the cloud computing area has grown immensely in the past decade. This work evaluates various types of cloud environments and services provided to clients. Various problems have been found in the use of the cloud and these present big challenges for the users. Users and administrators of the relational databases have encountered various problems even in times before the cloud existed. Problems such as software updates of relational databases services in s a cloud platform became the responsibility of the service provider. This was a significant improvement that reduced operational costs. However, problems with service improvement and query optimizations scaled to a higher level due to the number of the relational databases and the higher level of abstraction introduced by the cloud environment. In the cloud environment very detailed information about service usage are accumulated constantly. Here is proposed a system that, based on these data, allows users to understand how the relation database works and detects the source of the problem much easier. After a detailed analysis of related work, the system is carefully designed and elaborated. It includes two types of statistical data models to provide both recall and precision, and an expert system for making final decisions. The appropriate infrastructure is based on a microservice architecture. The project team organization was composed of several actors with different skillsets. The system is implemented within the Microsoft Azure platform. Some specific details of this implementation are also presented. The system was fully tested and evaluated using real data workload from the production environment of the Azure SQL relation database in a period of 6 months. The results have shown a significant improvement in the query execution performance. A response from the customers who used this service has shown that the user experience was significantly improved. The conclusion contains an overview of the project, suggests the ideas for improvement of the system, and discusses how the similar approach can be used in scientific areas.