Razvoj procesa ekstrakcije, transformacije i punjenja podataka skladišta podataka zasnovan na modelom vođenom pristupu

Abstract

U tezi je razmatran problem konceptualizacije i automatizacije razvoja ETL procesa i dato je originalno rešenje koje se zasniva na formalnoj specifikaciji ETL procesa i njenoj automatizaciji uz pomoć razvijenog specifičnog aplikacionog okvira. U skladu sa Domain-Specific Modeling (DSM) pristupom, za formalnu specifikaciju definisano je nekoliko novih domensko-specifičnih jezika: jezik za specifikaciju operacija transformacija podataka (ETL-O), jezik za specifikaciju toka izvršavanja ETL procesa (ETL-P), jezik za specifikaciju izraza (ETL-E) i jezik za specifikaciju šablona operacija transformacija (ETL-T). Svaki od ovih jezika definiše koncepte koji su relevantni za specifični aspekt ETL procesa. Modelovanje ETL procesa zapravo se svodi na modelovanje određenog aspekta ETL procesa pomoću odgovarajućeg domensko-specifičnog jezika i na ovaj način se značajno smanjuje složenost modelovanja. Implementacija specificiranih domensko-specifičnih jezika ostvarena je uvođenjem specifičnog aplikacionog okvira kao tehnološke podrške predloženoj formalnoj specifikaciji. Uvođenjem aplikacionog okvira značajno je podignut semantički nivo koji je implementaciono podržan i koji se može automatizovati. Implemetacija se zapravo zasniva na automatskoj transformaciji modela, formiranim u skladu sa odgovarajućim domensko-specifičnim jezikom, u izvrsni kôd aplikacionog okvira. Visok semantički nivo koji je implementaciono podržan aplikacionim okvirom, utiče na smanjenje broja koraka u razvoju ETL procesa, koji postaje više automatizovan i samim tim mnogo produktivniji...

The problem of conceptualization and automatization of the ETL Process development is considered in this thesis and an original solution is proposed which is based on a formal specification of the ETL Process and its automatization with the use of a specifically developed application framework. In accordance with the Domain-Specific Modeling (DSM) approach, a number of unique domain-specific languages are defined: a language for the specification of transformation operations (ETL-O), a language for control flow specification (ETL-P), a language for the specification of various logical and arithmetic expressions (ETL-E) and a language for the specification of transformation operation templates (ETL-T). Each of these languages define concepts that are relevant for specific aspect of ETL process. ETL process modeling is basically the modeling of specific aspects of the ETL process using the appropriate domain-specific language, which in effect significantly reduces the complexity of modeling. The implementation of specified domain-specific languages is achieved through the introduction of a specific application framework as technological support to the given formal specification. By introducing the application framework the semantic level, which is technologically supported and can be automatized, is significantly elevated. The implementation is actually based on the automated transformation of the model, established in accordance with appropriate domain-specific language, in executable code. By elevating the semantic level and supporting it technologically, fewer steps will be needed to develop an ETL process and the development itself becomes more automated and therefore more productive...