Enhancing performance of big data applying similarity over detected community
Побољшање перформанси обраде великих количина података применом сличности над детектованим заједницама у мрежном окружењу
Метаподаци
Приказ свих података о дисертацијиСажетак
The enhancing Performance of Big Data applying Similarity over Detected Community using
Machine learning (ML) allows social network analysis and the Internet of Things (IoT) to gain
hidden insights from the treasure trove of sensed data and be truly ubiquitous without explicitly
looking for the knowledge and patterns. Without ML, social network analysis is ineffective,
and IoT cannot withstand the future requirements of businesses, governments, and individual
users. The primary goal of IoT is to perceive what is happening in our surroundings and later
automate the decision making, which will mimic the decisions made by humans. Further,
network analysis is highly dependent on finding similarities across all communities. The
community can be strengthened with the help of content information. However, it is highly
restricted to the noise present on most networks, especially in the link structure. This thesis
outlines an essential way to integrate content and link information into graph-ba...sed designs to
facilitate public access. It also attempts to reduce the impact of frequent noise on social
networking sites and web-based information networks.
We propose to calculate signal strength between nodes across a network by combining the
power of a link, which that link may lie within the community, by the content similarity that
can be measured using cosine similarity or Jaccard coefficient. In addition, we discuss the
process of sampling in keeping the right edges in place of the whole element of the graph.
Graph results can be compiled using standard algorithms used for public acquisition, such as
Markov-clustering and METIS. We have tried real-world data sets (Wikipedia, CiteSeer, and
Flickr) that change sizes and parameters to understand the effectiveness of our method
compared to the existing one. We have tried to find a useful way to integrate content analysis
and linking methods with the method of graph deviation.
In this thesis, we performed social network analysis, and we classify IoT and related ML
literature from three perspectives: data, application, and industry. In this thesis, we emphasize
bringing awareness and enhancing the understanding of how ML can play a significant role in
making our environment smarter and more intelligent. The thesis helps to understand better
ML's function and its effects in a broader context of social network analysis and IoT. This
thesis also discussed emerging IoT trends: Internet of Behaviors (IoB), pandemic
management, connected autonomous vehicles, edge and fog computing, and deep learning.
Побољшање перформанси великих база података применом сличности над откривеном
заједницом помоћу машинског учења (МЛ) омогућава анализи друштвених мрежа и
Интернету ствари (ИоТ) да стекну скривене чињенице из сета података до којих се
дошло и буду заиста свеприсутни без експлицитног тражења одређених знања и
шаблона. Без машинског учења, анализа друштвених мрежа је неефикасна, а ИоТ неће
моћи да подржи будуће захтеве предузећа, влада и појединачних корисника. Примарни
циљ ИоТ-а је да сагледа шта се дешава у нашем окружењу и касније аутоматизује
доношење одлука, које ће опонашати одлуке које доносе људи. Поред тога, анализа
података који протичу мрежом у великој мери зависи од проналажења сличности у
заједницама. Заједница се може ојачати уз помоћ информација о садржају. Међутим, он
приступ је веома ограничен услед шума који је присутан у већини мрежа, посебно у
структури везе. Ова теза описује суштински начин интеграције садржаја и информација
о повезивању у дизајне засноване на графови...ма како би се омогућио јавни приступ
информацијама. Такође покушава да смањи утицај честе буке на сајтове друштвених
мрежа и на информационе мреже засноване на вебу.
Предлаже се израчунавање јачине сигнала између чворова у мрежи комбиновањем снаге
везе, при чему та веза може да се налази унутар саме заједнице, помоћу сличности
садржаја која се може мерити коришћењем косинусне сличности или Јакардовог
коефицијента. Поред тога, разматра се процес узорковања у задржавању одговарајућих
ивица на месту целог елемента графа. Резултати се могу графички саставити
коришћењем стандардних алгоритама који се користе за јавну прибављање
информација, као што су Марков-кластеринг и МЕТИС. Испробани су скупови података
из стварног света (Википедија, CiteSeer и Flickr) који мењају величине и параметре да
би се разумела ефикасност предложеног метода у поређењу са постојећим методама.
Један од циљева је био пронаћи користан начин за интегрисање процес анализе садржаја
и методе повезивања са методом одступања графа (енг. Graph deviation).
У овој тези је извршена анализа друштвених мрежа и класификована је ИоТ и сродна
литература о МЛ из три перспективе: података, примене и индустрије. У овој тези,
наглашено је подизање свести и побољшање разумевања како МЛ може да има значајну
улогу чињењу нашег окружења паметнијим и интелигентнијим. Ова теза може помоћи
бољем разумевању функције машинског учења и његових ефеката у ширем контексту
анализе друштвених мрежа и Интернета ствари. У овој тези се такође разматрају нови
ИоТ трендови: Интернет понашања (енг. Internet of Behaviors), управљање пандемијом,
повезивање аутономних возила, рачунарство ивица и магле и дубоко учење.