Enhancing performance of big data applying similarity over detected community

Abstract

The enhancing Performance of Big Data applying Similarity over Detected Community using Machine learning (ML) allows social network analysis and the Internet of Things (IoT) to gain hidden insights from the treasure trove of sensed data and be truly ubiquitous without explicitly looking for the knowledge and patterns. Without ML, social network analysis is ineffective, and IoT cannot withstand the future requirements of businesses, governments, and individual users. The primary goal of IoT is to perceive what is happening in our surroundings and later automate the decision making, which will mimic the decisions made by humans. Further, network analysis is highly dependent on finding similarities across all communities. The community can be strengthened with the help of content information. However, it is highly restricted to the noise present on most networks, especially in the link structure. This thesis outlines an essential way to integrate content and link information into graph-based designs to facilitate public access. It also attempts to reduce the impact of frequent noise on social networking sites and web-based information networks. We propose to calculate signal strength between nodes across a network by combining the power of a link, which that link may lie within the community, by the content similarity that can be measured using cosine similarity or Jaccard coefficient. In addition, we discuss the process of sampling in keeping the right edges in place of the whole element of the graph. Graph results can be compiled using standard algorithms used for public acquisition, such as Markov-clustering and METIS. We have tried real-world data sets (Wikipedia, CiteSeer, and Flickr) that change sizes and parameters to understand the effectiveness of our method compared to the existing one. We have tried to find a useful way to integrate content analysis and linking methods with the method of graph deviation. In this thesis, we performed social network analysis, and we classify IoT and related ML literature from three perspectives: data, application, and industry. In this thesis, we emphasize bringing awareness and enhancing the understanding of how ML can play a significant role in making our environment smarter and more intelligent. The thesis helps to understand better ML's function and its effects in a broader context of social network analysis and IoT. This thesis also discussed emerging IoT trends: Internet of Behaviors (IoB), pandemic management, connected autonomous vehicles, edge and fog computing, and deep learning.

Побољшање перформанси великих база података применом сличности над откривеном заједницом помоћу машинског учења (МЛ) омогућава анализи друштвених мрежа и Интернету ствари (ИоТ) да стекну скривене чињенице из сета података до којих се дошло и буду заиста свеприсутни без експлицитног тражења одређених знања и шаблона. Без машинског учења, анализа друштвених мрежа је неефикасна, а ИоТ неће моћи да подржи будуће захтеве предузећа, влада и појединачних корисника. Примарни циљ ИоТ-а је да сагледа шта се дешава у нашем окружењу и касније аутоматизује доношење одлука, које ће опонашати одлуке које доносе људи. Поред тога, анализа података који протичу мрежом у великој мери зависи од проналажења сличности у заједницама. Заједница се може ојачати уз помоћ информација о садржају. Међутим, он приступ је веома ограничен услед шума који је присутан у већини мрежа, посебно у структури везе. Ова теза описује суштински начин интеграције садржаја и информација о повезивању у дизајне засноване на графовима како би се омогућио јавни приступ информацијама. Такође покушава да смањи утицај честе буке на сајтове друштвених мрежа и на информационе мреже засноване на вебу. Предлаже се израчунавање јачине сигнала између чворова у мрежи комбиновањем снаге везе, при чему та веза може да се налази унутар саме заједнице, помоћу сличности садржаја која се може мерити коришћењем косинусне сличности или Јакардовог коефицијента. Поред тога, разматра се процес узорковања у задржавању одговарајућих ивица на месту целог елемента графа. Резултати се могу графички саставити коришћењем стандардних алгоритама који се користе за јавну прибављање информација, као што су Марков-кластеринг и МЕТИС. Испробани су скупови података из стварног света (Википедија, CiteSeer и Flickr) који мењају величине и параметре да би се разумела ефикасност предложеног метода у поређењу са постојећим методама. Један од циљева је био пронаћи користан начин за интегрисање процес анализе садржаја и методе повезивања са методом одступања графа (енг. Graph deviation). У овој тези је извршена анализа друштвених мрежа и класификована је ИоТ и сродна литература о МЛ из три перспективе: података, примене и индустрије. У овој тези, наглашено је подизање свести и побољшање разумевања како МЛ може да има значајну улогу чињењу нашег окружења паметнијим и интелигентнијим. Ова теза може помоћи бољем разумевању функције машинског учења и његових ефеката у ширем контексту анализе друштвених мрежа и Интернета ствари. У овој тези се такође разматрају нови ИоТ трендови: Интернет понашања (енг. Internet of Behaviors), управљање пандемијом, повезивање аутономних возила, рачунарство ивица и магле и дубоко учење.