Аутоматско издвајање мишљења из текстуалних коментара студентских анкета

Abstract

Регрутовање нових и задржавање постојећих студената су важна питања за све високошколске установе. Стога је пресудно стално праћење нивоа задовољства студената. Аутоматска анализа мишљења студената се може реализовати применом аспектно базиране сентимент анализе (АБСА). АБСА је под- дисциплина обраде природног језика која се фокусира на идентификацију сентимената (негативних, неутралних, позитивних) и аспеката (носиоца сентимента) у реченици. Циљ ове докторске дисертације је да предложи систем за АБСА текстуалних коментара студентских анкета на српском језику. Предложени систем се ослања на технике обраде природног језика, модела машинког учења, правила и речника. Корпус је прикупљен и анотиран за развој и евалуацију система и укључује рецензије студената о наставном особљу и студијским програмима на Факултету техничких наука. Резултати истраживања показују да се позитивни сентимент може успешно идентификовати са Ф-мером 0,91, док се негативан сентимент може идентификовати са Ф-мером 0,97. Док су Ф-мере за аспекте у опсегу између 0,49 и 0,89, у зависности од њихове учесталости у корпусу. Према сазнању аутора, ово је прво истраживање АБСА које је спроведено на нивоу сегмента реченице за српски језик. Методологија и сазнања која су представљена у овој докторској дисертацији пружају преко потребне основе за даљи рад на анализи сентимената за српски језик који је у овој области недовољно истражен и има недостатак језичких ресурса.

Regrutovanje novih i zadržavanje postojećih studenata su važna pitanja za sve visokoškolske ustanove. Stoga je presudno stalno praćenje nivoa zadovoljstva studenata. Automatska analiza mišljenja studenata se može realizovati primenom aspektno bazirane sentiment analize (ABSA). ABSA je pod- disciplina obrade prirodnog jezika koja se fokusira na identifikaciju sentimenata (negativnih, neutralnih, pozitivnih) i aspekata (nosioca sentimenta) u rečenici. Cilj ove doktorske disertacije je da predloži sistem za ABSA tekstualnih komentara studentskih anketa na srpskom jeziku. Predloženi sistem se oslanja na tehnike obrade prirodnog jezika, modela mašinkog učenja, pravila i rečnika. Korpus je prikupljen i anotiran za razvoj i evaluaciju sistema i uključuje recenzije studenata o nastavnom osoblju i studijskim programima na Fakultetu tehničkih nauka. Rezultati istraživanja pokazuju da se pozitivni sentiment može uspešno identifikovati sa F-merom 0,91, dok se negativan sentiment može identifikovati sa F-merom 0,97. Dok su F-mere za aspekte u opsegu između 0,49 i 0,89, u zavisnosti od njihove učestalosti u korpusu. Prema saznanju autora, ovo je prvo istraživanje ABSA koje je sprovedeno na nivou segmenta rečenice za srpski jezik. Metodologija i saznanja koja su predstavljena u ovoj doktorskoj disertaciji pružaju preko potrebne osnove za dalji rad na analizi sentimenata za srpski jezik koji je u ovoj oblasti nedovoljno istražen i ima nedostatak jezičkih resursa.

Student recruitment and retention are an important issue for all higher education institutions. Constant monitoring of student satisfaction levels is therefore crucial. Aspect-based sentiment analysis is a sub-discipline of natural language processing (NLP) that focuses on the identification of sentiments (negative, neutral, positive) and aspects (sentiment targets) in a sentence. This research introduces a system for aspect-based sentiment analysis of free text reviews expressed in student opinion surveys in the Serbian language. Sentiment analysis was carried out at the finest level of text granularity - the level of sentence segment (phrase and clause). The presented system relies on NLP techniques, machine learning models, rules, and dictionaries. The corpora collected and annotated for system development, and evaluation comprise: students’ reviews of teaching staff at the Faculty of Technical Sciences. The research results indicate that positive sentiment can successfully be identified with F-measure of 0.91 while negative sentiment can be detected with F-measure of 0.97. While the F-measures for the aspects are in range from 0.49 to 0.89, depending on their frequency in the corpus. To the best of the authors’ knowledge, this is the first study of aspect-based sentiment analysis carried out at the level of the sentence segment for the Serbian language. The methodology and findings presented in this paper provide a muchneeded bases for further work on sentiment analysis for the Serbian language that is well under-resourced and under-researched in this area.