Евалуација и унапређивање критеријума за оцењивање усмене презентације на енглеском језику струке

Abstract

Предмет истраживања дисертације се заснива на анализи, развоју, евалуацији и унапређивању процеса оцењивања усмене презентације на енглеском језику струке. Будући да оцењивање усмене презентације представља облик аутентичног оцењивања, за потребе истраживања смо креирали циклус оцењивања и успоставили његову валидност и поузданост, по узору на стандардизовано тестирање и примену метријских карактеристика тестова. Поред тога смо истражили да ли предзнање треба укључити у конструкт комуникативне компетенције на страном језику струке, као и да ли све критеријуме треба вредновати подједнако када оцењујемо постигнуће студената приликом усменог излагања. Циљ истраживања састоји се у развоју и евалуацији модела скале са критеријумима засноване на специфичном знању страног језика струке. Од истраживачких метода, за прикупљање података користили смо технике анкетирања и вербалног протокла. Анализу добијених података извршили смо методом дескриптивне статистике, вишекритеријумске анализе одлучивања, мешовите анализе садржаја, квалитативне анализе садржаја, квантитативне евалуације и усмене евалуације наставника. Резултати показују да, у контексту нашег истраживања, карактеристике предзнања треба посматрати као део конструкта, те да критеријуме треба вредновати у истој мери приликом оцењивања постигнућа студената у оквиру усмене презентације. Надаље, резултати показују да креирана скала утиче на повећање објективности процеса оцењивања, обезбеђује повећан степен поузданости и олакшава сам процес оцењивања, иако не повећава временску економичност.

The subject of the dissertation is based on the analysis, development, evaluation and improvement of the assessment of oral presentations in English for Specific Purposes. Considering the fact that the oral presentation assessment represents а form of authentic assessment, an entire assessment cycle has been created for the research purposes. Furthermore, its validity and reliability were established on the basis of the standardized testing and test measurement characteristics. The research further investigates whether the background knowledge should be included into specific purpose communicative competence construct, as well as whether different criteria should be evaluated equally when assessing students’ oral presentation proficiency. The objective of the thesis comprises the development and evaluation of a multicriteria scale based on specific purpose language ability. As far as the research methods are concerned, the survey and verbal protocols were used as the data collection research instruments. The obtained data were analysed by the methods of descriptive statistics, multicriteria decision-making, mixed methods content analysis, qualitative content analysis, quantitative evaluation and oral evaluation of the assessment process by the teachers. The research results indicate that background knowledge characteristics should be considered a construct component in the domain of the present research. The results also show that the assessment criteria should be evaluated equally during assessment. According to the results, it is also obvious that the newly created scale increases the degree of objectivity and reliability of the assessment process. Additionally, the use of the scale makes the assessment process easier, although it does not make the aforementioned process less time-consuming.