Softverska upotrebljivost i metrike sistema zasnovanih na OBI specifikaciji

Abstract

Otvoreni bedževi su obećavajuća edukativna tehnologija za priznavanje postignuća, veštine, kvaliteta ili interesa pojedinca ili grupe. Poslednjih godina, pojavio se veći broj softverskih sistema zasnovanih na Infrastrukturi Otvorenih bedževa (eng. Open Badges Infrastructure - OBI) koji podržavaju različite prakse nastave/učenja i izdavanja bedževa. Međutim, njihova upotrebljivost u konkretnom edukativnom okruženju može značajno da varira. To nastavnicima donosi velike izazove prilikom odabira jednog ovakvog sistema za konkretnu edukativnu primenu. Cilj ovog istraživanja je da predloži potencijalne metrike upotrebljivosti - opšte i tehnološki-specifične za sisteme zasnovane na OBI specifikaciji, koje se mogu koristiti efektivno prilikom odabira ove edukativne tehnologije. Glavni rezultat istraživanja je metodološki okvir koji je obuhvatio standardne opšte metrike upotrebljivosti (npr., ocena opažene upotrebljivosti na osnovu Skale Upotrebljivosti Sistema) i određene tehnološki-specifične metrike upotrebljivosti koje su razvijene u okviru istraživanja (npr., ocena lakoće deljenja bedževa, ocena zadovoljstva podrškom za kreiranje bedževa, itd.). Predloženi pristup je ispitan u empirijskoj studiji zasnovanoj na mešovitom metodu istraživanja. Rezultati studije su obezbedili dokaze o efektivnosti pristupa u datom kontekstu. Pokazalo se da su predložene kategorije metrika komplementarne i da su metrike diferencirale evaluirane sisteme na zadovoljavajući način. Uz to, rezultati kvalitativne evaluacije su otkrili glavne probleme upotrebljivosti evaluiranih sistema. Pristup se može primeniti u različitim edukativnim okruženjima s obzirom na to da su predložene metrike relativno jednostavne za prikupljanje i interpretaciju.

Open badges are a promising educational technology for recognizing the achievements, skills, qualities and interests of an individual or а group. In recent years, there has been a growing number of software systems based on the Open Badges Infrastructure (OBI) which support different teaching/learning and badging practices. However, their usability in a specific educational environment can vary significantly. This brings some great challenges for teachers when choosing one such system for a concrete educational application. The aim of this research is to propose some prospective usability metrics - general and technology-specific for OBI-compliant systems, which can be used effectively when selecting this educational technology. The main research result is a methodological framework that has included some standard general usability metrics (e.g., score of perceived usability based on System Usability Scale) and the technology-specific usability metrics that have been developed within the research (e.g., score of ‘ease of sharing badges’, score of ‘support for badge creation satisfaction’, etc.). The proposed approach has been examined in an empirical study based on a mixed research method. The results of the study provided evidence of the effectiveness of the proposed approach in the given context. It has been shown that the proposed categories of metrics are complementary and that the metrics have differentiated the evaluated systems in a satisfactory manner. In addition, the results of qualitative evaluation revealed the main usability problems of the evaluated systems. The approach can be applied in different educational settings, given that the proposed metrics are relatively simple to collect and interpret.