Интеракција човек-рачунар у интегрисаном окружењу дигиталних ТВ пријемника, мобилних уређаја и интернета

Abstract

Број мултимедијалних уређаја који су доступни у дневној соби и имају приступ интернету, као што су дигитални ТВ пријемници, таблет уређаји и мобилни телефони, је у константном порасту. Ове уређаје је на једноставан начин могуће повезати путем локалне кућне мреже или интернета. Такође, у последње време, дигитални ТВ пријемници се све чешће опремају и оперативним системима који се могу наћи на мобилним уређајима што омогућава и лак развој дистрибуираних апликација. Апликације развијене у овако интегрисаном окружењу дигиталних ТВ пријемника, мобилних уређаја и интернета могу корисницима да пруже нове сценарије интеракције човек-рачунар у односу на оне које пружају апликације развијене независно за сваки уређај. Проучавањем система у области интеракције човек-рачунар у окружењу дневне собе са дигиталним ТВ пријемницима и мобилним уређајима уочено је да се постојећи системи развијају независно, да су ограничене флексибилности и да им је фокус углавном на појединачним сценаријима интеракције човек-рачунар. У овом раду представљена је SHARP софтверска платформа која пружа програмску подршку за ефикасан и униформан развој дистрибуираних апликација у интегрисаном окружењу дигиталних ТВ пријемника, мобилних уређаја и интернета. Циљ развијене платформе је да помогне истраживачима у области интеракције човек-рачунар да на једноставан и брз начин креирају нове апликације које нуде различите комбинације сценарија интеракције човек-рачунар у интегрисаном окружењу. Како би се постигао наведени циљ на почетку рада је направљен преглед постојећих система у области интеракције човек-рачунар у дневној соби са дигиталним ТВ пријемником и мобилним уређајима. Након тога, пронађене су заједничке карактеристике система и идентификовани су следећи сценарији интеракције које апликације развијене у интегрисаном окружењу могу да пруже корисницима: подела приказа на више екрана (на мобилним уређајима се приказује додатни садржај као пратећи ономе што је на великом ТВ екрану), употреба мобилног уређаја за управљање акцијама на централном екрану, детекција покрета коришћењем сензора, додатне чулне повратне информације (хаптички одговор, светлосно обавештење), пасивно гледање телевизије обогаћено паралелним интерактивним активностима, корисничко искуство побољшано приступом подацима из дигиталног видео тока, социјалним мрежама и базама метаподатака и интеракција групе људи у оквиру једне просторије са групом људи на другим локацијама...

The amount of digital multimedia devices in a modern day household capable of connecting to the internet has dramatically increased over the last years, including mobile devices such as smart phones and tablets as well as digital TV sets and set-top boxes. Since these devices are readily available and allow customization through software, development of distributed applications is greatly simplified. Applications developed in an integrated environment can offer users novel human-computer interaction scenarios compared to the scenarios that a single device could offer. By investigating existing systems in the field of Human-Computer Interaction (HCI) that combine digital TV and mobile devices in a living room environment it was observed that existing systems have ad-hoc implementations with limited flexibility and lack the ability to explore different combinations of HCI scenarios. This dissertation presents the SHARP development framework allowing efficient implementation of distributed systems in an integrated environment consisting of digital TV, mobile devices and internet. The purpose of the framework is to assist researchers in the field of HCI to create innovative applications that would offer different combinations of HCI scenarios in the living room with less effort. At the start of the dissertation the results of a survey providing an overview of existing HCI systems targeting a living room environment are presented. Common characteristics of these systems are extracted and a list of the following HCI scenarios that applications, developed for an integrated environment, can offer are identified: sharing content on multiple screens (private content showing on the mobile device screen and public content showing on the central screen), using the mobile device to control actions on the central screen, motion detection using sensors, supplemental sensory feedback (haptic feedback, background lighting), combining passive viewing of television with parallel interaction, enriching the user experience with access to various information services (such as DVB, social media and metadata databases), combining interaction between co-located and non-co-located people. After identifying the scenarios a proposal for the SHARP development framework is outlined along with details on its design and implementation. The design of the SHARP framework allows developers to create applications that combine the identified scenarios...