Од А… морфогенеза психоакустичне анимације облика (анимација функционалних модела симултаног генерисања облика модулирањем покрета и звука – интерактивни дигитални перформанс)

Abstract

Докторски уметнички пројекат „Од А... Морфогенеза психоакустичне анимације облика (анимација функционалних модела симултаног генерисања облика модулирањем покрета и звука)“ је интерактивни дигитални перформанс, тј. симултано повезивање стварног простора са сликовним и звучним процесима дигиталног уобличавања. Реализује се у амбијенту галерије поставком микрофона, камере, сензора покрета - Кинекта (Kinect), пројектора и пројекционог екрана на којима се, у реалном времену, симултано, одиграва перформанс којим управља извођач и који гледају посетиоци. Врши се препознавање говора извођача, покрета његових руку, параметризација звука произведеног гласом, генерисање гласовних одговора, мелодијски одговор на покрет и приказују се облици у виртуелном простору. То је спроведено прављењем оригиналног функционалног алгоритма који преводи покрете тела/руку извођача и карактеристике различитих звукова у појављивање и морфологију дигитално генерисаних облика. Појављивање облика изазвано је говором, а затим кретање руку учесника изазива визуелну комуникацију са представљеним садржајима: облици се померају, растежу, скупљају, увијају, расту, смањују и др. Карактеристике дигитално генерисаних облика као и анимирање свих градивних елемената су глас, облик у односу на глас, боја и величина виртуелног простора у коме се облици налазе, боја облика, мапиране текстуре на облику и транспаренција на истом, кретање извођача, промена величине, положаја и апсекта облика у односу на покрет. Установљен је поступак (алгоритам) за везу са гласом и покретима извођача, чиме је садржај „везан“ за извођача и са њим је у непосредној интерактивној спрези. На овај начин се актуализују (могући) односи између природног интерфејса, у овом случају тела извођача и сензора покрета, гласа извођача и микрофона, пројекционог екрана и амбијента галерије и такође и присутних гледалаца. Тиме се тематизује једновременост присутности: у стварном простору амбијента, у унутрашњем простору сопственог тела и у простору уметничког дела. Писани део докторског уметничког пројекта подељен је на четири целине: Поетско-теоријски оквир, Методолошки приступ, Опис рада и Aнализа практичног рада - циљ рада и очекивани резултати истраживања. (Структура писаног дела детаљно је описана у поглављу Увод).

Doctoral art project „From A ... Morphogenesis psychoacoustic animation of shapes (animation of functional models of simultaneous generation of shapes by modulating movement and sound)“ is an interactive digital performance, ie. simultaneous connection of real space with picture and sound processes of digital shaping. It is realized in the ambient of a gallery by setting microphone, camera, motion sensor - Kinect , projector and projection screen, where, in real time, simultaneously, the performance is being played by performer and watched by spectators. It introduces the recognition of performer speech, hand movement, parameterisation of sound produced by voice, generated voice response, melodic response to the hand movement and the 3D shapes that are shown and altered in the virtual space. This is done by forming the original functional algorithm that translates hand movements of the performer and characteristics of different voice sounds into appearance and morphology of digitally generated 3D shapes. The appearence of 3D shapes is caused by spoken numbers, and then, performer hand movements cause visual communication with the presented contents: 3D shapes are being moved, stretched, shrunk, curled, grown, reduced, etc. Features of digitally generated 3D shapes as well as animation of all the structural elements are controlled by the voice commands, color and size of the 3D space in which the 3D shapes exist, color, mapped textures on the 3D shape and transparency of it, change of the size, position and aspect of 3D shape are controlled by the performer hands movement and vocal sounds. The procedure (algorithm) for connection to the performer voice and performer hands movements is established, allowing the 3D virtual contents to be „linked“ to the performer and it is in close interactive conection to him. In this way possible relationship between natural interfaces, in this case, the bodie of performer and motion sensor, microphone and performers voice, projection screen and ambient of the gallery are actualized to the performer and other participants - spectators. Thus, the simultaneity of presence is being defined: in the real space of ambient , in the inner space of performer and in the space of artwork. The written part of the doctoral artistic project is divided into four parts: Literary-Theoretical Framework, Methodological Approach, The Description of Practical Work and The Analysis of Practical Work - the goal and expected results of the research. (The structure of written work is detailed in the Introduction).