A method for the analysis of sound art and audio-visual performance

Abstract

The term NIME, acronym of New Interface for Musical Expression, applies to a great diversity of creative practices. Nevertheless, the meaning of expression is rarely discussed. In this article we formulate an understanding of expression where the reciprocal interaction between performer and instrument is important, as well as the relation between audition, vision and space. Articulating artistic practice and the science of perception, we describe three creative principles and a parametric visualisation model. The model includes parameters for interaction, sonic and visual dynamics, audio-visual relationship, physical setup and semantics. Those parameters are applicable to any technical platform and aesthetic approach. Our proposed visualisation method facilitates the analysis of how their inter-relationship drives the audience's experience. Keywords: Sonic expression, audiovisual performance, sensory dominance, spatial presence, parametric visualisation model

O termo NIME, acrónimo de “new interface for musical expression”, aplica-se a uma grande diversidade de práticas criativas. Mas raramente se discute o que significa ‘expressão’. Neste artigo formulamos uma noção de expressão em que a interação performer-instrumento é importante, assim como a relação entre audição, visão e espaço. Articulando prática artística e ciências da perceção, descrevemos três princípios criativos e um modelo de visualização paramétrica. O modelo inclui parâmetros relativos à interação, às dinâmicas sonora e visual, à relação áudio-visual, à configuração do espaço físico e à semântica. Estes parâmetros são aplicáveis a qualquer plataforma técnica e abordagem estética. O método de visualização aqui proposto facilita a análise do modo como a sua inter-relação conduz a experiência do público. Palavras-chave : Expressão sonora, performance audiovisual, dominância sensorial, “spatial presence”, modelo de visualização paramétrica