Prototipo 3

Descripción

Con este prototipo, el objetivo fue crear una nueva experiencia de interacción física/sonora, utilizando todo el conocimiento aprendido en los últimos dos prototipos. Se ha enfocado mas en el trabajo en la experimentación y desarrollar la interacción con los gestos mas sutiles, para tener un factor expresivo mayor en el movimiento del usuario. También empezamos a incluir gráficos generados en tiempo real junto con el sonido.


Componentes Físicos

Se han utilizado los mismos, a excepción de agregar en un caso un móvil BQ Aquarius.


Programación

Se sigue utilizando el mismo software, con la adición de Gamuza para hacer algunas pruebas con imagen y comenzamos a utilizar la librería GEM en Pure Data, para trabajar con gráficos generados en tiempo real.

En MobMuPlat, que controla los valores de los sensores del móvil, se ha alterado la programación para mandar los valores de una manera mas eficiente. En el prototipo anterior todavía había problemas con esto, pero finalmente se ha logrado llegar a una versión donde no ha habido fallos inesperados.

Se ha agregado el valor del sensor de la brújula interna del móvil, el cual abre muchas posibilidades creativas para la expresión. Nos permite saber a que punto cardinal apunta el móvil.

En Pd-Extended creamos un patch nuevo para experimentar con la posibilidad de usar muestras de sonido en una maquina de bucles virtual.

Se utilizó un patch llamado Proceso versión 0.4.[1] Este patch emula un entorno de un DAW(Digital Audio Workstation). Tiene metrónomo y mesa de mezclas principal para los sonidos. También contiene varios módulos de generación de sonido, efectos y diferentes herramientas.

De todos los módulos, se utilizó principalmente el llamado “Loop Me”, que funciona como una estación de bucles que se carga con diferentes muestras de sonido.

Finalmente, desarrollamos una versión mas pulida del patch de sintetizador que hicimos en el prototipo 2.

Para la generación del sonido del sintetizador, descartamos el motor que habíamos hecho y comenzamos a utilizar Polywave Synth[2], un patch libre de sintetizador polifónico. También desarrollamos varias conversiones matemáticas de los valores de los sensores, para poder llegar mas al tipo de interacción que estábamos buscando. Jugamos con la especialización de sonido, haciendo un juego entre un sonido de sintetizador limpio y uno modulado por un efecto granular, asignando cada uno a un altavoz diferente.

Con este mismo modelo de patch, realizamos una prueba utilizando dos móviles al mismo tiempo, uno colocado en cada brazo. Para esto colocamos otro objeto OSC que recibe valores de otro móvil diferente.

También se utilizaron otros efectos: delay, reverb y un oscilador generador de ondas.

Para recibir los valores desde el móvil y utilizarlos para generar sonido e imagen, utilizamos un ordenador para cada tarea, dada la gran carga de procesamiento que conlleva generar ambos a la vez.

Para comunicar los dos ordenadores y que trabajaran con los mismo valores del móvil, construimos un flujo de comunicación en OSC, utilizando una combinación de wi-fi y Ethernet.

Screen Shot 2016-08-30 at 5.59.34 PM

Diagrama de red utilizando OSC

 


Parámetros mapeados experimentales

Al tener un conocimiento practico mas extenso sobre los sensores y su uso, se pudieron utilizar valores adecuados para los diferentes resultados que buscamos. Se estudió diferente documentación sobre los sensores del móvil y su uso.

Se añadió el giroscopio en los valores utilizados en la generación del sonido. Este sensor envía valores sobre la tasa de rotación relativa en los diferentes ejes del móvil. La información se envía en radianes, la unidad en que se miden los ángulos.

Este sensor abre mucha posibilidad a la expresión, ya que permite reconocer movimientos suaves (adagio) y fuertes (staccato).

 

Albert probando el tercer prototipo.

Albert probando el tercer prototipo.

Los valores del sensor son Pitch, Yaw y Roll. Estos son equivalentes a los ejes Y, Z, X.

También comenzamos a utilizar los valores Motion en diferentes partes del patch de sintetizador.

Nota: Haciendo las pruebas noté que los valores que recogía a través de Pd-extended no eran coherentes con la documentación. El Pitch parecía ser el Roll y viceversa. Es algo que se debe revisar pero para el fin de este ejercicio, esto no tiene mucha importancia.

Para el patch que construimos con Proceso, se asociaron los valores a estos diferentes parámetros del sonido:

  • Giroscopio Pitch: Se asoció al delay.
  • Giroscopio Yaw: Se asoció al reverb.
  • Giroscopio Roll: Se asoció a un metrónomo que se encarga de controlar la reproducción de las muestras,
  • Tilt_Y: Se asoció al granular, que modula el tono/escala del sonido.

 


Parametros mapeados en desarrollo del prototipo final

Viendo los resultados en la experimentación de la programación anterior, seguimos con el desarrollo del prototipo final, el cual llamamos Kinesound 0.7. Describimos el trabajo realizado, detallando en cada sub-patch el trabajo llevado a cabo.


Selección de notas musicales/frecuencias (chord_maker)

Para controlar la nota o frecuencia que se reproduce, mejoramos el sub-patch del prototipo 1. Desarrollamos un algoritmo en Pure Data que utiliza los valores Motion Roll y Motion Pitch junto con algunas operaciones matemáticas y lógicas. Este valor va a un modulo que selecciona notas de una escala mayor y envia mensajes midi de estas notas y también de las frecuencias que se interpolan entre cada nota. El resultado es que el sonido que se controla no se queda fijo en Do, Re, Mi…si no, que también se juega con todos los rangos tonales entre cada nota.


Sintetizador y efectos expresivos (synth_guts)

Usamos dos módulos de sintetizador en el sub-patch de generación de sonido. La entrada de la nota viene directamente del chord_maker, descrito en el párrafo anterior.

Para tener métodos que permitieran mas expresión física a la hora de controlar varios efectos, hicimos algunas adiciones esenciales en esta parte. Para controlar el ataque de las notas y volumen del sintetizador, desarrollamos un algoritmo que solo deja pasar valores de la Aceleración en el eje X, en un umbral determinado, esto resulta en que la fuerza del movimiento controla la velocidad y volumen. Cuando no hay movimiento el sintetizador se mantiene en silencio.

Albert probando prototipo con 2 móviles generando sonido simultáneamente.

Albert probando prototipo con 2 móviles generando sonido simultáneamente.

Uno de los sintetizadores lleva un efecto granular que permite modular el tono. Para controlarlo utilizamos el valor pitch del giroscopio. El resultado es que la rotación del brazo en su eje horizontal, permite alterar el tono del sonido en tiempo real, muy similar al pitch bend de un sintetizador o teclado.

Uno de los sintetizadores sale sin alteraciones y el otro pasa por el efecto granular donde se le altera su tono. Cada módulo de sintetizador lleva su propio efecto reverb, cada uno modificable.


Análisis FODA

Fortalezas

  • El programa no ha presentado ningún crash desde que se realizo esta última edición.
  • La utilización de samples da mas potencial de trabajos mas conceptuales y/o abstractos a nivel teórico.
  • Los efectos agregados con el giroscopio dan mas posibilidad de expresión de gestos.
  • Hay un verdadero juego entre los diferentes modos de movimiento, gracias a los parámetros de expresión que hemos agregado a través del uso de los valores Motion.
  • Los gráficos agregan un factor interesante al performance. Los gráficos parecen complementar la visualidad del movimiento, mas que acompañarla o imitarla.

Oportunidades

  • Se llevó a cabo un estudio sobre las diferentes poses clásicas de danza y ballet. Como solo nos interesa un brazo, se hizo la medición de valores en diferentes posiciones del brazo en poses básicas de baile. Esto viene a raíz del estudio de la Teoría del Movimiento de Laban, lo cual establece la importancia de la anotación de los movimientos del cuerpo y tener puntos de referencia para crear una relación entre el cuerpo y los factores ambientales (en este caso el sonido).
  • Las diferentes poses del brazo se podrían usar para desencadenar nuevos sonidos o nuevos eventos en el performance. Sirven como entradas de control para el interprete.
  • Hemos visto la posibilidad de utilizar este nuevo prototipo con un controlador MIDI, lo cual añade la expresión física a la interpretación de un instrumento como un piano.
  • Agregar interacciones mas definidas para el reverb y delay.

Debilidades

  • Se debe afinar mucho mas las interacciones en la rotación. Solo se nota mucho el reverb. Todavía el delay y la reproducción de las muestras no tienen mucho relación con el movimiento a simple vista.
  • Los sonidos del sintetizador en algún punto se tornan cansinos.

Amenazas

  • La amenaza principal era los fallos del programa, los cuales se han resuelto.

[1] Proceso. Página web oficial del proyecto. [consulta URL: 15/9/2015] [URL: http://proceso-pd.blogspot.com.es/%5D

[2] Polywavesynth. Página web oficial del proyecto. [consulta URL: 6/12/2015] [URL: http://www.pkstonemusic.com/polyWaveSynth.html%5D

Advertisements