Como fazer música no Heart Space Caves?

As novas tecnologias computacionais nos levam ao mundo do Heart Space Caves, um bloco multidimensional no qual uma pessoa, ao entrar dentro dele, pode manipular a imagem que o circunda. O mais interessante dessa caverna de imagens é que a mesma imagem que se encontra de um lado, continua nos outros lados, embaixo e em cima. A pessoa dentro do Hert Caves, faz uma viagem dentro da imagem ali colocada, para qualquer lado que a pessoa virar, ele pode mover a imagem, aproximar ou distanciar a imagem, faze uma viagem interplanetária, explorar uma caverna, enfim, é uma experiência incalculável.

Minha maior curiosidade é como inventar um Music Space Caves, ou seja, um espaço multidimensional onde música se transforma em imagens, imagens se transformem em sons e a viagem seja feita por dentro da música. Alguém pode ter uma ideia do que é preciso para eu fazer esse espaço?

Clique no vídeo abaixo, veja essa viagem interplanetária que o telespectador está com a lua em suas mãos e imagine uma caverna em que as imagens são sons e nós poderemos inventar uma música em tempo real que terá uma probabilidade mínima de se repetir.