I suoni nella realtà virtuale

Tutti i suoni che sentiamo ogni giorno e in ogni istante forniscono informazioni sul mondo che ci circonda. Possono descrivere lo spazio in cui ci troviamo, le sue dimensioni e perfino ciò che sta accadendo al suo interno.

Come succede nella realtà quotidiana, un buon suono è fondamentale anche nelle esperienze di realtà virtuale: può dirci cosa sta accadendo al di fuori del campo visivo, in quale luogo ci troviamo, farci provare emozioni. Assieme alla visione e al tatto, i suoni rendono la realtà virtuale più verosimile e realistica.

Stefania Serafin si occupa di sound and music computing alla Aalborg University di Copenaghen. Il suo laboratorio è focalizzato allo sviluppo di nuove interfacce multisensoriali che integrano suono, tatto e visione in ambienti di realtà virtuale e aumentata.

Nome: Stefania Serafin
Età: 47 anni
Nata a: Venezia
Vivo a: Copenaghen (Danimarca)
Dottorato in: informatica musicale (Stati Uniti)
Ricerca: Interfacce per interazioni sonore
Istituto: Multisensory Experience Lab, Aalborg University, Copenhagen
Interessi: ascoltare il coro di mia figlia, girare per la città, bere lo spritz
Di Copenaghen mi piace: la tranquillità, l’onesta delle persone, la natura e la parte urbana
Di Copenaghen non mi piace: il cielo grigio, le strade sono tutte in piano
Pensiero: Love health and wealth and time to enjoy them.

Quanto è importante l’esperienza sonora nella realtà virtuale?

La percezione uditiva è fondamentale e unica in un ambiente di realtà virtuale (VR). In un’esperienza di VR i suoni possono provenire da tutte le direzioni, scorrono e danno informazioni anche se non ci prestiamo attenzione ed è difficile pensare di interromperli chiudendo le orecchie. Sono molto diversi dalla visione: l’esperienza visiva è legata a dove guardo in quel momento, se voglio esplorare l’ambiente devo girare tutta la testa o il corpo, e per interrompere il flusso di informazioni è sufficiente chiudere gli occhi.

Negli ultimi anni sono state sviluppate interfacce di realtà virtuale sempre più realistiche ma l’aspetto sonoro è rimasto un elemento poco preciso. Nel nostro laboratorio cerchiamo di mettere a punto tecnologie di interazione sia sonora che tattile e visiva che siano il più accurate possibile e riescano a riprodurre un ambiente il più naturale possibile.
L’obiettivo è creare degli strumenti che non siano solo dei gadget da laboratorio ma permettano di migliorare concretamente la vita delle persone.

In questo senso credo che la parte più complicata della nostra ricerca non sia tanto quella tecnica (oggi il campo della music technology e dei software è molto avanzato) quanto quella di rendere l’interazione uomo-strumento intuitiva, sensata e coerente con la realtà quotidiana.

Che tipo di interfacce sviluppate?

Dipende dal contesto di VR che vogliamo ricreare. Sono molto interessata a individuare tecnologie utili a persone con bisogni particolari.

In uno dei nostri progetti abbiamo usato la realtà virtuale per aiutare bambini non udenti con impianto cocleare a posizionarsi nello spazio in modo da sentire al meglio i suoni che li circondavano.

In questi bambini i suoni possono essere anche molto distorti a seconda del dispositivo che indossano e l’idea era riuscire a insegnare loro come usare questi suoni nella vita reale. Con visori e cuffie abbiamo ricreato virtualmente ambienti quotidiani, come la scuola o il parco giochi: attraverso l’esplorazione, il bambino poteva scoprire in quale posizione della classe sentiva meglio, perché magari più vicino alla maestra, o cosa aspettarsi se si avvicinava a un certo tipo di gioco.

In un altro progetto abbiamo lavorato con persone con disturbi dello spettro autistico che avevano difficoltà a entrare in un supermercato. Abbiamo costruito una simulazione di realtà virtuale di un supermercato usando dei visori e mettendo a disposizione cestini e prodotti. L’obiettivo era aiutare queste persone a sviluppare delle capacità che gli permettessero di entrare e fare acquisti in un supermercato reale.

I dispositivi commerciali, come cuffie e visori, sono sufficienti per queste simulazioni o capita di dover creare qualcosa ad hoc?

Molte delle tecnologie esistenti usano come hardware il joystick, che non permette un’interazione molto naturale. Anche i dispositivi tattili presenti in commercio non sempre fanno al caso nostro, perché danno un feedback molto superficiale ed estremamente semplice. Capita spesso di dover creare in laboratorio interfacce più precise, autentiche e multisensoriali, cioè con integrata sia la parte visiva, che sonora e tattile.

In un progetto assieme a persone con problemi motori, come gli anziani che vivono in casa di riposo e fanno poco esercizio, abbiamo messo a punto delle biciclette per portarli, virtualmente, in luoghi dove non potevano andare fisicamente. Abbiamo usato dei visori per mostrare le immagini del paesaggio e un’interfaccia tattile che in base alla vibrazione (intensità, frequenza e timbro) creava la sensazione di movimento su diversi tipi di terreno (piano, salita, fondo irregolare). Era anche possibile controllare la velocità con cui scorreva il paesaggio e con cui venivano percepiti i suoni dell’ambiente circostante, attraverso un’interfaccia che analizzava la velocità di rotazione delle ruote della bici.

Da poco abbiamo iniziato una collaborazione per mettere a punto strumenti musicali che possono essere controllati solo con gli occhi. L’idea è permettere anche ai pazienti con SLA (Sclerosi Laterale Amiotrofica) di creare musica.

Infine, abbiamo sviluppato interfacce per applicazioni in campo culturale: nel Museo degli strumenti musicali di Copenaghen, ci sono strumenti molto belli e preziosi che però nessuno può suonare. Abbiamo messo a punto delle simulazioni virtuali dello strumento e del contesto storico in cui veniva suonato e con la stampa 3D e la sintesi sonora abbiamo creato delle riproduzioni degli strumenti, poi posizionate all’interno del museo.

Quali sono le prospettive future del tuo lavoro?

Sono interessata all’interazione tra soggetti all’interno della realtà virtuale e stiamo guardando cosa succede se ci sono due persone che vanno in bici nello stesso ambiente virtuale. C’è tutta una ricerca sul sense of presence, sul sentirsi assieme anche se non lo si è fisicamente. Ci sono studi che dimostrano come, nella vita reale, camminando o correndo assieme a un’altra persona i ritmi in qualche modo si sincronizzano. Sarebbe interessante vedere innanzitutto se il ritmo assunto durante la simulazione è lo stesso che si assumerebbe nella realtà, e poi se c’è questa sincronizzazione.

Leggi anche: Quando il computer diventa uno strumento musicale

Articolo pubblicato con licenza Creative Commons Attribuzione-Non opere derivate 2.5 Italia.