Quando il computer diventa uno strumento musicale

I progressi dell’elettronica e delle tecnologie digitali hanno portato i computer a svolgere un ruolo sempre più importante nella maggior parte delle produzioni e prestazioni musicali. Alcuni artisti usano direttamente il computer per creare musica e la rapida evoluzione di interfacce uomo-macchina ha portato all’esplosione di nuove e innovative forme musicali. Creare nuove interfacce per l’espressione musicale (NIME, New Interfaces for Musical Expression), semplici da controllare e convincenti dal punto di vista artistico, è particolarmente complesso.

Stefano Fasciani è al Department of Musicology dell’Università di Oslo (Norvegia) per mettere a punto nuove tecnologie per la musica. La ricerca di Fasciani si occupa di computazioni orientate a suoni e musica e di musica telematica.

Nome: Stefano Fasciani
Età: 39 anni
Nato a: Roma
Vivo a: Oslo (Norvegia)
Dottorato in: scienze integrative e ingegneria (Singapore)
Ricerca: Nuove interfacce per l’espressione musicale e musica telematica.
Istituto: Department of Musicology, University of Oslo
Interessi: musica, tecnologia, sport, viaggiare
Di Oslo mi piace: la natura
Di Oslo non mi piace: certe cose funzionano a rilento, la comunità di expat è piccola
Pensiero: Cercare sempre di fare tutto al meglio delle possibilità.

Quali sono i fattori coinvolti nella creazione di nuove interfacce musicali?

Quando suoniamo uno strumento, il nostro livello di interazione è molto complesso perché controlliamo tante dimensioni allo stesso tempo. Per esempio, ci sono il coinvolgimento psichico e la coordinazione motoria: per suonare il pianoforte usiamo tutte e due le mani, gli occhi, le orecchie, i piedi. Inoltre, c’è bisogno di molta precisione, bastano pochi millisecondi di ritardo per andare fuori tempo, un mal posizionamento di pochi millimetri sulle corde di un violino per suonare la nota sbagliata.

Da un punto di vista tecnologico, quella musicale è una delle più complesse interfacce uomo-macchina che esistono proprio perché necessita di requisiti di controllo e precisione molto alti.

Lo stesso vale per la musica telematica, suonare assieme online è molto difficile. Una conferenza su zoom si segue tranquillamente, chiacchierare non è un problema, già scherzare dopo un po’ diventa faticoso e difficile. Non solo perché video e audio sono compressi, ma perché il segnale arriva in ritardo: immagina di aspettare ogni volta che un interlocutore rida alla tua battuta, alla lunga è stancante. Suonare assieme è la cosa più difficile da fare online, a causa della latenza, del ritardo, la qualità dell’audio, …

In quest’ambito la ricerca è molto attiva. L’obiettivo è introdurre tecnologie per migliorare il segnale visivo, la qualità del segnale audio, il ritardo, e capire come tollerare il ritardo pur mantenendo la performance.

Che tipo di tecniche per NIME hai sviluppato?

Ho creato delle interfacce basate su machine learning per semplificare l’uso di algoritmi che fanno sintesi, in cui le variabili che determinano il tipo di suono generato dalla macchina sono centinaia. Il segnale di input in questi sistemi può essere di varia natura, non per forza sonoro ma anche tattile, visivo, gestuale. Per esempio, si possono mettere sensori sulle braccia o sulle gambe o usare sistemi di motion tracking per registrare un movimento.

Nel mio caso ho usato la cosa più difficile, la voce, e ho fatto delle performance musicali in cui l’output era della ritmica che man mano si componeva del suono della cassa, della grancassa, del basso elettronico. Il pezzo finale magari non era bellissimo ma è servito a dimostrare che la tecnologia funziona.

Il vantaggio del machine learning è che è un sistema che funziona per tutti, non solo per la mia voce, perché sta tutto nella fase iniziale di addestramento dell’algoritmo. In questo modo, il machine learning non è solo uno strumento ma un meta strumento, una cornice per implementare idee di interfacce musicali e generare dati personalizzati.

Così il tipo di suono dipende tutto dall’estro dell’artista e non dall’oggetto fisico?

In pratica sì. In un contrabbasso, l’interfaccia e lo strumento sono parte dello stesso oggetto fisico, non si possono separare. Negli strumenti musicali elettronici digitali, l’interfaccia e il blocco che genera il suono sono distinti: il computer che genera il suono e la tastiera che premo o il sensore che tocco o il microfono in cui parlo possono anche essere a kilometri di distanza. E quando dico A nel microfono, posso produrre qualcosa che ha il suono di un pianoforte, una percussione, un violino. Non c’è più vincolo causale tra il movimento meccanico (= colui che suona lo strumento) e il suono che sentiamo; né causalità energetica. Posso solo sussurrare la A e generare un suono fortissimo, invece con le percussioni l’intensità del suono dipende dalla forza che uso.

Tutto ciò permette all’artista di avere moltissimi gradi di libertà, perché è lui che decide la relazione tra gesto e suono. Libertà che è bella ma anche difficile da controllare tramite gli algoritmi di sintesi, dove i parametri da programmare e interfacciare sono tantissimi. Le tecnologie per la musica spesso e volentieri si sviluppano in contesti artistici d’avanguardia, in generi musicali che non hanno nulla a che vedere con l’idea di ritmo, armonia e melodia cui siamo abituati. Per qualcuno potrebbero addirittura essere solamente rumore invece sono forme espressive molto molto avanzate.

Per la musica telematica, quali tecniche si stanno sviluppando?

Qui il punto è andare a tempo. Per suonare assieme, l’importante è che il mio audio ti arrivi con un ritardo non maggiore a 25 millisecondi (su zoom ce ne sono almeno 70-100). A ciò si aggiunge un problema fisico, ovvero che l’informazione viaggia su fibra ottica che raggiunge massimo il 70-80% della velocità della luce.

Sto sviluppando sistemi per computer controlled instrument per riuscire a compensare il ritardo dell’audio. In questi sistemi non si suona direttamente lo strumento ma c’è un sequencer, un dispositivo che suona lo strumento mentre tu fai il direttore d’orchestra. Sono sistemi molto difficili da sincronizzare, perché sono pensati per essere posizionati nella stessa stanza fisica e non sparpagliati nel mondo.

Quali sono le prospettive future del tuo lavoro?

Sto cercando di replicare il successo del machine learning con il deep learning. Il problema dei modelli di deep learning è che serve un’enorme quantità di dati per farli funzionare. Il vantaggio è che hanno capacità molto superiori a livello di interazioni e di possibilità di sintesi sonora. Con il deep learning si può fare di tutto e di più, la cosa difficile è generare i dati; e, per avere una cosa personalizzata, i dati li devi generare tu.

Leggi anche: Il legame tra musica e cervello, tra fisiologia ed estetica

Articolo pubblicato con licenza Creative Commons Attribuzione-Non opere derivate 2.5 Italia.   

Photo by Arvid Malde on Unsplash