Scale musicali

Il progetto e il team di Musical Chairs guidano Tamar Sella, Jason Wang, Suvin Sundararajan, Peggy Yin e Yiting Huang (Matt Goisman/SEAS)

Quando ci sediamo sulle sedie, lasciamo qualcosa dietro? Quando interagiamo con gli oggetti, loro si ricordano di noi? E se quegli oggetti potessero trasmetterci i loro ricordi, come potrebbero suonare?

Queste sono alcune delle idee che Peggy Yin e la sua organizzazione studentesca Conflux hanno esplorato in "Musical Chairs", un trio di sedie in legno in grado di registrare e ritrasmettere segnali audio che sono state installate ad Harvard Yard durante la ARTS FIRST Week. Il progetto ha combinato elementi di apprendimento automatico e informatica, performance musicale e falegnameria per creare una fusione di arte e tecnologia.

"Il mio obiettivo finale è creare uno spazio in cui le persone possano avere conversazioni naturali, ma anche riflettere in seguito sul modo in cui le loro parole ed espressioni possono avere un impatto sugli altri, e dare alle persone il tempo e lo spazio per esprimersi in modo autentico e onesto", ha affermato Yin, Co-fondatore di Conflux e studente del secondo anno di neuroscienze computazionali e storia dell'arte e dell'architettura. "Sono sempre stato interessato a come la tecnologia, in particolare la tecnologia dei media, possa davvero aiutarci a creare empatia e comprensione tra le persone, e come possa aumentare la nostra capacità di comunicare e interpretare i segnali di comunicazione degli altri."

Il paesaggio sonoro di Musical Chairs risuona mentre i visitatori di Harvard Yard si siedono. (Conflusso)

Ogni sedia suona la musica dell'arpa quando sensori specializzati rilevano che qualcuno è seduto su di essa. I microfoni rilevano le conversazioni e i computer utilizzano quindi algoritmi di apprendimento automatico per estrarre dati audio come la frequenza e il ritmo delle voci delle persone. Campioni preregistrati delle voci degli studenti di Harvard vengono quindi utilizzati per comporre musica basata su tali dati, che viene poi rimandata ai trasduttori nei braccioli della sedia. Mettendo il gomito sul bracciolo e l'orecchio vicino alla mano, è possibile ascoltare attraverso la conduzione ossea il paesaggio sonoro musicale delle conversazioni passate.

"Alcune persone che sono passate prima si sono sedute e hanno avuto una conversazione, e mi è davvero piaciuto il fatto che permettessero al paesaggio sonoro di verificarsi," ha detto Yin. "Alla fine, uno di loro ha detto che era davvero rilassante e che avrebbe voluto averne uno a casa propria. Avere avuto una conversazione del tutto normale mentre ascoltavano la musica, e poi dire che dopo, mi ha mostrato davvero che stavano permettendo la musica per supportare la loro conversazione in modo positivo senza interromperla."

Peggy Yin, responsabile del progetto Musical Chairs, al centro, mostra la tecnica di conduzione ossea davanti ai responsabili del team Tamar Sella e Jason Wang ad Harvard Yard. (Matt Goisman/SEAS)

Durante la costruzione della sedia, gli studenti della Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS) hanno aperto la strada nel far funzionare l'hardware e il software. Suvin Sundararajan, un concentratore di bioingegneria, ha stampato in 3D i sensori e ha agito come responsabile dell’hardware, mentre lo studente di informatica e matematica Jason Wang ha progettato gli algoritmi di apprendimento automatico e la rete informatica distribuita abbastanza potente da estrarre dati audio in tempo reale.

"Sono un tipo che apprende l'apprendimento automatico, quindi mi piace davvero giocare con questo tipo di cose", ha detto Wang. "La parte più impegnativa è stata capire come elaborare le funzionalità audio in tempo reale, perché normalmente richiedono molto calcolo. Abbiamo dovuto installare tre MacBook Pro per farlo funzionare in tempo reale e capire come comunicare queste funzionalità il software che crea la musica."

Il progetto di Yin è stato selezionato per una borsa di studio per le arti pubbliche dall'Harvard Office of the Arts. SEAS ha inoltre contribuito a portare a compimento il progetto attraverso finanziamenti stanziati per le organizzazioni studentesche affiliate a SEAS tramite il gruppo Insegnamento e apprendimento. Anche i sensori e l'elettronica sono stati progettati presso SEAS. La falegnameria e la falegnameria, nel frattempo, sono state completate presso la falegnameria Art, Film, and Visual Studies.

Uno sguardo alla scatola centrale del microfono, all'hardware e al cablaggio che consente il paesaggio sonoro di Musical Chairs. (Matt Goisman/SEAS)