Soun

d an

d M

usic

Com

putin

g

p. 1

Laboratorio Centro di Sonologia Computazionale

Sound and Music Computing Giovanni De Poli Federico Avanzini Sergio Canazza Antonio Rodà Alvise Vidolin

Soun

d an

d M

usic

Com

putin

g

p. 2

Premesse di musica elettronica a Padova

§  Teresa Rampazzi e il Gruppo NPS (Nuove Proposte Sonore)

§  Studio di musica elettronica fondato a Padova nel 1965

Soun

d an

d M

usic

Com

putin

g

p. 3

Anni ‘70: far suonare il computer

§  Ricerca sulla sintesi del parlato §  Sintesi numerica dei suoni musicali §  Centro di Sonologia Computazionale

(1979)

Soun

d an

d M

usic

Com

putin

g

p. 4

Anni'80: computer come strumento musicale

§  Suono: sintesi (in tempo reale) §  Trasformazione: Live electronics (Sistema 4i)

Soun

d an

d M

usic

Com

putin

g

p. 5

Anni '90: Expressive Information Processing

§  Informazione: fisica ⇒ simbolica ⇒ espressiva   Analisi del gesto   Modelli dell’esecuzione

Soun

d an

d M

usic

Com

putin

g

p. 6

Anni 2000: spazio e multimedialità

§  Spazio: parametro compositivo e di drammaturgia teatrale

  Sviluppo di tecnologie per il controllo musicale dello spazio

§  Multimedialità e interazione multimodale nello spettacolo

Soun

d an

d M

usic

Com

putin

g

p. 7

Produzioni musicali

§  Oltre 100 produzioni musicali

§  Esecuzioni in importati teatri e festival internazionali, tra cui:

  Teatro alla Scala   Maggio Musicale Fiorentino   Opéra Bastille   Staatstheater Stuttgart   Neuchâtel Expo 2002

§  Produzioni discografiche

Soun

d an

d M

usic

Com

putin

g

p. 8

Materiali cartacei Manoscritti musicali 22 Libri: ca. 700 Periodici: 96 Partiture a stampa: 4 (+ 13 tabulati IBM 360) Manifesti e locandine: ca. 100 Programmi di concerti: ca. 100

Documenti audio/video Nastri: 322 LP: 66 CD/DVD: 173 Cassette: 61 VHS: 4 DAT: 35 Floppy Disk: 257 Dischi magneto-ottici: 31

Strumenti musicali Tastiere elettroniche: 7 Generatori digitali di suono: 4 Organo elettronico (progetto e realizzazione Giovanni Battista Debiasi)

Strumenti per l’acquisizione e l’elaborazione del suono

Lettore laser cilindri di cera (progetto e realizzazione Giovanni Battista Debiasi) Sistema di elaborazione 4i Digital PDP-11 Teletype IBM 5028 NeXTcube Apple Mac Quadra

Archivio dei materiali e dei documenti conservati

Soun

d an

d M

usic

Com

putin

g

p. 9

Dalla computer music al Sound and music computing

§  XXI Secolo. Evoluzione delle tecnologie musicali con aperture verso altre discipline e ambiti applicativi

  Conservazione del patrimonio culturale: •  restauro documenti sonori

  Supporto alla formazione e alla didattica: •  ambienti interattivi multimodali

  Divulgazione scientifica e «edutainment»: •  installazioni interattive per musei

  Interfacce per utenti con disabilità: •  suono nella riabilitazione motoria

  Sicurezza e sorveglianza: •  audio-sorveglianza e riconoscimento parlatore

  Ricadute industriali e trasferimento tecnologico

Soun

d an

d M

usic

Com

putin

g

p. 10

Conservazione e restauro dei documenti sonori

§  Motivazioni: mantenere vivo il legame culturale con il passato (la società dell’informazione ha memoria corta)

§  Applicazioni: conservazione di opere d’arte nella forma originale, nuove forme di fruizione di opere del passato

§  Ricerca Photos of GHOSTS: estrazione dell’audio da dischi spezzati o corrotti, mediante processo fotografico

Soun

d an

d M

usic

Com

putin

g

p. 11

Supporto a formazione e didattica La ‘Stanza Logo-Motoria’

§  Ambiente interattivo multimodale per l’apprendimento e la comunicazione, attualmente in uso in diverse scuole

Zona centrale: riproduzione sonora di una

storia

Soun

d an

d M

usic

Com

putin

g

p. 12

Supporto a formazione e didattica La ‘Stanza Logo-Motoria’

§  Ambiente interattivo multimodale per l’apprendimento e la comunicazione, attualmente in uso in diverse scuole

§  Feedback sonoro:   Migliora il coinvolgimento fisico degli alunni   Prolunga il tempo di attenzione   Aumenta l’apprendimento

§  Sviluppi: per persone in situazione di handicap

Soun

d an

d M

usic

Com

putin

g

p. 13

Suono per la riabilitazione motoria

§  Motivazioni: neuro-riabilitazione per pazienti con emiparesi post-ictus (alta incidenza in EU e USA)

§  Metodo: uso di feedback acustico immersivo collegato al movimento in esercizi di riabilitazione motoria

§  Risultati sperimentali: suono migliora apprendimento motorio, prestazioni, partecipazione

§  Sviluppi: uso di queste tecnologie in ambito clinico

collaborazione con prof Rossi e Rosati ex-DIMEG

Soun

d an

d M

usic

Com

putin

g

p. 14

Tecnologie per la divulgazione scientifica

§  Ambiti applicativi: esposizioni museali interattive ed «edutainment»

§  Caso di studio: Museo Castello Sforzesco di Milano, RAI

  Progetto UE: DREAM   interagire con versioni virtuali

degli strumenti musicali

§  Sviluppi: progetti per il recupero e la valorizzazione del patrimonio artistico

mostra Copyright Italia

Soun

d an

d M

usic

Com

putin

g

p. 15

55 60 65 70 75 80 85 90 95 100 105−40

−20

0

20

40

TDO

A (s

ampl

e)

55 60 65 70 75 80 85 90 95 100 105−40

−20

0

20

40

Time (windows index)

TDO

A (s

ampl

e)

raw dataKalman filter data

Sicurezza e sorveglianza

§  Localizzazione di suoni attraverso array di microfoni

§  Riconoscimento e classificazione automatica di suoni per sistemi di sorveglianza

  es. riconoscimento automatico di urla, spari, vetri rotti, …

§  Classificazione automatica del parlatore per sistemi biometrici di identificazione

  es. autenticazione telefonica tramite voce

Soun

d an

d M

usic

Com

putin

g

p. 16

Trasferimento tecnologico §  SMC è disciplina ricca di ricadute industriali: musica, intrattenimento,

audio professionale, … §  Progetti industriali con aziende venete e italiane

§  Partecipazione a premi per l’innovazione   Start-Cup Veneto 2010 (1° progetto classificato)   Progetto IMPRESA (fase I Gestazione, fase II Start-up)   Premio ZIP 2011 (Zona Industriale Padova)   Start-Cup Veneto 2012 (3° classificato)

§  Due aziende spin-off dell’Università di Padova

dal 2011 dal 2013