Separacion de Voz Cantada(Singing Voice Separation)

Ariel Decarlini, Alessandro Palermo, Andres SamasInstituto de Ingenierıa Electrica

Facultad de Ingenierıa de la Universidad de la RepublicaMontevideo, Uruguay

decaland,ok.aless,andres.samas@gmail.com

AbstractEl problema principal que abordo este proyecto de fin decarrera es la extraccion de la voz cantada en una grabacionmusical. El objetivo es construir un sistema que reciba co-mo entrada un archivo de musica, y que devuelva como sa-lida la voz cantada. Con el fin de desarrollar la solucion, serealizo un estudio de los enfoques existentes y finalmente seopto por implementar el propuesto en [1].

Keywords: Cocleagrama, pitch, mascara binaria.

1. IntroduccionEl sistema auditivo humano tiene la capacidad de separar

los sonidos de diferentes fuentes acusticas, en especial pue-de escuchar y seguir la voz cantada en presencia de un acom-panamiento musical. Esta tarea le requiere poco esfuerzo,sin embargo, un sistema computacional que realice lo ante-rior no es algo trivial, y se han propuesto pocas soluciones.

Debido al gran volumen de datos multimedia que circulapor las redes, se tiene la necesidad de implementar siste-mas que permitan realizar busquedas por contenido, ya seacon el fin del ordenamiento, del almacenamiento o de la cla-sificacion de los datos. Esto permitira luego, por ejemplo,buscar en una base de datos algun archivo con cierta carac-terıstica, como ser canciones de un mismo cantante o de unmismo genero. Un sistema de separacion de voz cantada esmuy util para realizar esta tarea, ya que la voz cantada con-tiene informacion como la melodıa. Por lo tanto se podrıausar como un primer bloque de procesamiento para este ti-po de sistemas. Por ejemplo, la extraccion de la voz cantadapodrıa ir seguida de algun sistema de busqueda de cancionesmediante tarareo, como el presentado en [2].

Otras areas de aplicacion son el reconocimiento automati-co de las letras de las canciones y el alineamiento. Los siste-mas de reconocimiento de letras a menudo necesitan que laentrada sea la voz cantada [3]. El alineamiento de letras conla voz cantada es una tarea fundamental para sistemas deltipo karaoke, tal proceso es muy difıcil cuando esta presen-te el acompanamiento, sin embargo, al tener la voz cantadaseparada se pueden lograr mejores resultados [4]. Tambiense encuentra especial uso en la identificacion de cantantes[5], [6].

El enfoque propuesto en [1] es el que se decidio imple-mentar para resolver el problema de separacion de voz can-tada. A continuacion se presenta un resumen de la tecnicautilizada.

El objetivo es separar la voz cantada del acompanamien-to musical en el caso monoaural, es decir, cuando se tieneuna grabacion musical en un solo canal. Esta pudo habersido obtenida al grabar utilizando un microfono solamen-te, o como resultado de una mezcla final de audio. Comosenales de entrada se utilizan archivos de audio muestrea-dos a 16 kHz, los cuales deben ser fragmentos musicales decorta duracion que contengan voz cantada y acompanamien-to al mismo tiempo. Esto es debido a que el sistema presentaun gran costo computacional, y la demora para procesar ar-chivos de mas duracion es considerable.

El punto de partida de la teorıa sobre la que se basa elartıculo se encuentra en los resultados de los estudios psi-cofısicos del sistema auditivo humano, en los cuales se bus-ca conocer la forma en que nuestro sistema auditivo sepa-ra las distintas fuentes sonoras que constituyen la entradaacustica. El libro mas influyente es el escrito por Bregman[7], en este libro se propone que el sonido que llega al oıdohumano esta sujeto a un proceso llamado analisis de la es-cena auditiva (ASA, por sus siglas en ingles Auditory Sce-ne Analysis). Este proceso se realiza en dos grandes etapas:segmentacion y agrupamiento. En la etapa de segmentacion,la entrada acustica es descompuesta en una serie de regionestiempo-frecuencia (T-F) locales, llamadas segmentos. Cadauno de ellos se espera que sea originado por una sola fuentede la entrada acustica. La segunda etapa es la de agrupa-miento, en donde los segmentos que probablemente perte-nezcan a una misma fuente son agrupados juntos, forman-do unas estructuras perceptuales llamadas stream para cadafuente sonora. La segmentacion y el agrupamiento son lle-vados a cabo por mecanismos perceptuales, que determinancomo la escena auditiva es organizada de acuerdo a princi-pios auditivos del ASA.

A partir del ASA, se ha investigado y se han desarrolladosistemas para obtener la representacion computacional de lateorıa del analisis de la escena auditiva. Se abordo a lo quese conoce como analisis de la escena auditiva computacio-

nal (CASA, por sus siglas en ingles Computational AuditoryScene Analysis) [8], [9], [10], [11]. El objetivo de los siste-mas CASA es realizar la separacion de las distintas fuentessonoras que componen la entrada acustica. Se tiene por tantouna senal acustica de entrada compuesta por varias fuentessonoras, y el objetivo es obtener a la salida cada una de ellasen forma separada. Una de las grandes ventajas que tienenlos sistemas CASA frente a otros metodos es que no se supo-nen grandes restricciones sobre las propiedades acusticas delas senales de entrada, lo cual permite abordar un espectroamplio de problemas. En la figura 1 se puede ver un diagra-ma de bloques de un sistema CASA tıpico.

Figura 1: Sistema CASA.

En la etapa de procesamiento periferico se descomponela entrada acustica en una representacion T-F, que se realizaa traves de filtrados pasabandas y un proceso de enventa-nado temporal. En la segunda etapa se extraen caracterısti-cas de acuerdo a principios auditivos del ASA. Finalmenteen las etapas de segmentacion y agrupamiento, utilizandolas caracterısticas halladas anteriormente, el sistema gene-ra segmentos para las distintas fuentes acusticas, y luego seagrupan los segmentos perteneciente a cada fuente en distin-tos stream. Una vez que se tiene el stream de cada fuente, elproximo paso consiste en obtener la forma de onda temporalde cada una de ellas.

El sistema implementado es un caso particular de un sis-tema CASA. Se considera que la entrada acustica esta com-puesta por dos fuentes sonoras, la voz cantada y el acom-panamiento musical. El objetivo es lograr extraer la senal devoz cantada de la entrada acustica.

Cabe destacar, que el sistema realiza la separacion delinstrumento armonico predominante. Debido a lo anterior,se tienen que cumplir dos hipotesis para el correcto funcio-namiento del algoritmo de separacion. La primera es queeste presente en el fragmento de audio la senal de voz canta-da, ya que de otra manera se realizarıa la separacion de algunotro instrumento armonico. Asimismo para que se extraigacorrectamente la senal de voz cantada, esta debe predominarpor sobre el acompanamiento musical.

El artıculo esta fuertemente basado en [12] y [13], loscuales presentan un sistema para separar la voz hablada dealguna interferencia acustica. Es de destacar que se deci-dio basarse en [13] para realizar la implementacion del al-goritmo de separacion, realizandose las modificaciones y lasadaptaciones necesarias para el caso de la separacion de voz

cantada. En la figura 2 se puede observar un diagrama debloques de punta a punta del enfoque propuesto en [1].

Figura 2: Diagrama de bloques del enfoque propuesto porLi-Wang en [1].

El primer bloque tiene como objetivo particionar la senalde entrada en regiones en donde este presente la voz canta-da, de forma tal de quedarse con estos fragmentos y utili-zarlos a lo largo de todo el algoritmo, ya que en las partessubsiguientes se requiere contar con una senal que conten-ga la voz cantada y el acompanamiento musical al mismotiempo. Dicho bloque no fue implementado, debido a que seprocesan fragmentos de corta duracion (por lo que se deci-dio poner como restriccion al sistema que la senal de entradacontenga voz cantada y acompanamiento musical al mismotiempo).

Antes de proseguir, es bueno aclarar que el sistema sepa-ra solamente las partes de la senal de voz que son sonoras,no ası las partes que son sordas. El algoritmo hace la sepa-racion en base a la deteccion de la frecuencia fundamentalpredominante, por lo que esta pensado para realizar la se-paracion de una senal armonica. Los sonidos sonoros sonperiodicos o cuasi-periodicos, es por ello que el sistema lle-va a cabo su separacion. Por otro lado, los sonidos sordoscarecen de una estructura armonica, y para realizar su sepa-racion se deben utilizar otras tecnicas, en [13] se presentauna forma de llevar a cabo esta tarea. Esta limitacion no estan severa, ya que en diversos estilos musicales el porcenta-je de sonidos sonoros en la voz cantada llega al 90 %. Por lomencionado anteriormente hay que tener en cuenta que cadavez que se hable de la separacion de la senal de voz cantada,se estara hablando de la separacion de las partes sonoras dedicha senal. Las partes sordas quedan por tanto relegadas dela separacion, incurriendo en errores perceptibles.

2. Modelo auditivoLa primera etapa del sistema consiste en realizar una re-

presentacion en tiempo-frecuencia de la senal de entrada,para ello se utiliza un modelo computacional del sistema au-ditivo humano. Este consta de un banco de filtros pasaban-das llamados gammatone que imitan el filtrado que realizala coclea en el oıdo humano [14], seguido por el modelo deMeddis que simula los procesos no lineales que allı suceden[15].

El modelo que se utiliza para la construccion de los filtroses el propuesto en [14], la respuesta al impulso de cada unode ellos viene dada por:

g(t) = tl−1e−2πt1,019ERBcos(2πfct) con t ≥ 0 (1)

Donde l = 4 es el orden del filtro y fc es su frecuenciacentral asociada. Por otro lado, el ancho de banda de ca-da filtro es ajustado de acuerdo a las medidas del ancho debanda rectangular equivalente (ERB por sus siglas en inglesEquivalent Rectangular Bandwidth) 1 de los filtros auditi-vos humanos [16].

Para realizar la implementacion se utilizo un banco de128 (canales) filtros gammatone, con las frecuencias centra-les dentro de un rango de interes de entre 80 y 5000 Hz. Enla figura 3 se puede observar una representacion grafica delas frecuencias centrales y ERB en funcion del numero decanal. El canal numero 1 corresponde a la frecuencia masalta y el canal 128 a la frecuencia mas baja.

Figura 3: Frecuencias centrales y ERB vs numero de canal.

Se puede apreciar que las frecuencias centrales quedandistribuidas en una escala cuasi-logarıtmica, entre los valo-res de 80 y 5000 Hz. Del mismo modo, los anchos de ban-da de los filtros tambien quedan distribuidos en una esca-la cuasi-logarıtmica. Para valores de frecuencias bajas losfiltros presentan anchos de banda angostos, y luego en losvalores de frecuencias mas altas los anchos de banda sonmayores.

En la figura 4 se pueden ver las respuestas al impulsopara 8 filtros gammatone, ası como tambien sus respuestasen frecuencia.

1 El ERB de un filtro dado, se define como el ancho de banda de un filtrorectangular ideal con la misma ganancia de pico, y que deja pasar la mismacantidad de potencia cuando la senal de entrada es ruido blanco.

Figura 4: Filtros gammatone. En la figura de la izquierdase observa la respuesta al impulso para 8 filtros gammato-ne. En la figura de la derecha se puede ver la respuesta enfrecuencia de estos filtros.

Las respuestas en frecuencia de la figura 4 muestran quelos filtros son pasabanda, y que sus frecuencias centrales ysus anchos de banda aumentan logarıtmicamente con la fre-cuencia. Otra propiedad relevante que se observa en la figuraes el solapamiento de los espectros de los filtros.

Los anchos de banda de los filtros se incrementan cuasi-logarıtmicamente, a medida que aumenta su frecuencia cen-tral. Por lo tanto, para una senal armonica se diferencian doscasos, en el rango de las bajas frecuencias un filtro auditivotiene un ancho de banda angosto y generalmente contienesolo un armonico, mientras que en el rango de las altas fre-cuencias tiene un ancho de banda mas amplio y usualmentecontiene multiples armonicos. Un armonico es llamado re-suelto si existe un canal del banco de filtros que respondeprimariamente a el, en caso contrario, es llamado no resuel-to. Se puede ver entonces que con el modelo del banco de fil-tros auditivos, una serie armonica es dividida en armonicosresueltos y no resueltos. En el rango de las bajas frecuen-cias se encuentran los primeros armonicos, en general sonresueltos ya que en cada banda hay solo uno de ellos. Porotro lado, en el rango de las altas frecuencias es encuentranlos armonicos mas altos, son frecuentemente no resueltosya que en una misma banda se combinan varios [17], [18].Tanto en el caso de voz hablada como cantada, el valor quese toma para diferenciar el rango de las bajas y las altas fre-cuencias es generalmente de 1 kHz, y es por tanto el que seutiliza en el algoritmo de separacion.

A la salida de cada filtro, la senal es dividida en tramastemporales consecutivas. Este proceso resulta en una des-composicion de la senal en un mapa de dos dimensiones,tiempo y frecuencia. Cada unidad del mapa es llamada uni-dad T-F, que corresponde a un determinado canal del bancode filtros en una determinada trama temporal. A partir deesta descomposicion T-F, se define el objetivo computacio-nal del sistema, el cual consiste en retener las unidades T-Fen donde la voz predomina por sobre el acompanamiento,y remover las otras. Lo anterior se puede ver tambien comoel hecho de identificar una mascara binaria en donde un 1

indica que la voz predomina sobre el acompanamiento, y un0 indica lo contrario. Esta mascara es llamada mascara idealbinaria (IBM, por sus siglas en ingles Ideal Binary Mask)[11], [19]. La base de lo planteado anteriormente se encuen-tra en lo que se denomina fenomeno de enmascaramientoauditivo, el cual dice que dentro de una banda crıtica unasenal tiende a ser enmascarada por otra mas fuerte [20]. Lamascara binaria estimada que se obtiene en todo el procesode separacion se pretende que se parezca lo mas posible a laIBM.

Una propiedad muy importante es que la respuesta de losfiltros auditivos a multiples armonicos es modulada en am-plitud, y la frecuencia de la envolvente de dicha respuestaes la frecuencia fundamental (f0) 2 [21]. Ademas, estudiospsicofısicos muestran que el sistema auditivo humano utili-za diferentes mecanismos para procesar armonicos resuel-tos y no resueltos [17], [22]. Los primeros sistemas basa-dos en CASA empleaban la misma estrategia para tratar alos diferentes armonicos, esa tecnica funcionaba razonable-mente bien para los armonicos resueltos pero tenıa un po-bre desempeno para los armonicos no resueltos. Tomandoen cuenta lo anterior, el artıculo propone utilizar distintosmetodos para realizar la separacion de los armonicos resuel-tos y de los no resueltos, o lo que es lo mismo, se trabaja dedistintas maneras en bajas y en altas frecuencias.

Si se observa la ecuacion 1, se puede ver que los filtrosgammatone introducen un desfasaje entre muestras, distintopara cada canal. Si se quieren hacer comparaciones entre ca-nales, como es el caso del algoritmo de separacion descritoen este artıculo, tal caracterıstica se vuelve un inconvenien-te. Se implementaron dos metodos para tratar de resolvereste problema, uno es el de doble filtrado y el otro es el pre-sentado por Hu-Wang en [13].

El metodo de doble filtrado consiste en primero filtrar lasenal en un sentido, aquı se introduce un desfasaje que vienedado por el argumento de la transferencia del filtro, ϕ, luegose invierte todo el sentido de las muestras de la senal, y fi-nalmente se pasa por el filtro nuevamente introduciendo undesfasaje de−ϕ. Por lo tanto el desfasaje total luego de esteproceso es cero. 3 Si bien este metodo funciona correcta-mente para lograr un desfasaje nulo, tiene como desventajaque la ganancia del filtro se duplica, por lo que el filtrado esmas severo en cada banda.

Por otro lado, el metodo descrito en [13] consiste en re-tardar las muestras por una cantidad constante en cada canal,la cual esta dada por: l−1

2πt1,019ERB fs, donde l y ERB sonlos mismos que en la ecuacion 1 y fs es la frecuencia demuestreo (16 kHz). Los detalles exactos del calculo puedenencontrarse en [23]. Si bien no es una correccion exacta, ya

2 La suma de dos senales sinusoidales puede verse como una senal defrecuencia intermedia, cuya amplitud esta modulada por una sinusoide defrecuencia igual a la resta de las frecuencias originales.

3 Matlab brinda la posibilidad de hacer este proceso mediante la funcionfiltfilt.

que los filtros tienen fase no lineal, se comprobo experimen-talmente que se obtienen buenos resultados.

En la figura 5 se observa para una entrada sinusoidal de300 Hz las salidas de los filtros junto con las correccionesde fase.

Figura 5: Comparacion entre la salida original de los filtrosy las correcciones de fase para una entrada sinusoidal de300 Hz. En la figura superior se muestra la salida sin nin-guna correccion de fase, en la figura del medio la salida concorreccion de fase de Hu-Wang, mientras que en la figura in-ferior esta la salida con correccion de fase de doble filtrado.Las frecuencias centrales varıan entre 200 y 400 Hz.

En la figura superior se puede observar que efectivamentese introduce un retardo a la salida de cada canal, y que esdistinto para cada uno de ellos. Se puede ver que los picosquedan desalineados entre los diferentes canales. Asimismose aprecia que debido al solapamiento de las bandas de pasode los filtros, la entrada sinusoidal activa el canal de 300 Hzy los adyacentes.

2.1. CocleagramaPara realizar una representacion grafica de la senal en

tiempo y en frecuencia generalmente se utiliza un espec-trograma, el cual consiste en calcular el espectro de las fre-cuencias en consecutivas tramas temporales solapadas. Seobtiene por tanto una representacion de las variaciones de laenergıa de la senal en una matriz de dos dimensiones, cu-yos ejes vertical y horizontal son la frecuencia y el tiemporespectivamente. Cabe destacar que el eje de las frecuenciastiene una escala lineal.

Al utilizar el modelo auditivo para descomponer la senalen una representacion de tiempo-frecuencia, se realiza unfiltrado pasabanda a traves del banco de filtros gammatone,seguido por una rectificacion no lineal al utilizar el modelode Meddis. El cocleagrama consiste en graficar el logaritmode la energıa de cada unidad T-F. Aquı se obtiene una escalaen frecuencia cuasi-logarıtmica, y los anchos de banda decada filtro dependen de la frecuencia. Asimismo el coclea-grama tiene mucho mas resolucion en bajas frecuencias queen altas, debido a la distribucion de las frecuencias centra-les de los distintos canales. El cocleagrama es por tanto una

representacion mas apropiada cuando se utiliza el modeloauditivo, ya que se obtiene una resolucion variable de losanchos de banda de cada filtro y de sus frecuencias centra-les asociadas.

En la figura 6 se puede ver el espectrograma y el coclea-grama para una senal de voz cantada.

Figura 6: Comparacion entre el espectrograma y el coclea-grama. En la figura superior se presenta el espectrograma dela senal, mientras que en la inferior esta el cocleagrama.

3. Extraccion de caracterısticas

En esta etapa se extraen caracterısticas para cada unidadT-F, las cuales son utilizadas en las etapas posteriores. Unade ellas es una estructura llamada correlograma, que consis-te en hallar la autocorrelacion de las respuestas de los filtrosen cada unidad, y es utilizada como medida de la periodici-dad de la senal. La otra caracterıstica es la correlacion cru-zada entre canales, la cual mide la similitud entre las autoco-rrelaciones de dos canales adyacentes, o lo que es lo mismo,la similitud entre los patrones de periocidad. Es utilizadacomo indicador de si dos canales adyacentes responden aun mismo componente acustico. Ambas caracterısticas soncalculadas en los canales de bajas frecuencias. En altas fre-cuencias estas caracterısticas no son buenos indicadores, de-bido a que las respuestas de los filtros estan moduladas enamplitud y su envolvente fluctua a f0. Por lo tanto en altasfrecuencias se calculan las mismas caracterısticas, pero so-bre la envolvente de amplitud de la respuesta de los filtros.

El correlograma consiste en un arreglo tridimensional,donde cada componente es la autocorrelacion de las res-puestas a la salida del modelo auditivo. Es decir, la auto-correlacion de cada unidad T-F para determinado instantede tiempo. En la figura 7 se puede ver una representacionesquematica del correlograma.

Figura 7: Representacion esquematica del correlograma,donde el tiempo, la frecuencia y la autocorrelacion son vis-tos en ejes ortogonales.

El correlograma es generalmente usado para obtener unarepresentacion de la periocidad de la senal, es util tanto enlas etapas de segmentacion y agrupamiento, como en la eta-pa de deteccion de f0.

Para computar el correlograma, se calcula la autocorre-lacion en todas las unidades T-F. Para esto, en el algoritmoimplementado se utiliza la version normalizada de la auto-correlacion. Sea la unidad T-F uc,m para el canal c y la tramam, el correlograma normalizado a la salida del bloque audi-tivo viene dado por:

AH(c,m, τ) =

∑N−1

n=0h(c, mT + n)h(c, mT + n + τ)√∑N−1

n=0h2(c, mT + n)

√∑N−1

n=0h2(c, mT + n + τ)

(2)

Donde h es la salida del modelo auditivo, m es el ındice dela trama y c es el ındice del canal. El valor de N es de 256muestras ya que se utilizan ventanas de 16 ms, mientras queT = 160 al utilizar solapamientos entre ventanas de 10 ms.El correlograma es calculado para valores de τ compren-didos entre 32 y 200, debido a que corresponden al rangodefinido de variacion del pitch de la senal, el cual es entre80 y 500 Hz.

Como se menciono anteriormente, las caracterısticas pre-sentadas se calculan de diferente forma segun se este en al-ta o baja frecuencia. En baja frecuencia se calculan sobrela unidad T-F y en el caso de alta frecuencia se computansobre las envolventes de las unidades T-F. Las siguientes fi-guras ilustran como cambia el correlograma al utilizar lasenvolventes para los canales de alta frecuencia.

La figura 8 muestra el correlograma para una trama deaudio. En el mismo, no se realiza la discriminacion entrecanales de baja y alta frecuencia. Se calcula las autocorrela-ciones sobre las unidades T-F para todos los canales.

Figura 8: Correlograma computado sobre todas las unidadesT-F, tanto en los canales de baja frecuencia como en los dealta.

En la parte superior de la figura 8 se observa la tramade audio en estudio. En la parte central, el correlogramacomputado sobre todas las unidades T-F. En bajas frecuen-cias (canales inferiores sobre el eje vertical), se observa enrojo, los picos de la autocorrelacion. Se aprecian los armoni-cos f0, 2f0 y 3f0, por ejemplo. En los canales de alta fre-cuencia se observa el efecto del batido. La figura inferiormuestra el resultado de sumar todos los canales del correlo-grama. En ella se observan los picos de la autocorrelacion,los cuales indican el perıodo de la senal. Cabe destacar quetambien aparecen picos espurios, esto es no deseable ya quepuede inducir a errores. Para evitar estos picos espurios esjustamente que se utiliza la envolvente.

La figura 9 muestra, para la misma trama de audio, elcorrelograma utilizando la envolvente para los canales dealta frecuencia.

Figura 9: Correlograma computado sobre todas las unidadesT-F en baja frecuencia y sobre las envolventes de las unida-des en alta frecuencia.

La figura anterior muestra en la parte superior nuevamen-te la trama de audio en estudio. En la parte central se tiene elcorrelograma. En los canales de baja frecuencia el correlo-grama es identico al de la figura 8, nuevamente se aprecianlos armonicos f0, 2f0 y 3f0. En la parte de alta frecuen-cia se realiza el correlograma sobre las envolventes de lasunidades T-F. Se observa claramente como el correlograma

en alta frecuencia presenta maximos (zonas rojas) solo enla frecuencia fundamental f0. De este modo, se justifica loque se comento inicialmente, que la envolvente en alta fre-cuencia fluctua entorno a la frecuencia fundamental f0. Enla parte inferior de la figura 9 se calcula nuevamente la su-ma del correlograma. Los maximos que se observan indicanel perıodo de la senal en estudio. Se puede ver, que si bienestos picos son mas suaves que los que se muestran en la fi-gura 8, no aparecen los picos espurios. Por lo tanto, al utili-zar un detector de picos (o maximos) se obtendrıan mejoresresultados al haber menos probabilidad de cometer error. Lafigura 9 muestra claramente el efecto que tiene la discrimi-nacion entre canales de baja y alta frecuencia y justifica eltrabajar de este modo.

La correlacion cruzada entre dos canales adyacentes mi-de la similitud entre las autocorrelaciones de ambos. Es unamedida de que tan similares son los patrones de periocidadde sus respuestas. Como un armonico activa varios canalesconsecutivos, si dos canales adyacentes presentan alta corre-lacion cruzada, se puede suponer que responden a un mismocomponente acustico.

Para cada unidad T-F uc,m, su correlacion de canal cru-zada con uc+1,m viene dada por:

CH(c,m) =L−1∑τ=0

A(c,m)A(c + 1,m) (3)

Donde c indica el canal, m la trama y A es la autocorrelacioncon media cero y varianza uno de la senal. Se utiliza la auto-correlacion de esta forma para asegurarse de que CH(c,m)sea sensible solo a los patrones de periocidad, y no a lasvariaciones de la media que introducen los filtros auditivos.

4. Deteccion del pitch predominanteEsta etapa implementa la deteccion de pitch o frecuen-

cia fundamental f0. Esta basado en el metodo propuesto en[24], el cual permite detectar el contorno de multiples pit-ches (de voz cantada y otras fuentes armonicas provenientesde instrumentos musicales, por ejemplo). Esta etapa es devital importancia para obtener buenos resultados al final delsistema de separacion de voz cantada.

Figura 10: Representacion esquematica del metodo para laobtencion del pitch.

A diferencia de otros algoritmos de deteccion de pitch,como son por ejemplo los provistos por los programas Wa-veSurfer [25] o Praat [26], se calcula el pitch para el caso

polifonico, es decir, cuando esta presente mas de una fuentearmonica. Una hipotesis fuerte que se realiza en esta etapaes que en una trama donde este presente la voz cantada y elacompanamiento musical, el pitch predominante sera el dela voz cantada.

Los dos primeros bloques del algoritmo de deteccion depitch son similares a los explicados anteriormente. En estecaso se usan los correlogramas para obtener los picos de laautocorrelacion, los cuales se utilizan para calcular la fre-cuencia fundamental f0.

El bloque de seleccion de canales y picos se encarga pri-mero de seleccionar distintos canales, con el fin de eliminaraquellos que posean interferencia y ası de este modo, evitarcometer errores en el calculo de la frecuencia fundamental.Luego para cada uno de los canales resultantes, se seleccio-nan diferentes picos y se guardan los valores de los retardosde los picos en un conjunto de picos.

Para modelar el proceso de generacion de pitch se utilizaun modelo oculto de Markov (HMM), el cual se ilustra en lafigura 11.

Figura 11: Diagrama esquematico del HMM. En verde semuestran los nodos ocultos, los cuales representan posiblesestados de pitch en cada trama. En celeste estan los nodosobservados, los cuales representan el conjunto de picos se-leccionados en cada trama.

El espacio de estados de pitch Ω es la union de tres subes-pacios:

Ω = Ω0 ∪ Ω1 ∪ Ω2 (4)

Donde Ω0, Ω1 y Ω2 son subespacios de cero, una y dosdimensiones respectivamente. Cada uno de ellos represen-ta una coleccion de hipotesis de pitch con cero, uno y dospitches respectivamente. Un estado en el espacio de estadoses representado como el par:

x = (y, Y ) (5)

Donde y ∈ RY e Y ∈ 0, 1, 2 es el ındice del subespacio.En cada trama temporal, un nodo oculto del HMM indi-

ca un posible estado de pitch, mientras que el nodo obser-

vado indica el conjunto de picos seleccionados. En el blo-que de integracion de canales se calculan las probabilidadesde observacion, que son las probabilidades de observar unconjunto de picos (nodo observado) estando en un estadoen particular (nodo oculto). Por ultimo, en el bloque finalse calculan las probabilidades asociadas a la dinamica depitch (las transiciones entre distintos estados), y finalmentese halla la secuencia de estados mas probable, o lo que es lomismo, el valor del pitch predominante en cada trama.

5. SegmentacionEn las etapas anteriores, la senal de entrada ha pasado por

el modelo auditivo, donde se realizo una descomposicion enunidades T-F. Luego a cada una de ellas se le calcularonvarias caracterısticas, ademas de la frecuencia fundamentalpredominante.

Este capıtulo presenta la siguiente etapa, que es la etapade segmentacion de las unidades T-F. Un segmento es unaregion de unidades T-F, se pretende que cada uno de ellospertenezca a una misma fuente (una de las fuentes que ge-nera la senal de entrada). Cabe destacar que el segmentocontiene mas informacion que una unidad T-F aislada, yaque contiene informacion sobre la continuidad temporal yen frecuencia.

Considerando que las senales de voz son continuas tantoen el tiempo como en frecuencia, las unidades T-F vecinasen el tiempo tienden a ser originadas por la misma fuen-te. Asimismo, debido a la forma de los filtros del modeloauditivo, los cuales hacen que haya un solapamiento signi-ficativo entre los canales de frecuencia, un armonico activacierto numero de canales adyacentes. Esto lleva a realizarla formacion de segmentos teniendo en cuenta la continui-dad temporal y la correlacion cruzada entre canales. En loscanales de alta frecuencia, seran las envolventes de las res-puestas de los filtros las que presenten similares patrones deperiocidad en canales adyacentes. Es ası que en los cana-les de alta frecuencia se realiza la segmentacion en base ala continuidad temporal y a la correlacion cruzada entre lasenvolventes de los canales.

Debido a que el correlograma es una representacion de laperiocidad de la senal, este metodo esta pensado para quefuncione bien solo en las partes sonoras, no esperandosebuenos resultados en aquellas partes no periodicas, comolas sordas.

En una primera instancia se realiza el marcado de lasunidades T-F, el cual consiste en marcar las unidades conalta correlacion cruzada entre canales (implica que el ori-gen de esas senales provienen de la misma fuente). Toman-do en cuenta el efecto de la modulacion en amplitud paralos armonicos no resueltos en canales de alta frecuencia, enforma separada se marcan las unidades con alta correlacioncruzada entre las envolventes de los canales.

En los canales de baja frecuencia se marcan dos unida-

des T-F adyacentes uc,m y uc+1,m4 con un valor de 1 si se

cumple que:

CH(c, m) > θH (6)

Donde CH(c,m) es la correlacion cruzada entre uc,m y uc+1,m

y θH = 0,986.En los canales de alta frecuencia se marcan unidades de

dos tipos. Dos unidades T-F se marcan con un valor de 1utilizando el mismo criterio que en baja frecuencia. Por otrolado, con el fin de identificar las unidades T-F que respon-den a armonicos no resueltos, se marcan dos unidades T-Fadyacentes con un valor de 2 si se cumple que:

CE(c, m) > θE (7)

Donde CE(c, m) es la correlacion cruzada entre las envol-ventes de uc,m y uc+1,m y θE = 0,975.

En la figura 12 se muestra un ejemplo del marcado deunidades T-F.

Figura 12: En la figura superior se observa el cocleagramade la senal de entrada, mientras que en la figura inferior sepueden ver las unidades T-F marcadas, en verde estan lasunidades marcadas con 1, mientras que en rojo se aprecianlas que fueron marcadas con 2.

Las unidades T-F vecinas con la misma marca se juntanen segmentos, formando por tanto segmentos tipo-1 y seg-mentos tipo-2, de acuerdo a la naturaleza de sus armonicos,es decir, si son resueltos o no.

Dos unidades son consideradas vecinas si comparten elmismo canal y aparecen en tramas temporales consecutivas,o si comparten la misma trama y estan en canales adyacen-tes.

Una vez que se termina de formar los diferentes segmen-tos, el proximo paso es agruparlos con el fin de formar elstream final, el cual esta constituido por segmentos prove-nientes de una misma fuente, en este caso de la voz cantada.Los criterios para agrupar los segmentos se presentan en lasiguiente seccion.

4 Donde ui,j es la unidad T-F del canal c, en la trama m-esima.

6. AgrupamientoEn esta seccion se presenta la etapa de agrupamiento. El

objetivo es obtener una mascara binaria llamada stream for-mada por las unidades T-F. Un valor de 1 en dicha mascaraindica que la unidad pertenece a la senal de voz cantada,mientras que un valor de 0 indica que pertenece a la senalde acompanamiento musical.

En una primera instancia se realiza un etiquetado indivi-dual de las unidades T-F. Las unidades en las que la voz pre-domina sobre el acompanamiento son etiquetadas como vozdominante, mientras que las otras se etiquetan como acom-panamiento dominante.

Luego se etiqueta cada segmento como voz dominante oacompanamiento dominante, teniendo en cuenta si la sumade la energıa de sus unidades T-F etiquetadas como voz do-minante es mayor a la energıa total de todo el segmento. Lossegmentos etiquetados como voz dominante son agrupadosal stream final. Finalmente con el objetivo de refinar el re-sultado se remueven regiones significativas de unidades T-Fetiquetadas como acompanamiento dominante, y se agreganunidades T-F vecinas etiquetadas como voz dominante queno pertenecen a ningun segmento.

Para etiquetar las unidades T-F se procede de distinta ma-nera segun los segmentos hayan sido formados teniendo encuenta si sus armonicos eran resueltos o no. En las bajas fre-cuencias, para etiquetar una unidad se compara su perioci-dad con el perıodo del pitch predominante en esa trama. Porotro lado, en las altas frecuencias, las respuestas son modu-ladas en amplitud y sus envolventes fluctuan a la frecuenciafundamental f0, por lo que se compara la periocidad de suenvolvente con el perıodo del pitch predominante.

Las unidades T-F uc,m que pertenecen a segmentos tipo-1 son etiquetadas como voz dominante si la autocorrelacionen el canal c y la trama m, evaluada en el pitch estimadoτS(m) es comparable con el maximo valor de la autocorre-lacion dentro del posible rango de pitch Γ:

AH(c,m, τS(m))maxτ∈Γ AH(c,m, τ)

> ΘT (8)

Donde ΘT = 0,688. En el caso de no cumplir esta condi-cion, la unidad T-F se etiqueta como acompanamiento do-minante.

El resto de las unidades T-F se etiquetan como voz domi-nante si el valor del correlograma de la envolvente, evaluadoen el pitch estimado, es comparable con su valor maximodentro del posible rango de pitch:

AE(c,m, τS(m))maxτ∈Γ AE(c,m, τ)

> ΘA (9)

Donde ΘA = 0.688.En la figura 13 se muestra un ejemplo del etiquetado de

unidades. Se pueden ver las unidades marcadas y las unida-des etiquetadas.

Figura 13: En la figura superior se pueden ver las unidadesmarcadas, en verde son las tipo 1 y en rojo las tipo 2. En lafigura inferior se observan en rojo las unidades etiquetadascomo voz dominante, y las restantes son la etiquetadas comoacompanamiento dominante.

El proceso de agrupacion de segmentos se divide en tresetapas. La primera etapa es la mas importante, en la cualse realiza una agrupacion inicial de los segmentos formadosen la etapa de segmentacion. Un segmento es consideradocomo voz dominante y agrupado en el stream final, si secumple que la suma de la energıa correspondiente a sus uni-dades etiquetadas como voz dominante, es mayor a la mitadde la energıa contenida en todo el segmento. Las proximasdos etapas son de refinamiento del proceso descrito ante-riormente. La segunda etapa consiste en eliminar del streamanterior, grandes regiones de unidades T-F etiquetadas comoacompanamiento dominante. La tercera y ultima etapa, tie-ne como objetivo reunir mas unidades T-F etiquetadas comovoz dominante para agregarlas al stream. Para ello se buscanunidades etiquetadas como voz dominante en la vecindad delos segmentos etiquetados como voz dominante, y que nopertenezcan a ningun segmento.

A modo de comparacion, en la figura 14 se puede ob-servar el stream final obtenido, junto con la mascara idealbinaria para el ejemplo de voz cantada que se ha venidomostrando. Se observa que hay similitud entre ambas.

Figura 14: En la figura superior se observa la mascara bina-ria obtenida con el codigo implementado. En la figura infe-rior se ve la mascara ideal binaria.

En la figura 15 se pueden ver los cocleagramas del ejem-plo de voz cantada. Se muestra el correspondiente al de la

senal de voz, al del acompanamiento musical y finalmenteal de la mezcla. Se puede observar que el cocleagrama de lasenal de mezcla es una superposicion de los otros dos.

Figura 15: En la figura superior se puede ver el cocleagra-ma de la senal de voz, en la central el de la senal de acom-panamiento musical, y en la inferior el de la mezcla.

El objetivo del sistema es identificar cuales regiones delcocleagrama de la mezcla pertenecen a la senal de voz. Elstream es justamente un indicador de en que zonas la vozpredomina por sobre el acompanamiento. En la figura 16 seilustra lo anterior. En ella se puede observar el cocleagramade la senal de voz original, junto con el cocleagrama de lamezcla enmascarado con la mascara ideal binaria y con elstream obtenido con el algoritmo. Se observa la similitudentre los cocleagramas enmascarados con el cocleagrama dela voz original.

Figura 16: En la figura superior se encuentra el cocleagramade la senal de voz, en la central el cocleagrama de la mezclaenmascarado con la mascara ideal binaria, y en la inferior elenmascarado con la mascara producida por el algoritmo.

7. ResıntesisLa funcion de resıntesis constituye el bloque final del al-

goritmo de separacion, la cual permite obtener la forma deonda en el dominio del tiempo de la senal de voz cantada.Para ello, en esta etapa se utilizan como entradas el streamfinal obtenido en la etapa de agrupamiento y la salida delbanco de filtros auditivos.

El algoritmo de resıntesis, realiza la reconstruccion dela senal utilizando las unidades T-F a la salida de los filtrosgammatone en donde el stream final vale 1, o sea, se utilizanlas unidades en las cuales la voz predomina sobre el acom-panamiento. Por lo tanto, se hace un enmascaramiento entreel mapa de unidades T-F obtenido por los filtros auditivos yel stream final.

A diferencia de etapas anteriores, en esta etapa es muyimportante que el desfasaje entre muestras de la senal sealo menor posible, ya que se reconstruye la senal muestra amuestra. Por tanto en esta etapa se utiliza la salida del ban-co de filtros con correccion de fase mediante doble filtrado,ya que aquı lo que interesa es la alineacion de las muestrasentre diferentes canales.

La implementacion del algoritmo de resıntesis consisteen 3 pasos:

1 Quedarse con aquellas unidades T-F que valen 1 en elstream final, o lo que es lo mismo, con las unidadesT-F en las cuales la voz predomina sobre el acom-panamiento. Para ello se realiza un enmascaramientoentre el mapa de unidades T-F y el stream final.

2 Utilizar una ventana de coseno elevado para ponderarcada muestra dentro de las unidades T-F resultantesdel paso anterior.

3 Sumar todas las senales que se obtienen del paso 2para reconstruir la senal de voz cantada en el dominiodel tiempo.

En la figura 17 se muestra un ejemplo de los resultadosobtenidos.

Figura 17: Formas de ondas obtenidas con el algoritmo deresıntesis para el ejemplo de voz cantada. En la figura su-perior se muestra la forma de onda original de la voz. En lafigura central esta la forma de onda obtenida al resintetizarcon la mascara ideal binaria, mientras que en la figura in-ferior esta la forma de onda obtenida al resintetizar con elstream final.

En el ejemplo anterior se puede ver que la forma de ondaque se obtiene al resintetizar con la mascara ideal es muy pa-recida a la de la voz original. Asimismo, se puede observar

que la forma de onda obtenida con el algoritmo implemen-tado es similar a la forma de onda obtenida con la mascaraideal.

8. Evaluacion y resultadosLos conceptos principales para realizar la evaluacion son

la mascara binaria obtenida (stream final) y la mascara idealbinaria (IBM). Cabe recordar que el objetivo computacionaldel sistema es que el stream final sea lo mas parecido posiblea la IBM.

La mascara ideal puede obtenerse facilmente si se tienepor separado la senal de voz cantada y la senal del acom-panamiento musical. Primero se calcula la energıa de cadaunidad T-F para ambas senales, y luego se comparan estosresultados. Si la energıa de la unidad perteneciente a la vozcantada es mayor o igual a la del acompanamiento musical,se asigna el valor 1 en la mascara ideal, de lo contrario tomael valor 0. Los fragmentos de senales necesarios para la ob-tencion de la mascara ideal se obtuvieron a partir de discoscompactos de karaoke.

Teniendo en cuenta lo anterior, la forma de onda que seobtiene al resintetizar la mezcla a partir de la mascara bina-ria ideal, es tomada como la senal de voz cantada de referen-cia. Si bien a priori, se podrıa pensar en utilizar la senal devoz cantada disponible en forma separada para realizar lasevaluaciones, esto no serıa del todo correcto. En este caso nose estarıa tomando en cuenta el verdadero objetivo del siste-ma, el cual es obtener la mascara binaria, ası como tampocose tendrıan en cuenta el enmascaramiento auditivo y las dis-torsiones introducidas en la representacion de la senal y enla resıntesis.

Segun estudios realizados, la inteligibilidad de la senalobtenida con la mascara ideal binaria para el caso de vozhablada es muy buena [27], [28], [29].

En lo que sigue se presenta un criterio para medir la per-formance del sistema. Para cuantificar la mejora obtenidapor el sistema, lo que se hace es calcular la relacion senal aruido (SNR por sus siglas en ingles Signal to Noise Ratio)antes y despues de la separacion.

Luego, se toma como medida de performance la gananciade la SNR, es decir, la diferencia entre la SNR antes y des-pues de la separacion. La SNR es una comparacion entre lapotencia de la senal portadora de informacion, y la potenciadel ruido que obstaculiza la percepcion de la informacion,como es habitual se mide en decibeles (dB). En el sistemaplanteado la SNR se define como [1]:

SNR = 10 log10[∑

n I2(n)∑n(I(n)−O(n))2

] (10)

Cuando se considera el calculo de la SNR antes de laseparacion, I(n) es la senal de voz cantada obtenida al re-sintetizar la mezcla con la mascara ideal binaria, y O(n)es la mezcla resintetizada con una mascara cuyos valoresson todos 1, lo cual compensa la distorsion introducida en

la resıntesis. Por otro lado, cuando se considera el calculodespues de la separacion, I(n) es la misma senal que la an-terior, pero O(n) es la salida del sistema.

Si se considera a la senal de entrada como la suma deI(n) mas una senal de error e(n), tal que I(n) + e(n) =O(n), la ganancia da una medida de cuanto se redujo lasenal de error que acompana a la senal de voz I(n) al pa-sar por el sistema. Previo a la separacion, se puede conside-rar que la senal e(n) esta principalmente compuesta por elacompanamiento musical. Luego de la separacion, se puedeconsiderar que e(n) esta compuesta por la senal de acom-panamiento que no fue correctamente separada. Por lo tan-to, la ganancia del sistema es una medida de cuanto se pudodisminuir la senal de acompanamiento musical.

Con el fin de realizar una evaluacion intermedia al siste-ma, se implementa una comparacion entre la mascara bina-ria obtenida (stream final) y la mascara ideal. De esta ma-nera, se puede tomar un indicador que es independiente dela etapa de resıntesis. Para llevar a cabo la evaluacion delstream obtenido, se compara la cantidad de unidades distin-tas entre ambas mascaras en relacion a las unidades totales.Sea L la cantidad de canales y sea M la cantidad de tramas,se define entonces la siguiente medida de performance:

∆M =|IBM − stream|

L×M(11)

Por otra parte, debido a que el bloque de deteccion de lafrecuencia fundamental es de vital importancia y en el mis-mo se introducen errores considerables, se decidio realizarla evaluacion del sistema tomando en cuenta dos escenariosdiferentes:

1. Utilizando el pitch hallado con WaveSurfer sobre lavoz cantada solamente. De esta manera puede eva-luarse al sistema sin considerar el bloque de deteccionde f0, lo que permite evaluar toda la parte de separa-cion sin considerar los errores de ese bloque.

2. Utilizando el pitch hallado por el algoritmo imple-mentado. Aquı se realiza la evaluacion de punta a pun-ta del sistema, obteniendose las medidas de perfor-mance del algoritmo implementado.

Para realizar la evaluacion del sistema se construyo unabase de datos compuesta por 18 fragmentos de grabacionesmusicales de corta duracion. Para dichos fragmentos se tienedisponible de antemano la voz cantada y el acompanamientomusical en forma separada. Se trato de encontrar ejemplosque contemplen distintos casos, como por ejemplo fragmen-tos que contengan principalmente sonidos sonoros u otroscon muchos sordos, que hayan tanto cantantes masculinoscomo femeninos, o tambien que se encuentren distintos ti-pos de acompanamientos. Todos ellos son fragmentos enidioma ingles de musica rock, pop y country.

A continuacion se presenta una grafica comparativa paralas ganancias obtenidas en ambos casos, se muestran paralos 18 fragmentos utilizados.

Figura 18: Ganancias obtenidas.

Puede observarse que si bien se obtienen mejores resul-tados con el pitch calculado con WaveSurfer, los resultadosobtenidos al utilizar el algoritmo de deteccion de f0 imple-mentado, no difieren mucho, salvo en algunos casos.

Para el primer caso tomando promedios entre los valoresde las ganancias, se llega a un valor de 4,54dB. Tambienpromediando la comparacion entre las mascaras se obtieneal valor de ∆M = 29,8. Los valores obtenidos para las ga-nancias son comparables con los valores presentados en [1],en dicho artıculo los mismos estan entre 0dB y 12dB. Cabedestacar que en [1] se realiza la medida de la performan-ce sobre distintos fragmentos, mezclados a diferentes SNR.Es decir, Se mezcla un fragmento para que la voz este pre-sente con mayor intensidad que el acompanamiento, por lotanto se obtiene una ganancia mayor, y vice versa, para queeste presente el acompanamiento con mayor intensidad, seobtiene por lo tanto una ganancia menor.

En el segundo caso la ganancia llega al valor promedio de2,97 dB, y la comparacion entre las mascaras da un porcen-taje de error promedio de ∆M = 32,6%. Si bien el valorde la ganancia promedio es algo menor al obtenido en el ca-so 1, es comparable con los valores presentados en [1]. Unaobservacion importantes es que en casi todos los casos seconsigue mejorar la SNR.

Con respecto a los resultados de inteligibilidad, vale lapena destacar que si bien se obtienen senales de audio quese escuchan correctamente, en todos los casos queda un rui-do de fondo y distorsion. Otra observacion importante esque las senales obtenidas utilizando el pitch obtenido con elWaveSurfer se escuchan mejor. Esto era de esperarse, ya queel error al calcular el pitch, es menor al que se puede obtenercon el algoritmo de deteccion de f0 presentado.

9. ConclusionesLos resultados obtenidos mediante el codigo implemen-

tado son exitosos, estando a la par de los algoritmos de se-paracion de voz cantada existentes, [1] y [30] por ejemplo.

Como se menciono anteriormente el bloque de deteccionde pitch es desde el punto de vista de desarrollo equivalenteal resto del algoritmo, siendo computacionalmente la partemas costosa. La evaluacion del algoritmo de separacion devoz cantada aquı presentada se realiza en dos escenarios di-ferentes, teniendo en cuenta este hecho. Se realiza una eva-luacion utilizando el pitch calculado con WaveSurfer por unlado y luego utilizando el bloque de deteccion de f0 im-plementado, observandose que el resultado final del sistemadepende fuertemente de la deteccion de pitch. Asimismo,tambien se realiza por separado la evaluacion del metodo dedeteccion de pitch. De los resultados de las evaluaciones an-teriores, se puede afirmar que, si se impone que el contornode pitch sea una entrada al sistema implementado los resul-tados obtenidos son muy buenos, concluyendo por lo tanto,que el metodo de separacion funciona de manera aceptable.Cuando se utiliza la funcion de deteccion de f0 implementa-da los resultados obtenidos tambien son exitosos, pero existeuna mayor dependencia de las caracterısticas de la senal deentrada, incurriendo en mayores errores en general. Cuan-do la senal de entrada no presenta un porcentaje elevado desonidos sordos y no presenta largos silencios, el pitch obte-nido es muy bueno. Es importante destacar nuevamente, queel pitch detectado por el algoritmo presentado en este docu-mento, detecta el contorno de pitch para la voz cantada apartir de la senal de mezcla, voz cantada y acompanamien-to musical, a diferencia de WaveSurfer que lo calcula solosobre la senal de voz cantada.

Finalmente al comparar los resultados obtenidos contrala IBM, la cual es el objetivo computacional, tambien se ob-tienen resultados aceptables. En el caso de evaluar al sistemautilizando el contorno de pitch como una entrada mas al sis-tema, se comete un error de 29,8% en promedio, mientrasque si se evalua al sistema utilizando el metodo de detec-cion de pitch implementado, se comete un error de 32,6%en promedio. Cabe destacar que el error que se comete enel metodo de deteccion de pitch es de 30% en promedio.Si bien estos valores pueden parecer elevados, son compa-rables con los obtenidos en [1].

10. Trabajo futuroComo trabajo futuro quedan pendientes varios puntos a

mejorar del algoritmo implementado.

Optimizar la funcion de autocorrelacion. Esta puedeimplementarse utilizando la transformada discreta deFourier (fft en Matlab), de este modo se podrıan dis-minuir los tiempos de ejecucion, ya que dicha funcionimplica un gran costo computacional y es una de las

limitantes para introducir fragmentos de mayor dura-cion al sistema implementado.

Optimizar el algoritmo de deteccion de pitch. Este esel que insume mayor tiempo y costo computacional.

Incluir las funciones necesarias para manejar los so-nidos sordos. Se recuerda que si bien son un porcen-taje menor que los sonoros (10 % frente a un 90 % desonidos sonoros), el algoritmo implementado, trata aambos sonidos por igual, cometiendo errores al en-contrase frente a un sonido sordo. Recientemente sepublico un artıculo que trata sobre la separacion delos sonidos sordas [31].

Mejora de la funcion de deteccion de Pitch.Esta fun-cion es de vital importancia para obtener buenos re-sultados al final del sistema.

En la etapa final del algoritmo se podrıa implementaralgun metodo de mejora para la senal obtenida luegode la resıntesis. Si bien luego de normalizarla y filtrar-la se obtiene una senal entendible, en general suena“poco natural”.

Incluir el bloque de deteccion vocal/no-vocal. Esteprimer bloque es de vital importancia para el correc-to funcionamiento del sistema implementado. Debidoa la limitante de poder usar solamente fragmentos decorta duracion se opto por descartar la implementa-cion del mismo, ya que al utilizar fragmentos cortosse pueden elegir facilmente aquellos que incluyan vozcantada y acompanamiento musical todo el tiempo.

Pasaje del sistema implementado en Matlab a C oC++.

Referencias

[1] Y. Li and D. Wang, “Separation of singing voice frommusic accompaniment for monaural recordings,” disponi-ble WWW, http://www.cse.ohio-state.edu/ dwang/papers/Li-Wang.taslp07.pdf, 2007.

[2] M. Rocamora, E. Lopez, and G. Sosa, “Busqueda de musicapor tarareo,” IIE, Facultad de Ingenierıa, Universidad de laRepublica Oriental del Uruguay, 2004.

[3] R. L. C.K. Wang and Y. Chiang, “An automatic singing trans-cription system with multilingual singing lyric recognizerand robust melody tracker,” Proceedings of EUROSPEECH,2003.

[4] Y. Wang, M. Kan, T.Nwe, A. Shenoy, and J. Yin, “Lyrically:automatic synchronization of acoustic musical signals andtextual lyrics,” Proceedings of the 12th Annual ACM Inter-national Conference on Multimedia, pp. 212–219, 2004.

[5] A. Berenzweig, D. Ellis, and S. Lawrence, “Using voice seg-ment to improve artist classifiction of music,” AES 22nd In-ternational Conference on Virtual, Synthetic and Entertain-ment Audio, 2002.

[6] Y. Kim and B. Whitman, “Singer identification in popularmusic recording using voice coding features,” Proceedingof International Conference on Music Information Retrieval,2002.

[7] A. Bregman, Auditory Scene Analysis. MIT Press, 1990.[8] G. Brown and D. Wang, “Separation of speech by compu-

tational auditory scene analysis,” Speech Enhancement,pp. 371–402, 2005.

[9] P. Divenyi, Speech Separation by Humans and Machines.Norwell, MA: Kluver Academic, 2005.

[10] D. Rosenthal and H. Okuno, Computational Auditory SceneAnalysis. Mahwah, New Jersey: Lawrence Erlbaum, 1998.

[11] D. Wang and G. Brown, Computational Auditory SceneAnalysis: Principles, Algorithms and Applications. Wiley-IEEE Press, 2006.

[12] A. Hu and D. Wang, “Monoaural speech segregation basedon pitch tracking and amplitude modulation,” IEEE Transac-tions on Neural, vol. 15, pp. 1135–1150, 2004.

[13] A. Hu and D. Wang, “An auditory scene analysis approachto monaural speech segregation,” Hansler E. and Schmidt G.(ed.), pp. 485–515, 2006.

[14] R. Patterson, Nimmo-Smith, J. Holdsworth, and P. Rice, “Anefficient auditory filterbank based on the gammatone fun-ction,” tech. rep., MRC Applied Psychology Unit, Cambrid-ge, 1987.

[15] R. Meddis, “Simulation of auditory–neural transduction:Further studies,” Journal of the Acoustical Society of Ame-rica, vol. 83, pp. 1056–1063, 1988.

[16] B. Glasberg and B. Moore, “Derivation of auditory filter sha-pes from notched–noise data,” Hearing Research, vol. 47,pp. 103–138, 1990.

[17] R. Carlyon and T. Shackleton, “Comparing the fundamentalfrequencies of resolved and unresolved harmonics: Evidencefor two pitch mechanisms?,” Acoustical Society of AmericaJournal, vol. 95, pp. 3541–3554, 1994.

[18] R. Plomp and M. Mimpen, “The ear as a frequencyanalyzer,” Acoustical Society of America Journal, vol. 43,pp. 764–767, 1964.

[19] D. Wang, “On ideal binary mask as the computational goalof auditory scene analysis,” Speech Separation by Humansand Machines, pp. 181–197, 2005.

[20] B. Moore, An Introduction to the Psychology of Hearing.San Diego, CA, USA: Academic Press, 5th ed., 2003.

[21] H. Helmholtz, On the Sensation of Tone. Braunschweig, Ger-many: Vieweg and Son, 1863.

[22] J. Bird and C. Darwin, “Effects of a difference in fundamen-tal frequency in separating two sentences,” Psychophysicaland Physiological Advances in Hearing, 1997.

[23] J. Holdsworth, Nimmo-Smith, R. Patterson, and P.Rice, “Im-plementing a gammatone filter bank,” tech. rep., MRC Ap-plied Psychologi Unit, Cambridge, 1988.

[24] Y. Li and D. Wang, “Detecting pitch of singing voice inpolyphonic audio,” Proceedings of IEEE International Con-ference on Acoustics, Speech, and Signal Processing, vol. 3,pp. 17–20, 2005.

[25] K. Sjol and J. Beskow, “Wavesurfer- an open source speechtool,” http://www.speech.kth.se/wavesurfer.

[26] P. Boersma and D. Weenink, “Praat: doing phonetics bycomputer,” http://www.fon.hum.uva.nl/praat.

[27] D. Brungart, P. Chang, B. Simpson, and D. Wang, “Isolatingthe energetic component of speech-on-speech masking withideal time-frequency segregation,” Journal of the AcousticalSociety of America, vol. 120, pp. 4007–4018, 2006.

[28] P. Chang, “Exploration of behavioral, physiological, andcompuetational approaches to auditory scene analysis,” Mas-ter’s thesis, The Ohio State University, Deparment of Com-puter Science and Engineering, 2004.

[29] N. Roman, D. Wang, and G. Brown, “Speech segregation ba-sed on sound localization,” Journal of the Acoustical Societyof America, vol. 114, no. 4, pp. 2236–2252, 2003.

[30] A. Ozerov, P. Philippe, R. Gribonval, and F. Bimbot, “Adap-tation of bayesian models for single-channel source separa-tion and its application to voice/music separation in popularsongs,” IEE Workshop on Application of Signal Processingto Audio an Acoustics, 2007.

[31] G. Hu and D. Wang, “Segregation of unvoiced speech fromnonspeech interference,” Journal of the Acoustical Society ofAmerica, 2008.