Pega una canción en un eliminador de voz, espera un minuto y el cantante ha desaparecido. Parece un truco, y durante mucho tiempo lo fue: los métodos antiguos cancelaban el centro de la imagen estéreo o recortaban una banda de frecuencias, y ambos destrozaban el resto de la música. Las herramientas modernas hacen algo distinto. Esta guía explica qué, sin ecuaciones.
Una canción es una imagen
El audio es una onda: presión del aire que sube y baja miles de veces por segundo. A un ordenador le cuesta razonar con eso, así que el primer paso de casi cualquier sistema de separación es convertir el sonido en una imagen llamada espectrograma. El tiempo corre de izquierda a derecha, la altura del sonido va de abajo arriba, y el brillo muestra cuánta energía hay en cada altura en cada momento.
En esa imagen, una voz parece un conjunto de líneas horizontales onduladas: una frecuencia fundamental y sus armónicos, que se deslizan cuando el cantante pasa de una nota a otra. Un bombo es un breve trazo vertical en la parte baja. Un charles es una fina neblina en la parte alta. Un acorde de piano es una pila de líneas rectas que empiezan juntas y se apagan. Los instrumentos se superponen, pero tienen formas, y las formas son algo que una red neuronal puede aprender a reconocer.
El modelo pinta una máscara
Dado el espectrograma de una canción mezclada, el trabajo de la red es producir una segunda imagen del mismo tamaño, llamada máscara, en la que cada píxel indica cuánta energía en ese instante y esa altura pertenece a la voz. Multiplica la imagen original por la máscara y tienes el espectrograma de la voz; multiplica por la inversa y tienes todo lo demás. Convierte esas imágenes de nuevo en ondas y tienes dos archivos de audio.
Un separador de stems hace lo mismo varias veces, produciendo una máscara para la voz, otra para la batería, el bajo, el piano y «otros».
Los modelos más recientes añaden una segunda perspectiva: además del espectrograma, miran también la onda en bruto directamente, lo que ayuda con transitorios afilados como los golpes de batería, que se emborronan en un espectrograma. Algunos de los motores que ves en las herramientas, como MDX-Net y Demucs, se diferencian sobre todo en cómo combinan estas dos perspectivas y en su tamaño.
Cómo aprendió qué aspecto tiene una voz
Nadie programó reglas como «una voz tiene armónicos espaciados así». La red se entrenó con miles de canciones cuyas pistas separadas estaban disponibles: la mezcla por un lado y, por el otro, la voz aislada, la batería, el bajo y los demás stems. Para cada canción adivinó una máscara, comparó su suposición con los stems aislados reales y ajustó ligeramente millones de números internos para hacerlo mejor la próxima vez. Repite eso durante semanas en hardware potente y el resultado es un modelo que, en la práctica, ha escuchado más sesiones multipista que cualquier ingeniero humano.
Ese conjunto de entrenamiento es también el origen de sus límites. El modelo rinde mejor con los tipos de música que más escuchó, es decir, pop moderno, rock, hip-hop y música electrónica con una producción de estudio nítida.
Por qué unas canciones se separan limpiamente y otras no
Reverberación y delay. Los efectos sobre una voz están hechos de la propia voz, difuminada en el tiempo y mezclada con la sala. Parte de ese difuminado se parece a los instrumentos que hay debajo, así que el modelo tiene que adivinar dónde termina la voz y dónde empieza la sala. Las voces secas se separan limpiamente; las reverberaciones de catedral dejan un fantasma.
Voces dobladas y en capas. Armonías, dobles y estribillos apilados son todos «voz» para un modelo de dos stems, así que se van todos con la voz principal. Si quieres conservar las armonías, necesitas un modelo entrenado específicamente para eliminar solo la principal, que es lo que es un modelo «karaoke».
Voces usadas como instrumentos. Un vocoder, una talk-box o un vocal chop con el tono muy alterado comparte más forma con un sintetizador que con un cantante. Parte se quedará en el instrumental.
Registros superpuestos. Una guitarra rítmica distorsionada y una voz femenina en belting viven en la misma región de la imagen. Donde coinciden, la máscara es un compromiso.
Fuentes lo-fi. Un stream a 96 kbps o una vieja transferencia de casete ya ha perdido el detalle fino que el modelo usa para distinguir las fuentes.
Qué cambian de verdad los ajustes de «motor» y «calidad»
Los eliminadores de voz suelen ofrecer un motor estándar y uno o dos de mayor calidad. La diferencia no es un filtro; es un modelo distinto y más grande, a veces varios modelos cuyas salidas se promedian. Un modelo más grande acierta mejor en los píxeles ambiguos, lo que se traduce en menos fantasma vocal en el instrumental y menos fragmentos de instrumentos en la acapela. El coste es el tiempo: un conjunto de dos modelos grandes puede tardar varias veces más que el estándar.
En Mazmazika, el motor estándar da hasta cinco stems con rapidez; los modelos High Quality (Best Vocals, Best Instrumental, Karaoke) y el motor Ultra, que ejecuta dos modelos y fusiona lo mejor de cada uno, son las opciones más grandes, y la página de la herramienta indica cuáles incluye tu plan. En esos motores la tasa de bits de salida sube también de 128 a 320 kbps, lo que importa si el archivo se va a reproducir en un sistema grande.
Por qué dos stems quedan más limpios que cinco
Cada stem adicional es otra frontera que el modelo tiene que trazar. Un modelo de «voz o no voz» traza una frontera, y el instrumental conserva la cohesión de la mezcla original. Un modelo de cinco vías traza cuatro fronteras, y los pequeños errores en cada una se suman cuando vuelves a reproducir los stems juntos. Por eso la guía de karaoke recomienda dos stems aunque haya cinco disponibles.
Lo que el modelo no puede hacer
No puede inventar lo que nunca se grabó. Si la respiración del cantante cubrió por completo una nota suave de piano, esa nota ha desaparecido del instrumental. No puede separar en dos personas a dos cantantes del mismo registro que cantan al unísono. Y no puede eliminar los derechos de autor: los stems separados siguen siendo, legalmente, la grabación original, así que las normas sobre publicación e interpretación siguen aplicándose.
Hacia dónde va la tecnología
Los modelos de investigación siguen creciendo y ahora se entrenan con más stems (guitarra y piano como objetivos separados, por ejemplo) y con más géneros. La brecha entre una herramienta gratuita en el navegador y una estación de trabajo de estudio se ha cerrado casi por completo en la separación de dos stems; las diferencias que quedan están en los casos límite, la velocidad y cómo te deja la herramienta trabajar con el resultado después.
Compruébalo con tus propios oídos
La forma más rápida de entender todo esto es pasar una canción que conozcas bien por el eliminador de voz, silenciar el stem de voz y escuchar el estribillo con auriculares. Oirás exactamente los efectos descritos aquí: un verso limpio, un leve fantasma en la cola de reverberación y un estribillo en el que las armonías se han ido con la voz principal. Luego lee eliminador de voz vs. separador de stems para decidir qué modo encaja con tu próximo proyecto.