Cole uma música em um removedor de vocais, espere um minuto, e o cantor desaparece. Parece um truque, e por muito tempo foi um: os métodos antigos ou cancelavam o centro da imagem estéreo ou cortavam uma faixa de frequências, e os dois destruíam o resto da música. As ferramentas modernas fazem algo diferente. Este guia explica o quê, sem equações.
Uma música é uma imagem
Áudio é uma onda: pressão do ar subindo e descendo milhares de vezes por segundo. Isso é incômodo para um computador raciocinar, então o primeiro passo em quase todo sistema de separação é transformar o som em uma imagem chamada espectrograma. O tempo corre da esquerda para a direita, a altura vai de baixo para cima e o brilho mostra quanta energia existe em cada altura a cada instante.
Nessa imagem, uma voz parece um conjunto de linhas horizontais ondulantes: uma frequência fundamental e seus harmônicos, deslizando conforme o cantor passa de uma nota a outra. Um bumbo é uma mancha vertical curta na parte de baixo. Um chimbal é uma névoa fina no topo. Um acorde de piano é uma pilha de linhas retas que começam juntas e vão sumindo. Os instrumentos se sobrepõem, mas têm formas, e formas são algo que uma rede neural consegue aprender a reconhecer.
O modelo pinta uma máscara
Diante do espectrograma de uma música mixada, a tarefa da rede é produzir uma segunda imagem do mesmo tamanho, chamada máscara, em que cada pixel diz quanto da energia naquele tempo e altura pertence à voz. Multiplique a imagem original pela máscara e você tem o espectrograma da voz; multiplique pelo inverso e tem todo o resto. Converta essas imagens de volta em ondas e você tem dois arquivos de áudio.
Um separador de stems faz a mesma coisa várias vezes, produzindo uma máscara para cada um: vocais, bateria, baixo, piano e "outros".
Modelos mais novos acrescentam uma segunda visão: além do espectrograma, eles também olham diretamente para a onda bruta, o que ajuda com transientes agudos, como golpes de bateria, que ficam borrados em um espectrograma. Alguns dos motores que você vê nas ferramentas, como MDX-Net e Demucs, diferem principalmente em como combinam essas duas visões e em quão grandes são.
Como ele aprendeu como uma voz se parece
Ninguém programou regras como "uma voz tem harmônicos espaçados assim". A rede foi treinada com milhares de músicas em que as faixas separadas estavam disponíveis: a mixagem de um lado, os vocais isolados, a bateria, o baixo e os outros stems do outro. Para cada música, ela chutava uma máscara, comparava o chute com os stems isolados reais e ajustava levemente milhões de números internos para acertar mais na próxima vez. Repita por semanas em hardware potente, e o resultado é um modelo que, na prática, ouviu mais sessões multipista do que qualquer engenheiro humano.
Esse conjunto de treinamento também é a origem dos seus limites. O modelo é melhor nos tipos de música que mais ouviu, ou seja, pop moderno, rock, hip-hop e música eletrônica com produção de estúdio nítida.
Por que algumas músicas se separam de forma limpa e outras não
Reverberação e delay. Os efeitos aplicados a uma voz são feitos da própria voz, espalhada no tempo e misturada com a sala. Parte desse espalhamento se parece com os instrumentos por baixo dela, então o modelo precisa adivinhar onde a voz termina e a sala começa. Vocais secos se separam de forma limpa; reverberações do tamanho de uma catedral deixam um fantasma.
Vocais dobrados e em camadas. Harmonias, dobras e refrões empilhados são todos "voz" para um modelo de dois stems, então todos vão embora junto com o vocal principal. Se quiser manter as harmonias, você precisa de um modelo treinado especificamente para remover só o vocal principal, que é o que um modelo de "karaokê" é.
Vozes usadas como instrumentos. Um vocoder, um talk-box ou um recorte vocal com a altura muito alterada compartilha mais forma com um sintetizador do que com um cantor. Parte disso vai ficar no instrumental.
Registros sobrepostos. Uma guitarra base distorcida e um vocal feminino potente vivem na mesma região da imagem. Onde coincidem, a máscara é um meio-termo.
Fontes lo-fi. Um stream de 96 kbps ou uma transferência de fita cassete antiga já perdeu o detalhe fino que o modelo usa para distinguir as fontes.
O que as configurações de "motor" e "qualidade" mudam de verdade
Removedores de vocais geralmente oferecem um motor padrão e um ou dois de qualidade superior. A diferença não é um filtro; é um modelo diferente e maior, às vezes vários modelos cujas saídas são calculadas em média. Um modelo maior faz chutes melhores nos pixels ambíguos, o que aparece como menos fantasma vocal no instrumental e menos fragmentos de instrumentos na acapella. O custo é tempo: um conjunto de dois modelos grandes pode levar várias vezes mais do que o padrão.
Na Mazmazika, o motor padrão entrega até cinco stems rapidamente; os modelos High Quality (Best Vocals, Best Instrumental, Karaoke) e o motor Ultra, que executa dois modelos e mescla o melhor de cada um, são as opções maiores, e a página da ferramenta lista quais deles o seu plano inclui. A taxa de bits da saída também sobe de 128 para 320 kbps nesses motores, o que importa se o arquivo for tocado em um sistema grande.
Por que dois stems são mais limpos que cinco
Cada stem extra é mais uma fronteira que o modelo precisa traçar. Um modelo "voz ou não voz" traça uma fronteira, e o instrumental mantém a coesão da mixagem original. Um modelo de cinco vias traça quatro fronteiras, e pequenos erros em cada uma se somam quando você toca os stems juntos de novo. É por isso que o guia de karaokê recomenda dois stems mesmo havendo cinco disponíveis.
O que o modelo não consegue fazer
Ele não consegue inventar o que nunca foi gravado. Se a respiração do cantor cobriu por completo uma nota baixinha de piano, essa nota se perdeu no instrumental. Ele não consegue separar dois cantores do mesmo registro cantando em uníssono em duas pessoas. E não consegue remover direitos autorais: os stems separados continuam sendo, juridicamente, a gravação original, então as regras sobre publicar e apresentar continuam valendo.
Para onde a tecnologia está indo
Os modelos de pesquisa continuam crescendo e agora são treinados com mais stems (guitarra e piano como alvos separados, por exemplo) e em mais gêneros. A distância entre uma ferramenta gratuita no navegador e uma estação de trabalho de estúdio praticamente desapareceu para a separação em dois stems; as diferenças que restam estão nos casos extremos, na velocidade e em como a ferramenta permite trabalhar com o resultado depois.
Experimente com os seus próprios ouvidos
A forma mais rápida de entender tudo isso é passar uma música que você conhece bem pelo removedor de vocais, silenciar o stem vocal e ouvir o refrão de fone de ouvido. Você vai ouvir exatamente os efeitos descritos aqui: um verso limpo, um fantasma tênue na cauda da reverberação e um refrão em que as harmonias foram embora com o vocal principal. Depois leia removedor de vocais vs. separador de stems para decidir qual modo se encaixa no seu próximo projeto.