Incolla una canzone in un rimuovi voce, aspetta un minuto e il cantante è sparito. Sembra un trucco, e per molto tempo lo è stato: i vecchi metodi cancellavano il centro dell'immagine stereo o tagliavano una banda di frequenze, ed entrambi rovinavano il resto della musica. Gli strumenti moderni fanno qualcosa di diverso. Questa guida spiega cosa, senza equazioni.
Una canzone è un'immagine
L'audio è un'onda: pressione dell'aria che sale e scende migliaia di volte al secondo. Per un computer è scomodo ragionarci, quindi il primo passo di quasi ogni sistema di separazione è trasformare il suono in un'immagine chiamata spettrogramma. Il tempo scorre da sinistra a destra, l'altezza va dal basso verso l'alto e la luminosità mostra quanta energia c'è a ogni altezza in ogni istante.
In quell'immagine una voce appare come un fascio di linee orizzontali ondulate: una frequenza fondamentale e i suoi armonici, che scivolano quando il cantante passa da una nota all'altra. Una cassa è una breve sbavatura verticale in basso. Un charleston è una nebbiolina sottile in alto. Un accordo di pianoforte è una pila di linee dritte che partono insieme e si spengono. Gli strumenti si sovrappongono, ma hanno delle forme, e le forme sono qualcosa che una rete neurale può imparare a riconoscere.
Il modello dipinge una maschera
Dato lo spettrogramma di una canzone mixata, il compito della rete è produrre una seconda immagine delle stesse dimensioni, chiamata maschera, in cui ogni pixel dice quanta energia in quell'istante e a quell'altezza appartiene alla voce. Moltiplica l'immagine originale per la maschera e hai lo spettrogramma della voce; moltiplica per il suo inverso e hai tutto il resto. Riconverti quelle immagini in onde e hai due file audio.
Un separatore di stem fa la stessa cosa più volte, producendo una maschera ciascuno per voce, batteria, basso, pianoforte e «altro».
I modelli più recenti aggiungono un secondo punto di vista: oltre allo spettrogramma guardano anche direttamente l'onda grezza, il che aiuta con i transienti netti come i colpi di batteria, che nello spettrogramma si sfocano. Alcuni dei motori che vedi negli strumenti, come MDX-Net e Demucs, differiscono soprattutto per come combinano questi due punti di vista e per le loro dimensioni.
Come ha imparato che aspetto ha una voce
Nessuno ha programmato regole del tipo «una voce ha armonici spaziati così». La rete è stata addestrata su migliaia di canzoni di cui erano disponibili le tracce separate: il mix da un lato, le voci isolate, la batteria, il basso e gli altri stem dall'altro. Per ogni canzone ha indovinato una maschera, ha confrontato la sua ipotesi con i veri stem isolati e ha regolato leggermente milioni di numeri interni per fare meglio la volta successiva. Ripeti per settimane su hardware potente e il risultato è un modello che, di fatto, ha ascoltato più sessioni multitraccia di qualsiasi fonico umano.
Quel set di addestramento è anche l'origine dei suoi limiti. Il modello dà il meglio sui generi che ha sentito di più, cioè pop moderno, rock, hip-hop e musica elettronica con una produzione da studio nitida.
Perché alcune canzoni si separano in modo pulito e altre no
Riverbero e delay. Gli effetti su una voce sono fatti della voce stessa, spalmata nel tempo e mescolata con l'ambiente. Parte di quella sbavatura somiglia agli strumenti sottostanti, quindi il modello deve indovinare dove finisce la voce e dove inizia la stanza. Le voci secche si separano in modo pulito; i riverberi da cattedrale lasciano un fantasma.
Voci raddoppiate e stratificate. Armonie, raddoppi e ritornelli sovrapposti sono tutti «voce» per un modello a due stem, quindi se ne vanno tutti insieme alla voce principale. Se vuoi mantenere le armonie, ti serve un modello addestrato apposta per rimuovere solo la principale: è questo che è un modello «karaoke».
Voci usate come strumenti. Un vocoder, una talk-box o un vocal chop fortemente alterato nell'intonazione condivide più forme con un synth che con un cantante. Una parte resterà nella strumentale.
Registri sovrapposti. Una chitarra ritmica distorta e una voce femminile in belting abitano la stessa regione dell'immagine. Dove coincidono, la maschera è un compromesso.
Fonti lo-fi. Uno stream a 96 kbps o un vecchio trasferimento da cassetta ha già perso i dettagli fini che il modello usa per distinguere le sorgenti.
Cosa cambiano davvero le impostazioni «motore» e «qualità»
I rimuovi voce di solito offrono un motore standard e uno o due di qualità superiore. La differenza non è un filtro; è un modello diverso e più grande, a volte più modelli le cui uscite vengono mediate. Un modello più grande indovina meglio i pixel ambigui, il che si traduce in meno fantasma vocale nella strumentale e meno frammenti di strumenti nell'acapella. Il costo è il tempo: un insieme di due modelli grandi può richiedere diverse volte il tempo del motore standard.
Su Mazmazika il motore standard fornisce rapidamente fino a cinque stem; i modelli High Quality (Best Vocals, Best Instrumental, Karaoke) e il motore Ultra, che esegue due modelli e fonde il meglio di ciascuno, sono le opzioni più grandi, e la pagina dello strumento elenca quali di essi include il tuo piano. Su questi motori anche il bitrate di uscita sale da 128 a 320 kbps, il che conta se il file verrà riprodotto su un impianto grande.
Perché due stem sono più puliti di cinque
Ogni stem in più è un altro confine che il modello deve tracciare. Un modello «voce o non voce» traccia un confine, e la strumentale conserva la coesione del mix originale. Un modello a cinque vie traccia quattro confini, e i piccoli errori su ciascuno si sommano quando riproduci di nuovo gli stem insieme. Per questo la guida karaoke consiglia due stem anche se ne sono disponibili cinque.
Cosa il modello non può fare
Non può inventare ciò che non è mai stato registrato. Se il respiro del cantante ha coperto completamente una nota di pianoforte sommessa, quella nota nella strumentale è persa. Non può separare in due persone due cantanti dello stesso registro che cantano all'unisono. E non può rimuovere il diritto d'autore: gli stem separati restano, legalmente, la registrazione originale, quindi le regole su pubblicazione ed esecuzione valgono ancora.
Dove sta andando la tecnologia
I modelli di ricerca continuano a crescere e ora vengono addestrati con più stem (chitarra e pianoforte come obiettivi separati, per esempio) e su più generi. Il divario tra uno strumento gratuito nel browser e una workstation da studio si è quasi chiuso per la separazione a due stem; le differenze rimaste riguardano i casi limite, la velocità e il modo in cui lo strumento ti permette di lavorare sul risultato dopo.
Provalo con le tue orecchie
Il modo più rapido per capire tutto questo è passare una canzone che conosci bene nel rimuovi voce, silenziare lo stem della voce e ascoltare il ritornello in cuffia. Sentirai esattamente gli effetti descritti qui: una strofa pulita, un lieve fantasma nella coda di riverbero e un ritornello in cui le armonie se ne sono andate con la voce principale. Poi leggi rimuovi voce vs. separatore di stem per decidere quale modalità si adatta al tuo prossimo progetto.