Lim en sang inn i en vokalfjerner, vent ett minutt, og vokalisten er borte. Det føles som et triks, og lenge var det også det: de gamle metodene enten kansellerte midten av stereobildet eller kuttet et frekvensbånd, og begge ødela resten av musikken. Moderne verktøy gjør noe annet. Denne guiden forklarer hva, uten likninger.
En sang er et bilde
Lyd er en bølge: lufttrykk som går opp og ned tusenvis av ganger i sekundet. Det er upraktisk for en datamaskin å resonnere rundt, så det første steget i nesten alle separasjonssystemer er å gjøre lyden om til et bilde kalt et spektrogram. Tiden går fra venstre mot høyre, tonehøyden fra bunn til topp, og lysstyrken viser hvor mye energi det er ved hver tonehøyde i hvert øyeblikk.
I det bildet ser en stemme ut som et sett bølgete horisontale linjer: en grunntone og dens overtoner, som glir mens vokalisten beveger seg mellom tonene. En basstromme er en kort vertikal smøring i bunnen. En hi-hat er en fin dis i toppen. En pianoakkord er en stabel rette linjer som starter samtidig og dør ut. Instrumentene overlapper, men de har former, og former er noe et nevralt nettverk kan lære å kjenne igjen.
Modellen maler en maske
Gitt spektrogrammet til en mikset sang er nettverkets jobb å levere et andre bilde i samme størrelse, kalt en maske, der hver piksel sier hvor mye av energien ved den tiden og tonehøyden som tilhører stemmen. Multipliser det originale bildet med masken, og du har stemmens spektrogram; multipliser med det motsatte, og du har alt det andre. Gjør disse bildene tilbake til bølger, og du har to lydfiler.
En stem-splitter gjør det samme flere ganger, og lager én maske hver for vokal, trommer, bass, piano og «annet».
Nyere modeller legger til et andre perspektiv: i tillegg til spektrogrammet ser de også direkte på den rå bølgen, noe som hjelper med skarpe transienter som trommeslag, som blir uskarpe i et spektrogram. Noen av motorene du ser i verktøy, som MDX-Net og Demucs, skiller seg hovedsakelig i hvordan de kombinerer disse to perspektivene og hvor store de er.
Slik lærte den hvordan en stemme ser ut
Ingen programmerte regler som «en stemme har overtoner med denne avstanden». Nettverket ble trent på tusenvis av sanger der de separate sporene var tilgjengelige: miksen på den ene siden, den isolerte vokalen, trommene, bassen og de andre stemsene på den andre. For hver sang gjettet det en maske, sammenlignet gjetningen med de ekte isolerte stemsene og justerte millioner av interne tall litt for å gjøre det bedre neste gang. Gjenta i ukevis på kraftig maskinvare, og resultatet er en modell som i praksis har hørt flere multitrack-sesjoner enn noen menneskelig lydtekniker.
Det treningssettet er også kilden til begrensningene. Modellen er best på den typen musikk den har hørt mest av, som er moderne pop, rock, hiphop og elektronisk musikk med tydelig studioproduksjon.
Hvorfor noen sanger separeres rent og andre ikke
Klang og delay. Effektene på en stemme er laget av stemmen, smurt ut i tid og blandet med rommet. Deler av den smøringen ser ut som instrumentene under, så modellen må gjette hvor stemmen slutter og rommet begynner. Tørre vokaler separeres rent; klang i katedralstørrelse etterlater et spøkelse.
Doblede og lagdelte vokaler. Harmonier, doblinger og stablede refrenger er alle «stemme» for en to-stem-modell, så alle forsvinner sammen med hovedvokalen. Vil du beholde harmoniene, trenger du en modell trent spesifikt til å fjerne bare hovedvokalen, og det er det en «karaoke»-modell er.
Stemmer brukt som instrumenter. En vocoder, en talk-box eller en kraftig pitch-shiftet vokal-chop deler mer form med en synth enn med en vokalist. Noe av det blir igjen i instrumentalen.
Overlappende registre. En vrengt rytmegitar og en kvinnelig belt-stemme bor i samme område av bildet. Der de sammenfaller, er masken et kompromiss.
Lo-fi-kilder. En 96 kbps-strøm eller en gammel kassettoverføring har allerede mistet de fine detaljene modellen bruker til å skille kildene fra hverandre.
Hva «motor»- og «kvalitets»-innstillinger egentlig endrer
Vokalfjernere tilbyr vanligvis en standardmotor og en eller to med høyere kvalitet. Forskjellen er ikke et filter; det er en annen, større modell, noen ganger flere modeller der utgangene midles. En større modell gjetter bedre på de tvetydige pikslene, noe som viser seg som mindre vokalspøkelse i instrumentalen og færre instrumentfragmenter i acapellaen. Prisen er tid: et ensemble av to store modeller kan ta flere ganger lengre enn standardmotoren.
På Mazmazika gir standardmotoren opptil fem stems raskt; High Quality-modellene (Best Vocals, Best Instrumental, Karaoke) og Ultra-motoren, som kjører to modeller og fletter det beste fra hver, er de større alternativene, og verktøysiden viser hvilke av dem abonnementet ditt inkluderer. Bitraten på utgangen øker også fra 128 til 320 kbps på disse motorene, noe som betyr noe hvis filen skal spilles på et stort anlegg.
Hvorfor to stems er renere enn fem
Hver ekstra stem er enda en grense modellen må tegne. En «stemme eller ikke stemme»-modell tegner én grense, og instrumentalen beholder den originale miksens helhet. En femveismodell tegner fire grenser, og små feil ved hver av dem legger seg sammen når du spiller stemsene sammen igjen. Det er derfor karaokeguiden anbefaler to stems selv om fem er tilgjengelige.
Hva modellen ikke kan
Den kan ikke finne opp det som aldri ble spilt inn. Hvis vokalistens pust helt dekket en stille pianotone, er den tonen borte i instrumentalen. Den kan ikke skille to vokalister i samme register som synger unisont, til to personer. Og den kan ikke fjerne opphavsrett: de separerte stemsene er juridisk sett fortsatt den originale innspillingen, så reglene om publisering og fremføring gjelder fortsatt.
Hvor teknologien er på vei
Forskningsmodeller blir stadig større og trenes nå med flere stems (for eksempel gitar og piano som separate mål) og på flere sjangre. Gapet mellom et gratis nettleserverktøy og en studioarbeidsstasjon er stort sett lukket for to-stem-separasjon; de gjenværende forskjellene ligger i grensetilfeller, hastighet og hvordan verktøyet lar deg jobbe med resultatet etterpå.
Prøv det med dine egne ører
Den raskeste måten å forstå alt dette på er å kjøre en sang du kjenner godt gjennom vokalfjerneren, dempe vokalstemmen og lytte til refrenget med hodetelefoner. Du vil høre nøyaktig effektene som beskrives her: et rent vers, et svakt spøkelse i klanghalen og et refreng der harmoniene forsvant sammen med hovedvokalen. Les deretter vokalfjerner vs. stem-splitter for å avgjøre hvilken modus som passer ditt neste prosjekt.