Klistra in en låt i en vocal remover, vänta en minut, och sångaren är borta. Det känns som ett trick, och länge var det ett: de gamla metoderna antingen släckte ut mitten av stereobilden eller skar bort ett frekvensband, och båda förstörde resten av musiken. Moderna verktyg gör något annat. Den här guiden förklarar vad, utan ekvationer.
En låt är en bild
Ljud är en våg: lufttryck som går upp och ner tusentals gånger per sekund. Det är besvärligt för en dator att resonera kring, så det första steget i nästan alla separationssystem är att förvandla ljudet till en bild som kallas spektrogram. Tiden löper från vänster till höger, tonhöjden från botten till toppen, och ljusstyrkan visar hur mycket energi som finns på varje tonhöjd i varje ögonblick.
I den bilden ser en röst ut som en uppsättning vågiga vågräta linjer: en grundton och dess övertoner, som glider när sångaren rör sig mellan tonerna. En baskagge är en kort lodrät fläck längst ner. En hi-hat är ett fint dis längst upp. Ett pianoackord är en stapel raka linjer som börjar samtidigt och klingar av. Instrumenten överlappar, men de har former, och former är något ett neuralt nätverk kan lära sig att känna igen.
Modellen målar en mask
Utifrån spektrogrammet av en mixad låt är nätverkets uppgift att leverera en andra bild i samma storlek, kallad mask, där varje pixel anger hur mycket av energin vid den tiden och tonhöjden som tillhör rösten. Multiplicera originalbilden med masken och du har röstens spektrogram; multiplicera med inversen och du har allt annat. Förvandla dessa bilder tillbaka till vågor och du har två ljudfiler.
En stemseparerare gör samma sak flera gånger om och producerar en mask vardera för sång, trummor, bas, piano och "övrigt".
Nyare modeller lägger till en andra vy: vid sidan av spektrogrammet tittar de också direkt på den råa vågen, vilket hjälper med skarpa transienter som trumslag, vilka blir suddiga i ett spektrogram. Några av de motorer du ser i verktyg, som MDX-Net och Demucs, skiljer sig främst i hur de kombinerar dessa två vyer och hur stora de är.
Hur den lärde sig hur en röst ser ut
Ingen programmerade regler som "en röst har övertoner med det här avståndet". Nätverket tränades på tusentals låtar där de separata spåren fanns tillgängliga: mixen på ena sidan, den isolerade sången, trummorna, basen och övriga stems på den andra. För varje låt gissade det en mask, jämförde sin gissning med de verkliga isolerade stemsen och justerade miljontals interna tal en aning för att göra bättre ifrån sig nästa gång. Upprepa i veckor på kraftfull hårdvara, och resultatet är en modell som i praktiken har hört fler flerspårssessioner än någon mänsklig ljudtekniker.
Den träningsmängden är också källan till dess begränsningar. Modellen är bäst på den sorts musik den hört mest, vilket är modern pop, rock, hiphop och elektronisk musik med tydlig studioproduktion.
Varför vissa låtar separeras rent och andra inte
Klang och delay. Effekterna på en röst är gjorda av rösten, utsmetad i tid och blandad med rummet. En del av den utsmetningen ser ut som instrumenten under den, så modellen måste gissa var rösten slutar och rummet börjar. Torr sång separeras rent; katedralstora klanger lämnar ett spöke.
Dubblerad och skiktad sång. Stämmor, dubbleringar och staplade refränger är alla "röst" för en tvåstemsmodell, så de försvinner tillsammans med leadsången. Vill du behålla stämmorna behöver du en modell som är tränad specifikt för att bara ta bort leadsången, vilket är vad en "karaoke"-modell är.
Röster som används som instrument. En vocoder, en talkbox eller en kraftigt pitchad sångsnutt delar mer form med en synt än med en sångare. En del av det kommer att stanna kvar i instrumentalen.
Överlappande register. En distad kompgitarr och en kvinnlig belt bor i samma område av bilden. Där de sammanfaller är masken en kompromiss.
Lo-fi-källor. En ström i 96 kbps eller en överföring från en gammal kassett har redan förlorat de fina detaljer modellen använder för att skilja källorna åt.
Vad inställningarna "motor" och "kvalitet" egentligen förändrar
Vocal removers erbjuder oftast en standardmotor och en eller två med högre kvalitet. Skillnaden är inte ett filter; det är en annan, större modell, ibland flera modeller vars utgångar medelvärdesbildas. En större modell gissar bättre på de tvetydiga pixlarna, vilket visar sig som mindre sångspöke i instrumentalen och färre instrumentfragment i acapellan. Kostnaden är tid: en ensemble av två stora modeller kan ta flera gånger längre än standardmotorn.
På Mazmazika ger standardmotorn upp till fem stems snabbt; High Quality-modellerna (Best Vocals, Best Instrumental, Karaoke) och Ultra-motorn, som kör två modeller och slår ihop det bästa ur var och en, är de större alternativen, och verktygssidan listar vilka av dem som ingår i din plan. Utgångens bithastighet stiger också från 128 till 320 kbps på dessa motorer, vilket spelar roll om filen ska spelas i ett stort system.
Varför två stems är renare än fem
Varje extra stem är ytterligare en gräns modellen måste dra. En "röst eller inte röst"-modell drar en gräns, och instrumentalen behåller originalmixens sammanhållning. En femvägsmodell drar fyra gränser, och små fel vid var och en läggs ihop när du spelar stemsen tillsammans igen. Det är därför karaokeguiden rekommenderar två stems även om fem finns tillgängliga.
Vad modellen inte kan göra
Den kan inte hitta på det som aldrig spelades in. Om sångarens andetag helt täckte en tyst pianoton är den tonen borta i instrumentalen. Den kan inte dela upp två sångare i samma register som sjunger unisont i två personer. Och den kan inte ta bort upphovsrätten: de separerade stemsen är juridiskt sett fortfarande originalinspelningen, så reglerna om publicering och framförande gäller fortfarande.
Vart tekniken är på väg
Forskningsmodellerna blir allt större och tränas nu med fler stems (gitarr och piano som separata mål, till exempel) och på fler genrer. Klyftan mellan ett gratis webbläsarverktyg och en studioarbetsstation har i stort sett slutits för tvåstemsseparation; de återstående skillnaderna finns i gränsfall, hastighet och hur verktyget låter dig arbeta med resultatet efteråt.
Pröva med dina egna öron
Det snabbaste sättet att förstå allt detta är att köra en låt du kan väl genom vocal remover, tysta sångstemmen och lyssna på refrängen med hörlurar. Du kommer att höra exakt de effekter som beskrivs här: en ren vers, ett svagt spöke i klangsvansen och en refräng där stämmorna försvann med leadsången. Läs sedan vocal remover eller stemseparerare för att avgöra vilket läge som passar ditt nästa projekt.