Indsæt en sang i en vokalfjerner, vent et minut, og sangeren er væk. Det føles som et trick, og længe var det også et: de gamle metoder enten udslettede midten af stereobilledet eller skar et frekvensbånd væk, og begge ødelagde resten af musikken. Moderne værktøjer gør noget andet. Denne guide forklarer hvad, uden ligninger.
En sang er et billede
Lyd er en bølge: lufttryk, der går op og ned tusindvis af gange i sekundet. Det er besværligt for en computer at ræsonnere om, så det første skridt i næsten alle adskillelsessystemer er at omdanne lyden til et billede kaldet et spektrogram. Tiden løber fra venstre mod højre, tonehøjden fra bund til top, og lysstyrken viser, hvor meget energi der er ved hver tonehøjde i hvert øjeblik.
I det billede ser en stemme ud som et sæt bølgede vandrette linjer: en grundtone og dens overtoner, der glider, mens sangeren bevæger sig mellem tonerne. En stortromme er en kort lodret udtværing i bunden. En hi-hat er en fin tåge i toppen. En klaverakkord er en stak lige linjer, der starter samtidig og klinger ud. Instrumenterne overlapper, men de har former, og former er noget, et neuralt netværk kan lære at genkende.
Modellen maler en maske
Med spektrogrammet af en mixet sang som input er netværkets opgave at levere et andet billede af samme størrelse, kaldet en maske, hvor hver pixel angiver, hvor meget af energien ved den tid og tonehøjde der tilhører stemmen. Gang det originale billede med masken, og du har stemmens spektrogram; gang med det omvendte, og du har alt det andet. Lav de billeder tilbage til bølger, og du har to lydfiler.
En stem-splitter gør det samme flere gange og producerer én maske for hver af vokal, trommer, bas, klaver og "andet".
Nyere modeller tilføjer et andet perspektiv: ud over spektrogrammet ser de også direkte på den rå bølge, hvilket hjælper med skarpe transienter såsom trommeslag, der bliver udtværede i et spektrogram. Nogle af de motorer, du ser i værktøjer, såsom MDX-Net og Demucs, adskiller sig hovedsageligt i, hvordan de kombinerer disse to perspektiver, og hvor store de er.
Sådan lærte den, hvordan en stemme ser ud
Ingen programmerede regler som "en stemme har overtoner med denne afstand". Netværket blev trænet på tusindvis af sange, hvor de separate spor var tilgængelige: mixet på den ene side, de isolerede vokaler, trommer, bas og andre stems på den anden. For hver sang gættede det en maske, sammenlignede sit gæt med de rigtige isolerede stems og justerede millioner af interne tal en smule for at gøre det bedre næste gang. Gentag i uger på kraftig hardware, og resultatet er en model, der reelt har hørt flere multitrack-sessioner end nogen menneskelig lydtekniker.
Det træningssæt er også kilden til dens begrænsninger. Modellen er bedst til den slags musik, den har hørt mest af, hvilket er moderne pop, rock, hiphop og elektronisk musik med klar studieproduktion.
Hvorfor nogle sange adskilles rent og andre ikke
Rumklang og delay. Effekterne på en stemme er lavet af stemmen, udtværet i tid og blandet med rummet. En del af den udtværing ligner instrumenterne under den, så modellen må gætte, hvor stemmen slutter og rummet begynder. Tørre vokaler adskilles rent; rumklang i katedralstørrelse efterlader et spøgelse.
Doblede og lagdelte vokaler. Harmonier, doblinger og stablede omkvæd er alle "stemme" for en to-stem-model, så de forsvinder alle sammen med leadvokalen. Hvis du vil beholde harmonierne, har du brug for en model trænet specifikt til kun at fjerne leaden, hvilket er det, en "karaoke"-model er.
Stemmer brugt som instrumenter. En vocoder, en talk-box eller et kraftigt pitch-shiftet vokal-chop deler mere form med en synth end med en sanger. Noget af det bliver tilbage i instrumentalen.
Overlappende registre. En forvrænget rytmeguitar og en kvindelig belt-stemme bor i samme område af billedet. Hvor de falder sammen, er masken et kompromis.
Lo-fi-kilder. En 96 kbps-stream eller en gammel kassetteoverspilning har allerede mistet de fine detaljer, modellen bruger til at skelne kilderne fra hinanden.
Hvad "motor"- og "kvalitets"-indstillinger egentlig ændrer
Vokalfjernere tilbyder normalt en standardmotor og en eller to i højere kvalitet. Forskellen er ikke et filter; det er en anden, større model, nogle gange flere modeller, hvis output bliver gennemsnitliggjort. En større model gætter bedre på de tvetydige pixels, hvilket viser sig som mindre vokalspøgelse i instrumentalen og færre instrumentfragmenter i acapellaen. Prisen er tid: et ensemble af to store modeller kan tage flere gange længere end standardmotoren.
På Mazmazika giver standardmotoren op til fem stems hurtigt; High Quality-modellerne (Best Vocals, Best Instrumental, Karaoke) og Ultra-motoren, som kører to modeller og fletter det bedste fra hver, er de større muligheder, og værktøjssiden viser, hvilke af dem dit abonnement inkluderer. Outputtets bitrate stiger også fra 128 til 320 kbps på de motorer, hvilket har betydning, hvis filen skal afspilles på et stort anlæg.
Hvorfor to stems er renere end fem
Hver ekstra stem er endnu en grænse, modellen skal tegne. En "stemme eller ikke stemme"-model tegner én grænse, og instrumentalen bevarer det originale mix' sammenhæng. En fem-vejs-model tegner fire grænser, og små fejl ved hver af dem lægger sig sammen, når du spiller stems'ene sammen igen. Det er derfor, karaokeguiden anbefaler to stems, selvom fem er tilgængelige.
Hvad modellen ikke kan
Den kan ikke opfinde det, der aldrig blev indspillet. Hvis sangerens åndedrag helt dækkede en stille klavertone, er den tone væk i instrumentalen. Den kan ikke adskille to sangere i samme register, der synger unisont, til to personer. Og den kan ikke fjerne ophavsret: de adskilte stems er juridisk set stadig den originale indspilning, så reglerne om udgivelse og fremførelse gælder stadig.
Hvor teknologien er på vej hen
Forskningsmodeller bliver ved med at vokse og trænes nu med flere stems (for eksempel guitar og klaver som separate mål) og på flere genrer. Afstanden mellem et gratis browserværktøj og en studiearbejdsstation er stort set lukket for to-stem-adskillelse; de resterende forskelle ligger i grænsetilfælde, hastighed og hvordan værktøjet lader dig arbejde med resultatet bagefter.
Prøv det med dine egne ører
Den hurtigste måde at forstå alt dette er at køre en sang, du kender godt, gennem vokalfjerneren, mute vokalstemmen og lytte til omkvædet med hovedtelefoner. Du vil høre præcis de effekter, der beskrives her: et rent vers, et svagt spøgelse i rumklangshalen og et omkvæd, hvor harmonierne forsvandt sammen med leaden. Læs derefter vokalfjerner vs. stem-splitter for at afgøre, hvilken tilstand der passer til dit næste projekt.