Vložte píseň do odstraňovače zpěvu, počkejte minutu a zpěvák je pryč. Působí to jako trik a dlouho to trik byl: staré metody buď vyrušily střed stereo obrazu, nebo vyřízly pásmo frekvencí, a obě zničily zbytek hudby. Moderní nástroje dělají něco jiného. Tento průvodce vysvětluje co, bez rovnic.
Píseň je obrázek
Zvuk je vlna: tlak vzduchu, který stoupá a klesá tisíckrát za sekundu. Pro počítač je obtížné o něčem takovém uvažovat, takže prvním krokem téměř každého separačního systému je proměnit zvuk v obrázek nazývaný spektrogram. Čas běží zleva doprava, výška tónu zdola nahoru a jas ukazuje, kolik energie je na každé výšce v každém okamžiku.
Na tomto obrázku vypadá hlas jako sada vlnitých vodorovných čar: základní tón a jeho alikvoty, které kloužou, jak zpěvák přechází mezi tóny. Kopák je krátká svislá šmouha dole. Hi-hat je jemná mlha nahoře. Klavírní akord je sloupec rovných čar, které začnou společně a doznívají. Nástroje se překrývají, ale mají tvary, a tvary jsou něco, co se neuronová síť může naučit rozpoznávat.
Model maluje masku
Když síť dostane spektrogram smíchané písně, jejím úkolem je vydat druhý obrázek stejné velikosti, nazývaný maska, kde každý pixel říká, kolik energie v daném čase a výšce patří hlasu. Vynásobte původní obrázek maskou a máte spektrogram hlasu; vynásobte ho inverzí a máte všechno ostatní. Proměňte tyto obrázky zpět ve vlny a máte dva zvukové soubory.
Rozdělovač stemů dělá totéž několikrát za sebou a vytváří jednu masku pro zpěv, bicí, basu, klavír a „ostatní“.
Novější modely přidávají druhý pohled: vedle spektrogramu se dívají přímo i na surovou vlnu, což pomáhá u ostrých transientů, jako jsou údery bicích, které se ve spektrogramu rozmazávají. Některé enginy, které v nástrojích vidíte, například MDX-Net a Demucs, se liší hlavně tím, jak tyto dva pohledy kombinují a jak jsou velké.
Jak se naučil, jak vypadá hlas
Nikdo neprogramoval pravidla typu „hlas má alikvoty rozložené takto“. Síť byla trénována na tisících písní, u kterých byly k dispozici oddělené stopy: na jedné straně mix, na druhé izolovaný zpěv, bicí, basa a ostatní stemy. Pro každou píseň odhadla masku, porovnala svůj odhad se skutečnými izolovanými stemy a mírně upravila miliony vnitřních čísel, aby to příště udělala lépe. Opakujte to týdny na výkonném hardwaru a výsledkem je model, který fakticky slyšel více vícestopých nahrávek než kterýkoli lidský zvukař.
Tato trénovací sada je zároveň zdrojem jeho omezení. Model je nejlepší na druzích hudby, které slyšel nejčastěji, tedy na moderním popu, rocku, hip-hopu a elektronické hudbě s čistou studiovou produkcí.
Proč se některé písně oddělí čistě a jiné ne
Dozvuk a delay. Efekty na hlasu jsou tvořeny samotným hlasem, rozmazaným v čase a smíchaným s prostorem. Část tohoto rozmazání vypadá jako nástroje pod ním, takže model musí hádat, kde hlas končí a kde začíná místnost. Suché vokály se oddělí čistě; dozvuky velikosti katedrály nechávají ducha.
Zdvojené a vrstvené vokály. Harmonie, zdvojení a navrstvené refrény jsou pro dvoustemový model všechno „hlas“, takže odejdou spolu s hlavním zpěvem. Pokud chcete harmonie zachovat, potřebujete model natrénovaný speciálně na odstranění pouze hlavního zpěvu, a to je právě „karaoke“ model.
Hlasy použité jako nástroje. Vokodér, talk-box nebo silně přeladěný vokální chop sdílí více tvaru se syntezátorem než se zpěvákem. Část z nich v instrumentálu zůstane.
Překrývající se rejstříky. Zkreslená doprovodná kytara a ženský belt žijí ve stejné oblasti obrázku. Kde se překrývají, je maska kompromisem.
Lo-fi zdroje. Stream v 96 kbps nebo přepis ze staré kazety už ztratil jemné detaily, podle kterých model zdroje rozlišuje.
Co ve skutečnosti mění nastavení „engine“ a „kvalita“
Odstraňovače zpěvu obvykle nabízejí standardní engine a jeden nebo dva kvalitnější. Rozdíl není filtr; je to jiný, větší model, někdy několik modelů, jejichž výstupy se průměrují. Větší model lépe odhaduje nejednoznačné pixely, což se projeví jako méně ducha zpěvu v instrumentálu a méně úlomků nástrojů v acapelle. Cenou je čas: soubor dvou velkých modelů může trvat několikrát déle než standardní.
Na Mazmazika dává standardní engine rychle až pět stemů; modely High Quality (Best Vocals, Best Instrumental, Karaoke) a engine Ultra, který spouští dva modely a slučuje to nejlepší z každého, jsou větší možnosti a stránka nástroje uvádí, které z nich váš plán zahrnuje. Na těchto enginech také stoupá výstupní bitrate ze 128 na 320 kbps, což má význam, pokud se soubor bude přehrávat na velké aparatuře.
Proč jsou dva stemy čistší než pět
Každý další stem je další hranice, kterou model musí nakreslit. Model „hlas, nebo ne hlas“ kreslí jednu hranici a instrumentál si zachová soudržnost původního mixu. Pětidílný model kreslí čtyři hranice a malé chyby na každé z nich se sečtou, když stemy znovu přehrajete společně. Proto návod na karaoke doporučuje dva stemy, i když je k dispozici pět.
Co model nedokáže
Nedokáže vymyslet, co nikdy nebylo nahráno. Pokud nádech zpěváka úplně zakryl tichý klavírní tón, v instrumentálu ten tón chybí. Nedokáže rozdělit dva zpěváky stejného rozsahu zpívající unisono na dvě osoby. A nedokáže odstranit autorská práva: oddělené stemy jsou z právního hlediska stále původní nahrávka, takže pravidla o zveřejňování a provozování platí dál.
Kam technologie směřuje
Výzkumné modely se stále zvětšují a nyní se trénují s více stemy (například kytara a klavír jako samostatné cíle) a na více žánrech. Rozdíl mezi bezplatným prohlížečovým nástrojem a studiovou pracovní stanicí se u dvoustemové separace většinou uzavřel; zbývající rozdíly jsou v okrajových případech, rychlosti a v tom, jak vám nástroj umožní s výsledkem dále pracovat.
Vyzkoušejte to vlastními ušima
Nejrychlejší způsob, jak tohle všechno pochopit, je protáhnout dobře známou píseň odstraňovačem zpěvu, ztlumit stem zpěvu a poslechnout si refrén ve sluchátkách. Uslyšíte přesně efekty popsané zde: čistou sloku, slabého ducha v dozvukovém ocasu a refrén, ve kterém harmonie odešly s hlavním zpěvem. Poté si přečtěte odstraňovač zpěvu vs. rozdělovač stemů, abyste se rozhodli, který režim se hodí pro váš příští projekt.