Lipiți o melodie într-un eliminator de voce, așteptați un minut, și solistul a dispărut. Pare un truc, și multă vreme chiar a fost unul: metodele vechi fie anulau centrul imaginii stereo, fie tăiau o bandă de frecvențe, și ambele distrugeau restul muzicii. Instrumentele moderne fac altceva. Acest ghid explică ce anume, fără ecuații.
O melodie este o imagine
Sunetul este o undă: presiunea aerului urcă și coboară de mii de ori pe secundă. Pentru un calculator este greu să raționeze despre asta, așa că primul pas în aproape orice sistem de separare este să transforme sunetul într-o imagine numită spectrogramă. Timpul curge de la stânga la dreapta, înălțimea sunetului de jos în sus, iar luminozitatea arată câtă energie există la fiecare înălțime, în fiecare moment.
În această imagine, o voce arată ca un set de linii orizontale ondulate: o frecvență fundamentală și armonicele ei, alunecând pe măsură ce solistul trece de la o notă la alta. O tobă mare este o pată verticală scurtă, în partea de jos. Un hi-hat este o ceață fină, sus. Un acord de pian este un teanc de linii drepte care pornesc împreună și se sting. Instrumentele se suprapun, dar au forme, iar formele sunt ceva ce o rețea neuronală poate învăța să recunoască.
Modelul pictează o mască
Primind spectrograma unei melodii mixate, sarcina rețelei este să producă o a doua imagine, de aceeași dimensiune, numită mască, în care fiecare pixel spune câtă energie de la acel moment și acea înălțime aparține vocii. Înmulțiți imaginea originală cu masca și obțineți spectrograma vocii; înmulțiți cu inversul ei și obțineți tot restul. Transformați aceste imagini înapoi în unde și aveți două fișiere audio.
Un separator de stem-uri face același lucru de mai multe ori, producând câte o mască pentru voce, tobe, bas, pian și „altele”.
Modelele mai noi adaugă o a doua perspectivă: pe lângă spectrogramă, se uită și direct la unda brută, ceea ce ajută la tranzienții ascuțiți, cum sunt loviturile de tobe, care se estompează într-o spectrogramă. Unele dintre motoarele pe care le vedeți în instrumente, precum MDX-Net și Demucs, diferă în principal prin felul în care combină aceste două perspective și prin dimensiunea lor.
Cum a învățat cum arată o voce
Nimeni nu a programat reguli de genul „o voce are armonice distanțate așa”. Rețeaua a fost antrenată pe mii de melodii pentru care pistele separate erau disponibile: mixul pe o parte, vocea izolată, tobele, basul și celelalte stem-uri pe cealaltă. Pentru fiecare melodie a ghicit o mască, a comparat ghicirea cu stem-urile izolate reale și a ajustat ușor milioane de numere interne pentru a se descurca mai bine data următoare. Repetați asta săptămâni întregi pe hardware puternic și rezultatul este un model care, practic, a auzit mai multe sesiuni multitrack decât orice inginer de sunet uman.
Acel set de antrenament este și sursa limitelor sale. Modelul este cel mai bun pe tipurile de muzică pe care le-a auzit cel mai des, adică pop modern, rock, hip-hop și muzică electronică, cu producție de studio clară.
De ce unele melodii se separă curat și altele nu
Reverberație și delay. Efectele aplicate unei voci sunt făcute din voce, întinsă în timp și amestecată cu sala. O parte din această întindere seamănă cu instrumentele de sub ea, așa că modelul trebuie să ghicească unde se termină vocea și unde începe sala. Vocile seci se separă curat; reverberațiile cât o catedrală lasă o fantomă.
Voci dublate și stratificate. Armoniile, dublurile și refrenele stivuite sunt toate „voce” pentru un model cu două stem-uri, așa că pleacă toate împreună cu vocea principală. Dacă doriți să păstrați armoniile, aveți nevoie de un model antrenat special să elimine doar vocea principală, exact ceea ce este un model „karaoke”.
Voci folosite ca instrumente. Un vocoder, un talk-box sau un fragment vocal puternic modificat în înălțime are mai multe în comun, ca formă, cu un sintetizator decât cu un solist. O parte din el va rămâne în instrumental.
Registre suprapuse. O chitară ritmică distorsionată și o voce feminină cântată în forță ocupă aceeași regiune a imaginii. Acolo unde coincid, masca este un compromis.
Surse lo-fi. Un stream la 96 kbps sau un transfer de pe o casetă veche a pierdut deja detaliile fine pe care modelul le folosește pentru a deosebi sursele.
Ce schimbă cu adevărat setările „motor” și „calitate”
Eliminatoarele de voce oferă de obicei un motor standard și unul sau două de calitate superioară. Diferența nu este un filtru; este un model diferit, mai mare, uneori mai multe modele ale căror rezultate sunt mediate. Un model mai mare ghicește mai bine pixelii ambigui, ceea ce se traduce în mai puțină fantomă vocală în instrumental și mai puține fragmente de instrumente în acapella. Costul este timpul: un ansamblu de două modele mari poate dura de câteva ori mai mult decât cel standard.
Pe Mazmazika, motorul standard oferă rapid până la cinci stem-uri; modelele High Quality (Best Vocals, Best Instrumental, Karaoke) și motorul Ultra, care rulează două modele și îmbină ce are fiecare mai bun, sunt opțiunile mai mari, iar pagina instrumentului listează care dintre ele sunt incluse în planul dumneavoastră. Pe aceste motoare, rata de biți a ieșirii crește de la 128 la 320 kbps, ceea ce contează dacă fișierul va fi redat pe un sistem mare.
De ce două stem-uri sunt mai curate decât cinci
Fiecare stem suplimentar este o graniță în plus pe care modelul trebuie să o traseze. Un model „voce sau nu voce” trasează o singură graniță, iar instrumentalul păstrează coeziunea mixului original. Un model cu cinci căi trasează patru granițe, iar erorile mici de la fiecare se adună când redați stem-urile din nou împreună. De aceea ghidul karaoke recomandă două stem-uri, chiar dacă cinci sunt disponibile.
Ce nu poate face modelul
Nu poate inventa ce nu a fost înregistrat niciodată. Dacă respirația solistului a acoperit complet o notă liniștită de pian, acea notă lipsește din instrumental. Nu poate separa doi cântăreți cu același registru care cântă la unison în două persoane. Și nu poate elimina drepturile de autor: stem-urile separate rămân, din punct de vedere legal, înregistrarea originală, așa că regulile privind publicarea și interpretarea se aplică în continuare.
Încotro se îndreaptă tehnologia
Modelele de cercetare devin tot mai mari și sunt acum antrenate cu mai multe stem-uri (chitara și pianul ca ținte separate, de exemplu) și pe mai multe genuri. Diferența dintre un instrument gratuit din browser și o stație de lucru de studio s-a închis în mare parte pentru separarea în două stem-uri; diferențele rămase țin de cazurile-limită, de viteză și de felul în care instrumentul vă permite să lucrați cu rezultatul după aceea.
Încercați cu propriile urechi
Cel mai rapid mod de a înțelege toate acestea este să treceți o melodie pe care o cunoașteți bine prin eliminatorul de voce, să dezactivați stem-ul vocal și să ascultați refrenul în căști. Veți auzi exact efectele descrise aici: o strofă curată, o fantomă slabă în coada de reverberație și un refren în care armoniile au plecat împreună cu vocea principală. Apoi citiți eliminator de voce vs. separator de stem-uri pentru a decide ce mod se potrivește următorului dumneavoastră proiect.