I-paste ang kanta sa vocal remover, maghintay ng isang minuto, at wala na ang singer. Parang magic, at matagal na panahong ganoon talaga: ang mga lumang pamamaraan ay kinakansela ang gitna ng stereo image o pinuputol ang isang banda ng frequency, at pareho nilang sinisira ang natitirang musika. Iba ang ginagawa ng mga modernong tool. Ipinaliliwanag ng gabay na ito kung ano, nang walang equation.
Ang kanta ay isang larawan
Ang audio ay wave: presyon ng hangin na tumataas at bumababa nang libu-libong beses kada segundo. Mahirap iyon pag-isipan para sa computer, kaya ang unang hakbang sa halos lahat ng separation system ay gawing larawan ang tunog, na tinatawag na spectrogram. Tumatakbo ang oras mula kaliwa pakanan, ang pitch mula ibaba paitaas, at ipinapakita ng liwanag kung gaano karaming enerhiya ang mayroon sa bawat pitch sa bawat sandali.
Sa larawang iyon, ang boses ay parang hanay ng kulot na pahalang na linya: ang fundamental pitch at ang mga overtone nito, na dumudulas habang lumilipat ang singer sa pagitan ng mga nota. Ang kick drum ay maikling patayong dumi sa ibaba. Ang hi-hat ay pinong hamog sa itaas. Ang piano chord ay salansan ng tuwid na linya na sabay-sabay nagsisimula at kumukupas. Nagsasapawan ang mga instrumento, pero may hugis sila, at ang hugis ay bagay na natututuhang makilala ng neural network.
Nagpipinta ng mask ang model
Kapag binigyan ng spectrogram ng na-mix na kanta, trabaho ng network na mag-output ng pangalawang larawan na kapareho ng laki, na tinatawag na mask, kung saan sinasabi ng bawat pixel kung gaano karami ng enerhiya sa oras at pitch na iyon ang pag-aari ng boses. I-multiply ang orihinal na larawan sa mask at makukuha mo ang spectrogram ng boses; i-multiply sa kabaligtaran at makukuha mo ang lahat ng iba pa. Ibalik ang mga larawang iyon sa wave at may dalawang audio file ka na.
Ginagawa ng stem splitter ang parehong bagay nang ilang ulit, na gumagawa ng tig-isang mask para sa vocals, drums, bass, piano, at "iba pa".
Ang mga mas bagong model ay nagdadagdag ng pangalawang pananaw: bukod sa spectrogram, direktang tinitingnan din nila ang raw wave, na nakatutulong sa matatalim na transient tulad ng drum hit na nalalabo sa spectrogram. Ang ilang engine na nakikita mo sa mga tool, tulad ng MDX-Net at Demucs, ay pangunahing nagkakaiba sa paraan ng pagsasama ng dalawang pananaw na ito at sa laki nila.
Paano nito natutuhan kung ano ang hitsura ng boses
Walang nag-program ng mga tuntunin tulad ng "ang boses ay may overtone na ganito ang pagitan". Sinanay ang network sa libu-libong kanta kung saan available ang magkakahiwalay na track: ang mix sa isang panig, ang nakahiwalay na vocals, drums, bass, at iba pang stem sa kabila. Para sa bawat kanta, humula ito ng mask, ikinumpara ang hula sa tunay na nakahiwalay na stem, at bahagyang inayos ang milyun-milyong internal na numero para gumaling sa susunod. Ulitin ito nang ilang linggo sa makapangyarihang hardware at ang resulta ay isang model na, sa esensya, nakarinig na ng mas maraming multitrack session kaysa sinumang taong engineer.
Ang training set na iyon din ang pinagmumulan ng mga limitasyon nito. Pinakamahusay ang model sa mga uri ng musikang pinakamadalas nitong narinig, na modernong pop, rock, hip-hop, at electronic na musika na may malinaw na studio production.
Bakit malinis ang paghihiwalay ng ilang kanta at hindi ng iba
Reverb at delay. Ang mga effect sa boses ay gawa sa boses mismo, na pinalabo sa oras at hinalo sa kuwarto. Bahagi ng pagkalabong iyon ay parang mga instrumentong nasa ilalim nito, kaya kailangang hulaan ng model kung saan nagtatapos ang boses at nagsisimula ang kuwarto. Malinis ang paghihiwalay ng dry na vocals; nag-iiwan ng multo ang reverb na kasinlaki ng katedral.
Dinoble at pinatung-patong na vocals. Ang harmonies, doubles, at pinagsalansang chorus ay lahat "boses" para sa two-stem model, kaya lahat sila ay umaalis kasama ng lead. Kung gusto mong panatilihin ang harmonies, kailangan mo ng model na partikular na sinanay para tanggalin lamang ang lead, na siya ngang "karaoke" model.
Boses na ginagamit bilang instrumento. Ang vocoder, talk-box, o labis na pitch-shifted na vocal chop ay mas kahawig ng synth kaysa ng singer. Maiiwan sa instrumental ang bahagi nito.
Nagsasapawang register. Ang distorted na rhythm guitar at ang belt ng babaeng singer ay nasa iisang rehiyon ng larawan. Kung saan sila nagtatagpo, kompromiso ang mask.
Lo-fi na source. Ang 96 kbps na stream o lumang cassette transfer ay nawalan na ng pinong detalyeng ginagamit ng model para paghiwalayin ang mga source.
Ano talaga ang binabago ng "engine" at "quality" setting
Karaniwang nag-aalok ang vocal remover ng standard engine at isa o dalawang mas mataas na kalidad. Ang pagkakaiba ay hindi filter; ito ay ibang, mas malaking model, minsan ilang model na ina-average ang mga output. Mas mahusay humula ang mas malaking model sa mga malabong pixel, na lumalabas bilang mas kaunting multo ng boses sa instrumental at mas kaunting piraso ng instrumento sa acapella. Ang kapalit ay oras: ang ensemble ng dalawang malaking model ay puwedeng tumagal nang ilang ulit na mas matagal kaysa sa standard.
Sa Mazmazika, mabilis na nagbibigay ng hanggang limang stem ang standard engine; ang mga High Quality model (Best Vocals, Best Instrumental, Karaoke) at ang Ultra engine, na nagpapatakbo ng dalawang model at pinagsasama ang pinakamaganda sa bawat isa, ay ang mas malalaking opsyon, at nakalista sa tool page kung alin sa mga ito ang kasama sa iyong plan. Tumataas din ang output bit rate mula 128 hanggang 320 kbps sa mga engine na iyon, na mahalaga kung patutugtugin ang file sa malaking sistema.
Bakit mas malinis ang dalawang stem kaysa lima
Ang bawat dagdag na stem ay isa pang hangganan na kailangang iguhit ng model. Ang "boses o hindi boses" na model ay gumuguhit ng isang hangganan, at napananatili ng instrumental ang pagkakabuklod ng orihinal na mix. Ang five-way model ay gumuguhit ng apat na hangganan, at nag-iipon ang maliliit na error sa bawat isa kapag pinagsama ulit ang mga stem. Kaya inirerekomenda ng gabay sa karaoke ang dalawang stem kahit available ang lima.
Ano ang hindi kaya ng model
Hindi nito kayang lumikha ng hindi kailanman na-record. Kung ganap na natakpan ng hininga ng singer ang mahinang nota ng piano, wala na ang notang iyon sa instrumental. Hindi nito kayang paghiwalayin sa dalawang tao ang dalawang singer na magkapareho ang range na kumakanta nang unison. At hindi nito kayang tanggalin ang copyright: ang mga pinaghiwalay na stem ay orihinal na recording pa rin sa legal na pananaw, kaya nalalapat pa rin ang mga tuntunin tungkol sa pag-publish at pagtatanghal.
Saan patungo ang teknolohiya
Patuloy na lumalaki ang mga research model at sinasanay na ngayon sa mas maraming stem (gitara at piano bilang magkahiwalay na target, halimbawa) at sa mas maraming genre. Halos nagsara na ang agwat sa pagitan ng libreng browser tool at studio workstation para sa two-stem separation; ang natitirang pagkakaiba ay sa mga edge case, bilis, at kung paano ka hinahayaan ng tool na gamitin ang resulta pagkatapos.
Subukan gamit ang sarili mong tainga
Ang pinakamabilis na paraan para maintindihan ang lahat ng ito ay patakbuhin ang kantang kabisado mo sa vocal remover, i-mute ang vocal stem, at pakinggan ang chorus gamit ang headphones. Maririnig mo nang eksakto ang mga epektong inilarawan dito: malinis na verse, mahinang multo sa reverb tail, at chorus kung saan umalis ang harmonies kasama ng lead. Tapos basahin ang vocal remover vs stem splitter para magdesisyon kung aling mode ang bagay sa susunod mong proyekto.