Wklej piosenkę do narzędzia do usuwania wokalu, poczekaj minutę i wokalista znika. Wygląda to jak sztuczka i przez długi czas nią było: stare metody albo wygaszały środek panoramy stereo, albo wycinały pasmo częstotliwości, a obie rujnowały resztę muzyki. Współczesne narzędzia robią coś innego. Ten przewodnik wyjaśnia co, bez równań.
Piosenka to obraz
Dźwięk to fala: ciśnienie powietrza rosnące i opadające tysiące razy na sekundę. Komputerowi trudno o tym rozumować, więc pierwszym krokiem w niemal każdym systemie separacji jest zamiana dźwięku w obraz zwany spektrogramem. Czas biegnie od lewej do prawej, wysokość dźwięku od dołu do góry, a jasność pokazuje, ile energii jest na każdej wysokości w każdej chwili.
Na tym obrazie głos wygląda jak zestaw falistych poziomych linii: ton podstawowy i jego alikwoty, przesuwające się, gdy wokalista przechodzi między nutami. Stopa perkusyjna to krótka pionowa smuga na dole. Hi-hat to delikatna mgiełka na górze. Akord fortepianowy to stos prostych linii, które zaczynają się razem i wygasają. Instrumenty nakładają się na siebie, ale mają kształty, a kształty to coś, czego sieć neuronowa potrafi nauczyć się rozpoznawać.
Model maluje maskę
Mając spektrogram zmiksowanej piosenki, sieć ma za zadanie wygenerować drugi obraz tej samej wielkości, zwany maską, w którym każdy piksel mówi, jaka część energii w danym czasie i na danej wysokości należy do głosu. Pomnóż oryginalny obraz przez maskę i masz spektrogram głosu; pomnóż przez jej odwrotność i masz całą resztę. Zamień te obrazy z powrotem w fale i masz dwa pliki audio.
Separator ścieżek robi to samo kilka razy, tworząc po jednej masce dla wokalu, bębnów, basu, fortepianu i „pozostałych".
Nowsze modele dodają drugą perspektywę: obok spektrogramu patrzą też bezpośrednio na surową falę, co pomaga przy ostrych transjentach, takich jak uderzenia bębnów, które na spektrogramie się rozmywają. Niektóre silniki widoczne w narzędziach, na przykład MDX-Net i Demucs, różnią się głównie tym, jak łączą te dwie perspektywy i jak są duże.
Jak nauczył się, jak wygląda głos
Nikt nie zaprogramował reguł typu „głos ma alikwoty rozmieszczone w ten sposób". Sieć trenowano na tysiącach piosenek z dostępnymi osobnymi śladami: miks z jednej strony, wyizolowany wokal, bębny, bas i pozostałe ścieżki z drugiej. Dla każdej piosenki zgadywała maskę, porównywała swój strzał z prawdziwymi wyizolowanymi ścieżkami i nieznacznie korygowała miliony wewnętrznych liczb, by następnym razem wypaść lepiej. Powtórz to przez tygodnie na potężnym sprzęcie, a rezultatem jest model, który w praktyce przesłuchał więcej sesji wielośladowych niż jakikolwiek ludzki realizator.
Ten zbiór treningowy jest też źródłem jego ograniczeń. Model najlepiej radzi sobie z rodzajami muzyki, które słyszał najczęściej, czyli współczesnym popem, rockiem, hip-hopem i muzyką elektroniczną o klarownej produkcji studyjnej.
Dlaczego jedne piosenki rozdzielają się czysto, a inne nie
Pogłos i delay. Efekty nałożone na głos są zbudowane z tego głosu, rozmytego w czasie i zmieszanego z pomieszczeniem. Część tego rozmycia wygląda jak instrumenty pod spodem, więc model musi zgadywać, gdzie kończy się głos, a zaczyna pomieszczenie. Suchy wokal rozdziela się czysto; pogłosy wielkości katedry zostawiają ducha.
Zdublowany i warstwowy wokal. Harmonie, dublety i nawarstwione refreny to dla modelu dwuścieżkowego w całości „głos", więc wszystkie odchodzą razem z wokalem prowadzącym. Jeśli chcesz zachować harmonie, potrzebujesz modelu wytrenowanego specjalnie do usuwania tylko głosu prowadzącego, i tym właśnie jest model „karaoke".
Głos użyty jako instrument. Wokoder, talk-box czy mocno przestrojony fragment wokalu ma więcej wspólnego kształtem z syntezatorem niż z wokalistą. Część z tego zostanie w instrumentalu.
Nakładające się rejestry. Przesterowana gitara rytmiczna i mocny kobiecy wokal żyją w tym samym rejonie obrazu. Tam, gdzie się pokrywają, maska jest kompromisem.
Źródła lo-fi. Strumień 96 kbps lub przegranie ze starej kasety już utraciły drobne szczegóły, których model używa do rozróżniania źródeł.
Co naprawdę zmieniają ustawienia „silnika" i „jakości"
Narzędzia do usuwania wokalu zwykle oferują silnik standardowy i jeden lub dwa o wyższej jakości. Różnica to nie filtr; to inny, większy model, czasem kilka modeli, których wyniki są uśredniane. Większy model lepiej zgaduje niejednoznaczne piksele, co objawia się mniejszym duchem wokalu w instrumentalu i mniejszą liczbą fragmentów instrumentów w acapelli. Kosztem jest czas: zespół dwóch dużych modeli może pracować kilka razy dłużej niż standardowy.
Na Mazmazika silnik standardowy szybko daje do pięciu ścieżek; modele High Quality (Best Vocals, Best Instrumental, Karaoke) oraz silnik Ultra, który uruchamia dwa modele i łączy to, co najlepsze w każdym, to większe opcje, a strona narzędzia wymienia, które z nich obejmuje Twój plan. Na tych silnikach przepływność wyjścia rośnie też ze 128 do 320 kbps, co ma znaczenie, jeśli plik będzie odtwarzany na dużym systemie.
Dlaczego dwie ścieżki są czystsze niż pięć
Każda dodatkowa ścieżka to kolejna granica, którą model musi wyznaczyć. Model „głos czy nie głos" rysuje jedną granicę, a instrumental zachowuje spójność oryginalnego miksu. Model pięciodrożny rysuje cztery granice, a drobne błędy na każdej z nich sumują się, gdy znów odtwarzasz ścieżki razem. Dlatego poradnik karaoke zaleca dwie ścieżki, mimo że dostępnych jest pięć.
Czego model nie potrafi
Nie potrafi wymyślić tego, czego nigdy nie nagrano. Jeśli oddech wokalisty całkowicie zakrył cichą nutę fortepianu, w instrumentalu ta nuta przepada. Nie potrafi rozdzielić dwóch wokalistów o tym samym rejestrze śpiewających unisono na dwie osoby. I nie potrafi usunąć praw autorskich: oddzielone ścieżki to z prawnego punktu widzenia nadal oryginalne nagranie, więc zasady dotyczące publikowania i wykonywania wciąż obowiązują.
Dokąd zmierza technologia
Modele badawcze wciąż rosną i są teraz trenowane z większą liczbą ścieżek (na przykład gitarą i fortepianem jako osobnymi celami) oraz na więcej gatunków. Przepaść między darmowym narzędziem w przeglądarce a studyjną stacją roboczą w separacji na dwie ścieżki niemal się zamknęła; pozostałe różnice dotyczą przypadków brzegowych, szybkości i tego, jak narzędzie pozwala potem pracować z rezultatem.
Sprawdź własnymi uszami
Najszybszy sposób, by to wszystko zrozumieć, to przepuścić dobrze znaną piosenkę przez narzędzie do usuwania wokalu, wyciszyć ścieżkę wokalną i posłuchać refrenu na słuchawkach. Usłyszysz dokładnie opisane tu efekty: czystą zwrotkę, ledwo uchwytnego ducha w ogonie pogłosu i refren, w którym harmonie odeszły razem z wokalem prowadzącym. Potem przeczytaj Usuwanie wokalu a separator ścieżek, by zdecydować, który tryb pasuje do następnego projektu.