Вставте пісню в інструмент для видалення вокалу, зачекайте хвилину — і співака немає. Це схоже на трюк, і довгий час так і було: старі методи або гасили центр стереокартини, або вирізали смугу частот, і обидва нищили решту музики. Сучасні інструменти роблять щось інше. Ця стаття пояснює, що саме, без жодного рівняння.
Пісня — це картинка
Звук — це хвиля: тиск повітря, що піднімається й падає тисячі разів на секунду. Комп'ютеру незручно з цим міркувати, тому першим кроком майже кожної системи розділення є перетворення звуку на картинку, яку називають спектрограмою. Час іде зліва направо, висота звуку — знизу вгору, а яскравість показує, скільки енергії є на кожній висоті в кожний момент.
На такій картинці голос виглядає як набір хвилястих горизонтальних ліній: основний тон і його обертони, що ковзають, коли співак переходить між нотами. Бас-барабан — коротка вертикальна пляма внизу. Хай-хет — дрібний туман угорі. Фортепіанний акорд — стовпчик прямих ліній, які починаються разом і згасають. Інструменти перекриваються, але мають форми, а форми — це те, що нейромережа може навчитися розпізнавати.
Модель малює маску
Отримавши спектрограму зведеної пісні, мережа має видати другу картинку того самого розміру, яку називають маскою, де кожний піксель каже, яка частка енергії в цій точці часу й висоти належить голосу. Помножте оригінальну картинку на маску — і отримаєте спектрограму голосу; помножте на обернену — і отримаєте все решта. Перетворіть ці картинки назад у хвилі — і маєте два аудіофайли.
Розділювач стемів робить те саме кілька разів, створюючи по одній масці для вокалу, ударних, басу, фортепіано та «іншого».
Новіші моделі додають другий погляд: окрім спектрограми, вони дивляться й безпосередньо на саму хвилю, що допомагає з різкими транзієнтами, наприклад ударами барабанів, які на спектрограмі розмиваються. Деякі рушії, які ви бачите в інструментах, як-от MDX-Net і Demucs, відрізняються головно тим, як вони поєднують ці два погляди та наскільки вони великі.
Як вона навчилася, на що схожий голос
Ніхто не програмував правил на кшталт «у голосу обертони розташовані ось так». Мережу навчали на тисячах пісень, для яких були доступні окремі доріжки: з одного боку мікс, з іншого — ізольований вокал, ударні, бас та інші стеми. Для кожної пісні вона вгадувала маску, порівнювала свою здогадку зі справжніми ізольованими стемами й трохи коригувала мільйони внутрішніх чисел, щоб наступного разу впоратися краще. Повторіть це тижнями на потужному обладнанні — і отримаєте модель, яка фактично прослухала більше багатоканальних сесій, ніж будь-який звукорежисер.
Цей навчальний набір також є джерелом її обмежень. Модель найкраща на тих видах музики, які чула найчастіше, — це сучасний поп, рок, хіп-хоп та електронна музика з чистим студійним продюсуванням.
Чому одні пісні розділяються чисто, а інші ні
Реверберація та затримка. Ефекти на голосі зроблені з самого голосу, розмазаного в часі й змішаного з приміщенням. Частина цього розмазування схожа на інструменти під ним, тому моделі доводиться вгадувати, де закінчується голос і починається кімната. Сухий вокал розділяється чисто; реверберація розміром із собор залишає привида.
Продубльований і багатошаровий вокал. Гармонії, дублі та нашаровані приспіви для двостемової моделі — усе «голос», тому все це іде разом із головним вокалом. Якщо хочете зберегти гармонії, потрібна модель, навчена спеціально прибирати лише головний вокал, — саме такою є модель «karaoke».
Голоси, використані як інструменти. Вокодер, ток-бокс чи сильно зсунутий по висоті вокальний семпл за формою більше нагадують синтезатор, ніж співака. Частина цього залишиться в інструменталі.
Регістри, що перекриваються. Перевантажена ритм-гітара й жіночий белтинг живуть в одній області картинки. Там, де вони збігаються, маска — це компроміс.
Джерела низької якості. Потік на 96 kbps або оцифрована стара касета вже втратили дрібні деталі, за якими модель розрізняє джерела.
Що насправді змінюють налаштування «рушія» та «якості»
Інструменти для видалення вокалу зазвичай пропонують стандартний рушій та один-два якісніші. Різниця — не фільтр; це інша, більша модель, а часом кілька моделей, виходи яких усереднюються. Більша модель краще вгадує неоднозначні пікселі, що проявляється як менше привида вокалу в інструменталі та менше уламків інструментів в акапелі. Ціна — час: ансамбль двох великих моделей може працювати в кілька разів довше за стандартний.
На Mazmazika стандартний рушій швидко видає до п'яти стемів; моделі High Quality (Best Vocals, Best Instrumental, Karaoke) та рушій Ultra, який запускає дві моделі й поєднує найкраще з кожної, — це більші варіанти, а на сторінці інструмента зазначено, які з них включає ваш план. Бітрейт виходу на цих рушіях також зростає зі 128 до 320 kbps, що має значення, якщо файл гратиме на великій системі.
Чому два стеми чистіші за п'ять
Кожний додатковий стем — це ще одна межа, яку моделі доводиться проводити. Модель «голос чи не голос» проводить одну межу, і інструментал зберігає цілісність оригінального міксу. Модель на п'ять частин проводить чотири межі, і дрібні помилки на кожній із них додаються, коли ви знову граєте стеми разом. Саме тому інструкція з караоке рекомендує два стеми, хоча доступні й п'ять.
Чого модель не може
Вона не може вигадати те, чого ніколи не записували. Якщо подих співака повністю перекрив тиху ноту фортепіано, в інструменталі цієї ноти немає. Вона не може розділити двох співаків одного діапазону, що співають в унісон, на двох людей. І вона не може зняти авторське право: відокремлені стеми з юридичного погляду залишаються оригінальним записом, тому правила щодо публікації та виконання діють і далі.
Куди рухається технологія
Дослідницькі моделі стають дедалі більшими, і їх тепер навчають із більшою кількістю стемів (наприклад, гітара й фортепіано як окремі цілі) та на більшій кількості жанрів. Розрив між безкоштовним браузерним інструментом і студійною робочою станцією для двостемового розділення здебільшого зник; решта відмінностей — у крайніх випадках, швидкості та в тому, як інструмент дозволяє працювати з результатом далі.
Перевірте на власні вуха
Найшвидший спосіб усе це зрозуміти — прогнати добре знайому пісню через інструмент для видалення вокалу, заглушити вокальний стем і послухати приспів у навушниках. Ви почуєте саме ті ефекти, про які тут йшлося: чистий куплет, ледь чутного привида у хвості реверберації та приспів, у якому гармонії пішли разом із головним вокалом. Потім прочитайте видалення вокалу чи розділення стемів, щоб вирішити, який режим пасує вашому наступному проєкту.