Вставьте песню в сервис удаления вокала, подождите минуту — и певца нет. Это похоже на фокус, и долгое время так и было: старые методы либо вычитали центр стереокартины, либо вырезали полосу частот, и оба разрушали остальную музыку. Современные инструменты делают нечто иное. Это руководство объясняет, что именно, без формул.
Песня — это картинка
Звук — это волна: давление воздуха поднимается и опускается тысячи раз в секунду. Компьютеру неудобно рассуждать в таких терминах, поэтому первый шаг почти в любой системе разделения — превратить звук в картинку, называемую спектрограммой. Время идёт слева направо, высота звука — снизу вверх, а яркость показывает, сколько энергии приходится на каждую высоту в каждый момент.
На этой картинке голос выглядит как набор волнистых горизонтальных линий: основной тон и его обертоны, скользящие, когда певец переходит от ноты к ноте. Бочка — короткий вертикальный мазок внизу. Хай-хэт — тонкая дымка сверху. Фортепианный аккорд — стопка прямых линий, которые начинаются вместе и затухают. Инструменты перекрываются, но у них есть формы, а формы — это то, что нейросеть способна научиться распознавать.
Модель рисует маску
Получив спектрограмму сведённой песни, сеть должна выдать вторую картинку того же размера, называемую маской, где каждый пиксель говорит, какая доля энергии в этот момент и на этой высоте принадлежит голосу. Умножьте исходную картинку на маску — и получите спектрограмму голоса; умножьте на обратную — и получите всё остальное. Превратите эти картинки обратно в волны — и у вас два аудиофайла.
Разделитель стемов делает то же самое несколько раз, создавая по одной маске для вокала, ударных, баса, фортепиано и «прочего».
Новые модели добавляют второй взгляд: помимо спектрограммы они смотрят и непосредственно на сырую волну, что помогает с резкими транзиентами, такими как удары барабанов, которые на спектрограмме размываются. Некоторые движки, которые вы видите в инструментах, например MDX-Net и Demucs, различаются главным образом тем, как они сочетают эти два взгляда и насколько они велики.
Как она узнала, как выглядит голос
Никто не программировал правила вроде «у голоса обертоны расположены вот так». Сеть обучали на тысячах песен, для которых были доступны отдельные дорожки: микс с одной стороны, изолированный вокал, ударные, бас и прочие стемы — с другой. Для каждой песни она угадывала маску, сравнивала свою догадку с настоящими изолированными стемами и слегка корректировала миллионы внутренних чисел, чтобы в следующий раз справиться лучше. Повторите это неделями на мощном оборудовании — и получится модель, которая, по сути, прослушала больше многодорожечных сессий, чем любой звукорежиссёр.
Этот обучающий набор — и источник её ограничений. Модель лучше всего справляется с той музыкой, которую слышала чаще всего, то есть с современным попом, роком, хип-хопом и электроникой с чистой студийной продукцией.
Почему одни песни разделяются чисто, а другие нет
Реверберация и дилэй. Эффекты на голосе состоят из самого голоса, размазанного во времени и смешанного с помещением. Часть этого размазывания похожа на инструменты под ним, поэтому модели приходится угадывать, где заканчивается голос и начинается помещение. Сухой вокал разделяется чисто; реверберация размером с собор оставляет призрак.
Дублированный и многослойный вокал. Гармонии, дубли и наслоённые припевы для двухстемовой модели — всё это «голос», поэтому они уходят вместе с ведущим. Если вы хотите сохранить гармонии, нужна модель, специально обученная удалять только ведущий вокал, — именно этим и является модель «караоке».
Голос как инструмент. Вокодер, ток-бокс или сильно сдвинутый по высоте вокальный сэмпл по форме ближе к синтезатору, чем к певцу. Часть этого останется в минусовке.
Перекрывающиеся регистры. Перегруженная ритм-гитара и мощный женский вокал живут в одной области картинки. Там, где они совпадают, маска — компромисс.
Lo-fi источники. Поток на 96 kbps или оцифровка старой кассеты уже потеряли мелкие детали, по которым модель отличает источники друг от друга.
Что на самом деле меняют настройки «движка» и «качества»
Сервисы удаления вокала обычно предлагают стандартный движок и один-два более качественных. Разница не в фильтре; это другая, более крупная модель, иногда несколько моделей, результаты которых усредняются. Более крупная модель лучше угадывает неоднозначные пиксели, что проявляется как меньший призрак вокала в минусовке и меньше фрагментов инструментов в акапелле. Цена — время: ансамбль из двух больших моделей может работать в несколько раз дольше стандартного.
На Mazmazika стандартный движок быстро выдаёт до пяти стемов; модели High Quality (Best Vocals, Best Instrumental, Karaoke) и движок Ultra, который запускает две модели и объединяет лучшее из каждой, — более крупные варианты, а страница инструмента перечисляет, какие из них входят в ваш план. Битрейт на выходе на этих движках также растёт со 128 до 320 kbps, что важно, если файл будет воспроизводиться на большой системе.
Почему два стема чище пяти
Каждый дополнительный стем — ещё одна граница, которую модели нужно провести. Модель «голос или не голос» проводит одну границу, и минусовка сохраняет цельность оригинального микса. Пятиканальная модель проводит четыре границы, и небольшие ошибки на каждой из них складываются, когда вы снова воспроизводите стемы вместе. Поэтому руководство по караоке рекомендует два стема, хотя доступны пять.
Чего модель не может
Она не может придумать то, что никогда не было записано. Если дыхание певца полностью перекрыло тихую ноту фортепиано, в минусовке этой ноты нет. Она не может разделить двух певцов одного регистра, поющих в унисон, на двух человек. И она не может снять авторские права: отделённые стемы с юридической точки зрения остаются оригинальной записью, так что правила публикации и исполнения по-прежнему действуют.
Куда движется технология
Исследовательские модели продолжают расти, теперь их обучают с большим числом стемов (например, гитара и фортепиано как отдельные цели) и на большем числе жанров. Разрыв между бесплатным браузерным инструментом и студийной рабочей станцией в двухстемовом разделении практически исчез; оставшиеся различия касаются пограничных случаев, скорости и того, как инструмент позволяет работать с результатом дальше.
Проверьте собственными ушами
Самый быстрый способ понять всё это — прогнать хорошо знакомую песню через сервис удаления вокала, заглушить вокальный стем и послушать припев в наушниках. Вы услышите ровно те эффекты, что описаны здесь: чистый куплет, слабый призрак в хвосте реверберации и припев, в котором гармонии ушли вместе с ведущим вокалом. Затем прочитайте Удаление вокала или разделение на стемы, чтобы решить, какой режим подойдёт для вашего следующего проекта.