보컬 리무버에 노래를 붙여 넣고 1분을 기다리면 가수가 사라져 있습니다. 마술처럼 느껴지는데, 사실 오랫동안 실제로 마술 같은 속임수였습니다. 옛 방식은 스테레오 이미지의 중앙을 상쇄하거나 특정 주파수 대역을 잘라냈고, 둘 다 나머지 음악을 망가뜨렸습니다. 현대의 도구는 전혀 다른 일을 합니다. 이 가이드는 그것이 무엇인지 수식 없이 설명합니다.
노래는 한 장의 그림입니다
소리는 파동입니다. 공기의 압력이 1초에 수천 번 오르내리는 것입니다. 컴퓨터가 이를 직접 다루기는 까다롭기 때문에, 거의 모든 분리 시스템의 첫 단계는 소리를 스펙트로그램이라는 그림으로 바꾸는 것입니다. 시간은 왼쪽에서 오른쪽으로, 음높이는 아래에서 위로 흐르고, 밝기는 각 순간 각 음높이에 에너지가 얼마나 있는지를 보여 줍니다.
이 그림에서 목소리는 물결치는 가로선 묶음처럼 보입니다. 기본음과 그 배음들이 가수가 음 사이를 오갈 때 함께 미끄러지듯 움직입니다. 킥 드럼은 아래쪽의 짧은 세로 얼룩입니다. 하이햇은 위쪽의 가느다란 안개 같습니다. 피아노 코드는 함께 시작해 서서히 사라지는 직선들의 층입니다. 악기들은 서로 겹치지만 각각 고유한 형태가 있고, 형태는 신경망이 알아보도록 학습할 수 있는 것입니다.
모델은 마스크를 그립니다
믹스된 노래의 스펙트로그램이 주어지면, 신경망의 임무는 마스크라고 부르는 같은 크기의 두 번째 그림을 출력하는 것입니다. 각 픽셀은 해당 시간과 음높이의 에너지 중 얼마가 목소리에 속하는지를 나타냅니다. 원래 그림에 마스크를 곱하면 목소리의 스펙트로그램이 되고, 그 반전을 곱하면 나머지 모든 소리가 됩니다. 이 그림들을 다시 파동으로 되돌리면 두 개의 오디오 파일이 생깁니다.
스템 분리 도구는 같은 일을 여러 번 반복하여 보컬, 드럼, 베이스, 피아노, "기타" 각각에 대해 마스크를 하나씩 만들어 냅니다.
최신 모델은 두 번째 관점을 더합니다. 스펙트로그램과 함께 원시 파형도 직접 살펴보는데, 이는 스펙트로그램에서는 흐릿해지는 드럼 타격음 같은 날카로운 트랜지언트를 처리하는 데 도움이 됩니다. MDX-Net과 Demucs처럼 도구에서 볼 수 있는 엔진들은 주로 이 두 관점을 결합하는 방식과 모델의 크기에서 차이가 납니다.
목소리가 어떻게 생겼는지 어떻게 배웠을까요
"목소리는 이런 간격의 배음을 가진다" 같은 규칙을 누군가 프로그래밍한 것이 아닙니다. 신경망은 개별 트랙을 구할 수 있는 수천 곡의 노래로 학습했습니다. 한쪽에는 믹스가, 다른 쪽에는 분리된 보컬, 드럼, 베이스, 그 밖의 스템이 있었습니다. 각 노래에 대해 마스크를 추측하고, 그 추측을 실제 분리된 스템과 비교한 뒤, 다음번에 더 잘하도록 수백만 개의 내부 수치를 조금씩 조정했습니다. 이를 강력한 하드웨어에서 몇 주 동안 반복한 결과가, 사실상 어떤 인간 엔지니어보다 많은 멀티트랙 세션을 들어 본 모델입니다.
이 학습 데이터는 모델의 한계가 되는 원인이기도 합니다. 모델은 가장 많이 들었던 종류의 음악, 즉 스튜디오 제작이 명확한 현대 팝, 록, 힙합, 일렉트로닉 음악에서 가장 뛰어납니다.
어떤 노래는 깨끗하게 분리되고 어떤 노래는 그렇지 않은 이유
리버브와 딜레이. 목소리에 걸린 이펙트는 목소리 자체가 시간 방향으로 번지고 공간의 울림과 섞인 것입니다. 그 번진 부분의 일부는 그 아래에서 연주되는 악기처럼 보이기 때문에, 모델은 목소리가 어디서 끝나고 공간의 울림이 어디서 시작되는지를 추측해야 합니다. 드라이한 보컬은 깨끗하게 분리되지만, 성당 크기의 리버브는 잔상을 남깁니다.
겹치고 쌓인 보컬. 하모니, 더블링, 층층이 쌓은 코러스는 2스템 모델에게는 모두 "목소리"이므로 리드와 함께 전부 빠져나갑니다. 하모니를 남기려면 리드만 제거하도록 특별히 학습된 모델이 필요한데, "노래방" 모델이 바로 그것입니다.
악기처럼 쓰인 목소리. 보코더, 토크박스, 피치를 크게 바꾼 보컬 촙은 가수보다 신스와 더 닮은 형태를 지닙니다. 그 일부는 반주에 남게 됩니다.
겹치는 음역대. 디스토션 리듬 기타와 여성의 힘 있는 고음은 그림에서 같은 영역에 자리합니다. 둘이 일치하는 곳에서 마스크는 타협의 결과가 됩니다.
로파이 음원. 96 kbps 스트림이나 오래된 카세트에서 옮긴 음원은 모델이 음원을 구별하는 데 쓰는 미세한 디테일을 이미 잃어버린 상태입니다.
"엔진"과 "품질" 설정이 실제로 바꾸는 것
보컬 리무버는 보통 표준 엔진과 한두 개의 고품질 엔진을 제공합니다. 그 차이는 필터가 아닙니다. 다른, 더 큰 모델이며, 때로는 여러 모델의 출력을 평균한 것입니다. 더 큰 모델은 모호한 픽셀을 더 잘 추측하고, 이는 반주에 남는 목소리 잔상이 줄고 아카펠라에 섞이는 악기 조각이 줄어드는 것으로 나타납니다. 대가는 시간입니다. 큰 모델 두 개를 앙상블로 돌리면 표준 엔진보다 몇 배 오래 걸릴 수 있습니다.
Mazmazika에서 표준 엔진은 최대 다섯 개의 스템을 빠르게 제공합니다. High Quality 모델들(Best Vocals, Best Instrumental, Karaoke)과 두 모델을 실행해 각각의 장점을 합치는 Ultra 엔진이 더 큰 선택지이며, 이 중 어떤 것이 플랜에 포함되는지는 도구 페이지에 표시됩니다. 이 엔진들에서는 출력 비트레이트도 128에서 320 kbps로 올라가는데, 큰 음향 시스템에서 재생할 파일이라면 중요한 차이입니다.
두 개의 스템이 다섯 개보다 깨끗한 이유
스템이 하나 늘어날 때마다 모델이 그어야 할 경계도 하나씩 늘어납니다. "목소리인가, 아닌가" 모델은 경계를 하나만 긋고, 반주에는 원래 믹스의 응집력이 유지됩니다. 다섯 갈래 모델은 경계를 네 개 긋고, 각 경계의 작은 오류는 스템을 다시 함께 재생할 때 합쳐집니다. 다섯 개를 사용할 수 있음에도 노래방 반주 가이드가 2스템을 권하는 이유가 바로 이것입니다.
모델이 할 수 없는 것
녹음되지 않은 것을 만들어 낼 수는 없습니다. 가수의 숨소리가 조용한 피아노 음을 완전히 덮었다면, 그 음은 반주에서 사라진 상태입니다. 같은 음역대의 두 가수가 유니즌으로 부르는 것을 두 사람으로 나눌 수도 없습니다. 그리고 저작권을 없앨 수도 없습니다. 분리된 스템은 법적으로 여전히 원곡 녹음이므로, 공개와 공연에 관한 규칙은 그대로 적용됩니다.
기술은 어디로 향하고 있을까요
연구용 모델은 계속 커지고 있으며, 이제는 더 많은 스템(예를 들어 기타와 피아노를 별도의 대상으로)과 더 많은 장르로 학습됩니다. 2스템 분리에서는 무료 브라우저 도구와 스튜디오 워크스테이션 사이의 격차가 대부분 사라졌습니다. 남은 차이는 특수한 경우의 처리, 속도, 그리고 결과물을 이후에 어떻게 다룰 수 있게 해 주는지에 있습니다.
직접 귀로 확인해 보세요
이 모든 내용을 이해하는 가장 빠른 방법은 잘 아는 노래를 보컬 리무버에 통과시킨 뒤 보컬 스템을 뮤트하고 헤드폰으로 후렴을 들어 보는 것입니다. 여기서 설명한 현상을 그대로 들을 수 있을 것입니다. 깨끗한 버스, 리버브 꼬리에 남은 희미한 잔상, 그리고 하모니가 리드와 함께 사라진 후렴입니다. 그런 다음 보컬 리무버와 스템 분리 도구의 차이를 읽고 다음 프로젝트에 어떤 모드가 맞는지 결정하세요.