ボーカルリムーバーに曲を貼り付けて1分待つと、歌い手が消えています。手品のように感じられますし、実際、長い間それは手品のようなものでした。昔の手法はステレオ像の中央を打ち消すか、ある周波数帯を切り取るかのどちらかで、いずれも残りの音楽を台無しにしていたのです。現代のツールはまったく別のことをしています。このガイドでは、それが何なのかを数式を使わずに説明します。
曲は1枚の絵である
音は波です。空気の圧力が毎秒何千回も上下しています。これはコンピューターにとって扱いづらいため、ほぼすべての分離システムの最初のステップは、音をスペクトログラムと呼ばれる絵に変換することです。時間は左から右へ、音の高さは下から上へと進み、明るさは各時点の各音高にどれだけのエネルギーがあるかを示します。
この絵の中で、歌声は波打つ横線の集まりとして現れます。基音とその倍音が、歌い手が音から音へ移るにつれて滑らかに動きます。キックドラムは下部の短い縦のにじみです。ハイハットは上部の細かい霧のようなものです。ピアノのコードは、同時に始まって消えていく直線の積み重ねです。楽器同士は重なり合いますが、それぞれに形があり、形はニューラルネットワークが認識を学べるものなのです。
モデルはマスクを描く
ミックスされた曲のスペクトログラムを与えられたネットワークの仕事は、マスクと呼ばれる同じ大きさの2枚目の絵を出力することです。各ピクセルは、その時点・その音高のエネルギーのうちどれだけが歌声に属するかを示します。元の絵にマスクを掛け合わせれば歌声のスペクトログラムが、その反転を掛け合わせればそれ以外の音のスペクトログラムが得られます。これらの絵を波に戻せば、2つの音声ファイルの完成です。
ステム分離ツールは同じことを何度も繰り返し、ボーカル、ドラム、ベース、ピアノ、「その他」のそれぞれに対して1枚ずつマスクを生成します。
新しいモデルは、もう1つの視点を加えています。スペクトログラムに加えて生の波形も直接見ることで、スペクトログラムではぼやけてしまうドラムの打撃音のような鋭いトランジェントの扱いが良くなります。MDX-NetやDemucsなど、ツールで目にするエンジンの違いは、主にこの2つの視点をどう組み合わせるか、そしてモデルの大きさにあります。
歌声がどう見えるかをどうやって学んだか
「歌声にはこういう間隔で倍音がある」といった規則を、誰かがプログラムしたわけではありません。ネットワークは、個別のトラックが入手できる何千曲もの楽曲で学習しました。一方にミックス、もう一方に単独のボーカル、ドラム、ベース、その他のステムがあります。各曲についてマスクを推測し、その推測を実際の単独ステムと比較し、次回はより良くできるように何百万もの内部の数値をわずかに調整するのです。これを高性能なハードウェアで何週間も繰り返した結果が、事実上どんな人間のエンジニアよりも多くのマルチトラックセッションを聴いてきたモデルです。
この学習データは、モデルの限界の源でもあります。モデルが最も得意なのは、最も多く聴いてきた種類の音楽、つまりスタジオ制作のはっきりした現代のポップ、ロック、ヒップホップ、エレクトロニック音楽です。
きれいに分離できる曲とできない曲がある理由
リバーブとディレイ。 歌声にかかるエフェクトは、歌声そのものが時間方向に引き伸ばされ、部屋の響きと混ざったものです。その引き伸ばされた部分の一部は、下に鳴っている楽器と似た形をしているため、モデルはどこで歌声が終わり、どこから部屋の響きが始まるのかを推測しなければなりません。ドライなボーカルはきれいに分離できますが、大聖堂のようなリバーブは残像を残します。
重ねたボーカルとレイヤー。 ハーモニー、ダブリング、積み重ねたコーラスは、2ステムモデルにとってはすべて「歌声」なので、リードと一緒にまとめて消えます。ハーモニーを残したいなら、リードだけを取り除くように特別に学習されたモデルが必要です。それが「カラオケ」モデルと呼ばれるものです。
楽器として使われる声。 ボコーダー、トークボックス、大きくピッチシフトされたボーカルチョップは、歌い手よりもシンセに近い形をしています。その一部はインストゥルメンタルに残ります。
重なり合う音域。 歪んだリズムギターと女性の力強い高音は、絵の同じ領域に存在します。両者が一致する場所では、マスクは妥協の産物になります。
ローファイな音源。 96 kbpsのストリームや古いカセットからの取り込みは、モデルが音源を区別するために使う細かなディテールをすでに失っています。
「エンジン」と「品質」の設定が実際に変えるもの
ボーカルリムーバーは通常、標準エンジンと、1つか2つの高品質エンジンを提供しています。その違いはフィルターではありません。別の、より大きなモデルであり、場合によっては複数のモデルの出力を平均したものです。大きなモデルは曖昧なピクセルをより正確に推測するため、インストゥルメンタルに残る歌声の残像が減り、アカペラに混ざる楽器の断片も減ります。代償は時間です。大型モデル2つを組み合わせたアンサンブルは、標準エンジンの数倍の時間がかかることがあります。
Mazmazikaでは、標準エンジンは最大5ステムを高速に生成します。High Qualityのモデル群（Best Vocals、Best Instrumental、Karaoke）と、2つのモデルを実行してそれぞれの良い部分を統合するUltraエンジンが、より大きな選択肢です。これらのうちどれがお使いのプランに含まれるかは、ツールページに記載されています。これらのエンジンでは出力ビットレートも128から320 kbpsに上がり、大きな音響システムで再生するファイルでは重要になります。
2ステムが5ステムよりクリーンな理由
ステムが1つ増えるごとに、モデルが引かなければならない境界線も1本増えます。「歌声か、歌声でないか」のモデルが引く境界線は1本で、インストゥルメンタルには元のミックスの一体感が残ります。5分割のモデルは4本の境界線を引き、それぞれの小さな誤差が、ステムを再び一緒に鳴らしたときに積み重なります。5ステムが利用できるにもかかわらずカラオケガイドが2ステムを推奨しているのは、これが理由です。
モデルにできないこと
録音されなかったものを作り出すことはできません。歌い手のブレスが静かなピアノの音を完全に覆い隠していたなら、その音はインストゥルメンタルから消えています。同じ音域の2人の歌い手がユニゾンで歌っているものを、2人に分けることもできません。そして著作権を取り除くこともできません。分離したステムは法的には依然として元の録音ですから、公開や演奏に関する規則はそのまま適用されます。
技術の行き先
研究用モデルは大型化を続け、現在はより多くのステム（たとえばギターとピアノを別々の対象として）と、より多くのジャンルで学習されています。2ステム分離に関しては、無料のブラウザツールとスタジオのワークステーションとの差はほぼ埋まりました。残る違いは、特殊なケースへの対応、速度、そして結果をその後どう扱えるかという点にあります。
自分の耳で試してみる
ここまでの内容を理解する最短の方法は、よく知っている曲をボーカルリムーバーに通し、ボーカルステムをミュートして、ヘッドフォンでコーラス部分を聴くことです。ここで説明した現象がそのまま聴き取れるはずです。クリーンなヴァース、リバーブの余韻に残るかすかな残像、そしてハーモニーがリードと一緒に消えたコーラス。その後、ボーカルリムーバーとステム分離ツールの違いを読んで、次のプロジェクトにどのモードが合うかを決めてください。