Bir şarkıyı vokal ayırıcıya yapıştırın, bir dakika bekleyin ve şarkıcı gitmiş olsun. Bir hile gibi geliyor ve uzun süre öyleydi de: eski yöntemler ya stereo görüntünün merkezini iptal ederdi ya da bir frekans bandını keserdi ve her ikisi de müziğin geri kalanını mahvederdi. Modern araçlar farklı bir şey yapıyor. Bu rehber, denklemlere girmeden ne yaptıklarını açıklıyor.
Şarkı bir resimdir
Ses bir dalgadır: saniyede binlerce kez yükselip alçalan hava basıncı. Bir bilgisayarın bunun üzerinde akıl yürütmesi zordur, bu yüzden neredeyse her ayırma sisteminin ilk adımı sesi spektrogram denilen bir resme dönüştürmektir. Zaman soldan sağa, perde aşağıdan yukarıya akar ve parlaklık her an her perdede ne kadar enerji olduğunu gösterir.
Bu resimde bir ses, dalgalı yatay çizgilerden oluşan bir küme gibi görünür: bir temel perde ve şarkıcı notalar arasında geçerken kayan üst tonları. Kick davul, en altta kısa dikey bir leke. Hi-hat, en üstte ince bir sis. Piyano akoru, birlikte başlayıp sönen düz çizgilerden oluşan bir yığın. Enstrümanlar çakışır, ancak şekilleri vardır ve şekiller bir sinir ağının tanımayı öğrenebileceği şeylerdir.
Model bir maske boyar
Karışık bir şarkının spektrogramı verildiğinde ağın görevi, aynı boyutta ve maske denen ikinci bir resim çıkarmaktır; bu resimde her piksel o zaman ve perdedeki enerjinin ne kadarının sese ait olduğunu söyler. Orijinal resmi maskeyle çarparsanız sesin spektrogramını elde edersiniz; tersiyle çarparsanız geri kalan her şeyi. Bu resimleri yeniden dalgaya çevirin ve iki ses dosyanız olsun.
Stem ayırıcı aynı şeyi birkaç kez yapar; vokal, davul, bas, piyano ve "diğer" için birer maske üretir.
Daha yeni modeller ikinci bir bakış açısı ekler: spektrogramın yanında ham dalgaya da doğrudan bakarlar, bu da spektrogramda bulanıklaşan davul vuruşları gibi keskin geçişlerde yardımcı olur. Araçlarda gördüğünüz MDX-Net ve Demucs gibi bazı motorlar esas olarak bu iki bakış açısını nasıl birleştirdikleri ve ne kadar büyük oldukları bakımından farklılaşır.
Bir sesin neye benzediğini nasıl öğrendi
Kimse "bir sesin üst tonları şu şekilde aralıklıdır" gibi kurallar programlamadı. Ağ, ayrı kanalların mevcut olduğu binlerce şarkıyla eğitildi: bir tarafta miks, diğer tarafta yalıtılmış vokal, davul, bas ve diğer stem'ler. Her şarkı için bir maske tahmin etti, tahminini gerçek yalıtılmış stem'lerle karşılaştırdı ve bir sonraki sefer daha iyi yapmak için milyonlarca iç sayıyı hafifçe ayarladı. Bunu güçlü donanımda haftalarca tekrarlayın; sonuç, fiilen herhangi bir insan tonmaisterden daha fazla çok kanallı kayıt dinlemiş bir modeldir.
Bu eğitim kümesi aynı zamanda sınırlarının da kaynağıdır. Model en çok duyduğu müzik türlerinde, yani net stüdyo prodüksiyonuna sahip modern pop, rock, hip-hop ve elektronik müzikte en iyidir.
Bazı şarkılar neden temiz ayrılır, diğerleri ayrılmaz
Yankı ve gecikme. Ses üzerindeki efektler sesin kendisinden yapılmıştır; zamanda yayılmış ve odayla karışmıştır. Bu yayılmanın bir kısmı altındaki enstrümanlara benzer, bu yüzden model sesin nerede bitip odanın nerede başladığını tahmin etmek zorundadır. Kuru vokaller temiz ayrılır; katedral boyutundaki yankılar bir hayalet bırakır.
Katlanmış ve katmanlı vokaller. Armoniler, katlamalar ve üst üste binmiş nakaratlar iki stem modeli için hepsi "ses"tir, dolayısıyla hepsi ana vokalle birlikte gider. Armonileri korumak istiyorsanız, yalnızca ana vokali çıkarmak için özel olarak eğitilmiş bir modele ihtiyacınız var; "karaoke" modeli işte budur.
Enstrüman olarak kullanılan sesler. Bir vocoder, talk-box veya ağır şekilde perdesi kaydırılmış bir vokal kesiti, bir şarkıcıdan çok bir synth ile şekil paylaşır. Bir kısmı enstrümantalde kalacaktır.
Çakışan registerlar. Distortion'lu bir ritim gitarı ile bir kadın belt sesi resmin aynı bölgesinde yaşar. Çakıştıkları yerde maske bir uzlaşmadır.
Düşük kaliteli kaynaklar. 96 kbps bir yayın veya eski bir kaset aktarımı, modelin kaynakları ayırt etmek için kullandığı ince ayrıntıyı zaten kaybetmiştir.
"Motor" ve "kalite" ayarları gerçekte neyi değiştirir
Vokal ayırıcılar genellikle bir standart motor ve bir veya iki daha yüksek kaliteli motor sunar. Fark bir filtre değildir; farklı, daha büyük bir modeldir, bazen de çıktıları ortalaması alınan birkaç model. Daha büyük bir model belirsiz piksellerde daha iyi tahminler yapar; bu da enstrümantalde daha az vokal hayaleti ve akapellada daha az enstrüman parçası olarak kendini gösterir. Bedeli zamandır: iki büyük modelden oluşan bir topluluk, standarttan birkaç kat daha uzun sürebilir.
Mazmazika'da standart motor beşe kadar stem'i hızla verir; High Quality modelleri (Best Vocals, Best Instrumental, Karaoke) ve iki model çalıştırıp her birinin en iyisini birleştiren Ultra motoru daha büyük seçeneklerdir ve araç sayfası bunlardan hangilerinin planınıza dahil olduğunu listeler. Bu motorlarda çıktı bit hızı da 128'den 320 kbps'ye yükselir; dosya büyük bir sistemde çalınacaksa bu önemlidir.
İki stem neden beşten daha temizdir
Her ek stem, modelin çizmesi gereken bir sınır daha demektir. "Ses mi, ses değil mi" modeli tek bir sınır çizer ve enstrümantal orijinal miksin bütünlüğünü korur. Beşli bir model dört sınır çizer ve her birindeki küçük hatalar stem'leri yeniden birlikte çaldığınızda birikir. Karaoke rehberinin beşi mevcut olsa bile iki stem önermesinin nedeni budur.
Modelin yapamadıkları
Hiç kaydedilmemiş olanı icat edemez. Şarkıcının nefesi sessiz bir piyano notasını tamamen örttüyse, o nota enstrümantalde yoktur. Aynı aralıkta unison söyleyen iki şarkıcıyı iki kişiye ayıramaz. Ve telif hakkını kaldıramaz: ayrılmış stem'ler hukuken hâlâ orijinal kayıttır, dolayısıyla yayımlama ve icra etmeye ilişkin kurallar geçerliliğini korur.
Teknoloji nereye gidiyor
Araştırma modelleri büyümeye devam ediyor ve artık daha fazla stem'le (örneğin ayrı hedefler olarak gitar ve piyano) ve daha fazla türde eğitiliyor. Ücretsiz bir tarayıcı aracı ile stüdyo iş istasyonu arasındaki fark, iki stem ayırma için büyük ölçüde kapandı; kalan farklar uç durumlarda, hızda ve aracın sonuçla sonradan nasıl çalışmanıza izin verdiğinde.
Kendi kulaklarınızla deneyin
Tüm bunları anlamanın en hızlı yolu, iyi bildiğiniz bir şarkıyı vokal ayırıcıdan geçirmek, vokal stem'ini susturmak ve nakaratı kulaklıkla dinlemektir. Burada anlatılan etkileri tam olarak duyacaksınız: temiz bir verse, yankı kuyruğunda hafif bir hayalet ve armonilerin ana vokalle birlikte gittiği bir nakarat. Ardından bir sonraki projenize hangi modun uyduğuna karar vermek için vokal ayırıcı ve stem ayırıcı karşılaştırmasını okuyun.