Tempel sebuah lagu ke penghapus vokal, tunggu semenit, dan penyanyinya hilang. Rasanya seperti trik, dan untuk waktu yang lama memang begitu: metode lama entah membatalkan bagian tengah citra stereo atau memotong satu pita frekuensi, dan keduanya menghancurkan sisa musiknya. Alat modern melakukan sesuatu yang berbeda. Panduan ini menjelaskan apa itu, tanpa persamaan.
Lagu adalah sebuah gambar
Audio adalah gelombang: tekanan udara yang naik turun ribuan kali per detik. Itu sulit dinalar oleh komputer, sehingga langkah pertama di hampir setiap sistem pemisahan adalah mengubah bunyi menjadi gambar yang disebut spektrogram. Waktu berjalan dari kiri ke kanan, nada dari bawah ke atas, dan kecerahan menunjukkan seberapa banyak energi pada tiap nada di tiap momen.
Dalam gambar itu, suara tampak seperti sekumpulan garis horizontal bergelombang: nada dasar dan nada-nada atasnya, meluncur saat penyanyi berpindah antar nada. Kick drum adalah coretan vertikal pendek di bagian bawah. Hi-hat adalah kabut halus di bagian atas. Akor piano adalah tumpukan garis lurus yang mulai bersamaan lalu memudar. Instrumen-instrumen itu bertumpang tindih, tetapi mereka punya bentuk, dan bentuk adalah sesuatu yang bisa dipelajari jaringan saraf untuk dikenali.
Model melukis sebuah mask
Diberi spektrogram lagu yang sudah di-mix, tugas jaringan adalah mengeluarkan gambar kedua berukuran sama, yang disebut mask, di mana tiap piksel menyatakan seberapa banyak energi pada waktu dan nada itu milik suara. Kalikan gambar asli dengan mask dan Anda mendapat spektrogram suara; kalikan dengan kebalikannya dan Anda mendapat semua yang lain. Ubah gambar-gambar itu kembali menjadi gelombang dan Anda punya dua file audio.
Pemisah stem melakukan hal yang sama beberapa kali, menghasilkan satu mask masing-masing untuk vokal, drum, bass, piano, dan "lainnya".
Model yang lebih baru menambahkan sudut pandang kedua: di samping spektrogram, mereka juga melihat gelombang mentah secara langsung, yang membantu pada transien tajam seperti pukulan drum yang menjadi kabur di spektrogram. Beberapa mesin yang Anda lihat di berbagai alat, seperti MDX-Net dan Demucs, berbeda terutama dalam cara menggabungkan kedua sudut pandang ini dan dalam ukurannya.
Bagaimana ia belajar seperti apa rupa suara
Tidak ada yang memprogram aturan seperti "suara punya nada atas dengan jarak seperti ini". Jaringan dilatih pada ribuan lagu yang trek-trek terpisahnya tersedia: mix di satu sisi, vokal, drum, bass, dan stem lain yang terisolasi di sisi lain. Untuk tiap lagu ia menebak sebuah mask, membandingkan tebakannya dengan stem terisolasi yang asli, dan sedikit menyesuaikan jutaan angka internal agar lebih baik di lain waktu. Ulangi selama berminggu-minggu di perangkat keras yang kuat, dan hasilnya adalah model yang, secara efektif, telah mendengar lebih banyak sesi multitrack daripada teknisi audio manusia mana pun.
Set pelatihan itu juga menjadi sumber keterbatasannya. Model paling baik pada jenis musik yang paling banyak didengarnya, yaitu pop, rock, hip-hop, dan musik elektronik modern dengan produksi studio yang jelas.
Mengapa beberapa lagu terpisah bersih dan yang lain tidak
Reverb dan delay. Efek pada suara terbuat dari suara itu sendiri, yang dilunturkan dalam waktu dan bercampur dengan ruangan. Sebagian dari lunturan itu tampak seperti instrumen di bawahnya, sehingga model harus menebak di mana suara berakhir dan ruangan bermulai. Vokal kering terpisah bersih; reverb sebesar katedral meninggalkan bayangan.
Vokal ganda dan berlapis. Harmoni, dobel, dan refrein bertumpuk semuanya adalah "suara" bagi model dua stem, sehingga semuanya pergi bersama vokal utama. Jika Anda ingin mempertahankan harmoni, Anda perlu model yang dilatih khusus untuk menghilangkan vokal utama saja, dan itulah yang disebut model "karaoke".
Suara yang dipakai sebagai instrumen. Vocoder, talk-box, atau potongan vokal yang pitch-nya digeser jauh berbagi lebih banyak bentuk dengan synth daripada dengan penyanyi. Sebagian darinya akan tetap ada di instrumental.
Register yang bertumpang tindih. Gitar ritme berdistorsi dan suara perempuan yang belting tinggal di wilayah gambar yang sama. Di tempat keduanya bertemu, mask-nya adalah sebuah kompromi.
Sumber lo-fi. Stream 96 kbps atau transfer kaset lama sudah kehilangan detail halus yang dipakai model untuk membedakan sumber.
Apa yang benar-benar diubah oleh pengaturan "mesin" dan "kualitas"
Penghapus vokal biasanya menawarkan satu mesin standar dan satu atau dua mesin berkualitas lebih tinggi. Perbedaannya bukan filter; itu adalah model yang berbeda dan lebih besar, terkadang beberapa model yang keluarannya dirata-ratakan. Model yang lebih besar menebak piksel-piksel ambigu dengan lebih baik, yang tampak sebagai lebih sedikit bayangan vokal di instrumental dan lebih sedikit serpihan instrumen di akapela. Harganya adalah waktu: ansambel dua model besar bisa memakan waktu beberapa kali lebih lama daripada mesin standar.
Di Mazmazika mesin standar memberi hingga lima stem dengan cepat; model High Quality (Best Vocals, Best Instrumental, Karaoke) dan mesin Ultra, yang menjalankan dua model dan menggabungkan yang terbaik dari masing-masing, adalah opsi yang lebih besar, dan halaman alat mencantumkan mana yang termasuk dalam paket Anda. Bit rate keluaran juga naik dari 128 ke 320 kbps pada mesin-mesin itu, yang penting jika file akan diputar di sistem besar.
Mengapa dua stem lebih bersih daripada lima
Setiap stem tambahan adalah satu batas lagi yang harus digambar model. Model "suara atau bukan suara" menggambar satu batas, dan instrumental mempertahankan kepaduan mix aslinya. Model lima arah menggambar empat batas, dan kesalahan kecil di tiap batas menumpuk saat Anda memutar stem-stem itu bersama lagi. Itulah sebabnya panduan karaoke menyarankan dua stem meskipun lima tersedia.
Apa yang tidak bisa dilakukan model
Ia tidak bisa mengarang apa yang tidak pernah direkam. Jika napas penyanyi sepenuhnya menutupi nada piano yang pelan, nada itu hilang di instrumental. Ia tidak bisa memisahkan dua penyanyi dengan jangkauan yang sama yang bernyanyi unison menjadi dua orang. Dan ia tidak bisa menghapus hak cipta: stem yang terpisah tetap merupakan rekaman asli secara hukum, sehingga aturan tentang menerbitkan dan menampilkan tetap berlaku.
Ke mana arah teknologi ini
Model-model riset terus membesar dan kini dilatih dengan lebih banyak stem (gitar dan piano sebagai target terpisah, misalnya) dan pada lebih banyak genre. Jurang antara alat browser gratis dan workstation studio sebagian besar sudah tertutup untuk pemisahan dua stem; perbedaan yang tersisa ada pada kasus-kasus tepi, kecepatan, dan bagaimana alat itu memungkinkan Anda mengolah hasilnya setelah itu.
Coba dengan telinga Anda sendiri
Cara tercepat memahami semua ini adalah menjalankan lagu yang Anda kenal baik lewat penghapus vokal, membisukan stem vokal, dan mendengarkan refreinnya dengan headphone. Anda akan mendengar persis efek-efek yang dijelaskan di sini: bait yang bersih, bayangan samar di ekor reverb, dan refrein yang harmoninya pergi bersama vokal utama. Lalu baca penghapus vokal vs pemisah stem untuk memutuskan mode mana yang cocok untuk proyek Anda berikutnya.