วางเพลงลงในโปรแกรมตัดเสียงร้อง รอสักนาที แล้วนักร้องก็หายไป มันดูเหมือนกลลวง และเป็นเวลานานที่มันก็เป็นกลลวงจริง ๆ: วิธีแบบเก่าถ้าไม่หักล้างตรงกลางของภาพสเตอริโอก็ตัดย่านความถี่ออกไปหนึ่งช่วง และทั้งสองวิธีทำลายดนตรีที่เหลือหมด เครื่องมือสมัยใหม่ทำสิ่งที่ต่างออกไป คู่มือนี้อธิบายว่าคืออะไร โดยไม่มีสมการ
เพลงคือภาพ
เสียงคือคลื่น: ความดันอากาศที่ขึ้นลงหลายพันครั้งต่อวินาที นั่นเป็นสิ่งที่คอมพิวเตอร์ใช้เหตุผลด้วยได้ยาก ดังนั้นขั้นแรกในระบบแยกเสียงเกือบทุกระบบคือการเปลี่ยนเสียงให้เป็นภาพที่เรียกว่าสเปกโตรแกรม เวลาวิ่งจากซ้ายไปขวา ระดับเสียงวิ่งจากล่างขึ้นบน และความสว่างแสดงว่ามีพลังงานมากแค่ไหนที่ระดับเสียงแต่ละระดับในแต่ละขณะ
ในภาพนั้น เสียงร้องดูเหมือนชุดเส้นแนวนอนหยักไปมา: ความถี่หลักและเสียงโอเวอร์โทนของมัน เลื่อนไปตามที่นักร้องเปลี่ยนโน้ต กลองคิกคือรอยเบลอแนวตั้งสั้น ๆ ที่ด้านล่าง ไฮแฮตคือละอองละเอียดที่ด้านบน คอร์ดเปียโนคือเส้นตรงที่ซ้อนเป็นชั้น เริ่มพร้อมกันแล้วค่อย ๆ จางไป เครื่องดนตรีซ้อนทับกัน แต่มันมีรูปทรง และรูปทรงคือสิ่งที่โครงข่ายประสาทเทียมเรียนรู้ที่จะจดจำได้
โมเดลวาดมาสก์
เมื่อได้รับสเปกโตรแกรมของเพลงที่มิกซ์แล้ว งานของโครงข่ายคือส่งออกภาพที่สองขนาดเท่ากัน ที่เรียกว่ามาสก์ ซึ่งแต่ละพิกเซลบอกว่าพลังงาน ณ เวลาและระดับเสียงนั้นเป็นของเสียงร้องมากแค่ไหน คูณภาพต้นฉบับด้วยมาสก์ คุณจะได้สเปกโตรแกรมของเสียงร้อง คูณด้วยส่วนกลับ คุณจะได้ทุกอย่างที่เหลือ แปลงภาพเหล่านั้นกลับเป็นคลื่น แล้วคุณก็มีไฟล์เสียงสองไฟล์
เครื่องมือแยกสเต็มทำแบบเดียวกันซ้ำหลายรอบ โดยสร้างมาสก์หนึ่งชิ้นสำหรับเสียงร้อง กลอง เบส เปียโน และ "อื่น ๆ" อย่างละหนึ่ง
โมเดลรุ่นใหม่เพิ่มมุมมองที่สอง: นอกจากสเปกโตรแกรมแล้ว มันยังดูคลื่นดิบโดยตรงด้วย ซึ่งช่วยเรื่องเสียงทรานเซียนต์ที่คมชัดอย่างเสียงตีกลองซึ่งมักเบลอในสเปกโตรแกรม เอนจินบางตัวที่คุณเห็นในเครื่องมือต่าง ๆ เช่น MDX-Net และ Demucs ต่างกันตรงวิธีที่มันรวมสองมุมมองนี้เข้าด้วยกันและขนาดของมันเป็นหลัก
มันเรียนรู้ได้อย่างไรว่าเสียงร้องหน้าตาเป็นแบบไหน
ไม่มีใครเขียนกฎอย่าง "เสียงร้องมีโอเวอร์โทนเว้นระยะแบบนี้" โครงข่ายถูกฝึกจากเพลงหลายพันเพลงที่มีแทร็กแยกให้ใช้: มิกซ์อยู่ด้านหนึ่ง เสียงร้อง กลอง เบส และสเต็มอื่น ๆ ที่แยกไว้แล้วอยู่อีกด้าน สำหรับแต่ละเพลง มันเดามาสก์ เปรียบเทียบคำเดากับสเต็มแยกของจริง แล้วปรับตัวเลขภายในหลายล้านตัวเล็กน้อยเพื่อทำให้ดีขึ้นในครั้งต่อไป ทำซ้ำเป็นสัปดาห์บนฮาร์ดแวร์ทรงพลัง ผลลัพธ์คือโมเดลที่ในทางปฏิบัติแล้วได้ฟังเซสชันมัลติแทร็กมามากกว่าซาวด์เอนจิเนียร์มนุษย์คนใด
ชุดข้อมูลฝึกนั้นก็เป็นที่มาของขีดจำกัดของมันด้วย โมเดลทำได้ดีที่สุดกับดนตรีประเภทที่มันได้ยินมากที่สุด ซึ่งก็คือป๊อป ร็อก ฮิปฮอป และดนตรีอิเล็กทรอนิกส์สมัยใหม่ที่มีการโปรดิวซ์ในสตูดิโออย่างชัดเจน
ทำไมบางเพลงแยกได้สะอาดแต่บางเพลงไม่
เสียงก้องและดีเลย์ เอฟเฟกต์บนเสียงร้องสร้างขึ้นจากเสียงร้องเอง ที่ถูกยืดออกไปในเวลาและผสมกับเสียงห้อง ส่วนหนึ่งของรอยเบลอนั้นดูเหมือนเครื่องดนตรีที่อยู่ข้างใต้ ดังนั้นโมเดลจึงต้องเดาว่าเสียงร้องจบตรงไหนและห้องเริ่มตรงไหน เสียงร้องแห้ง ๆ แยกได้สะอาด ส่วนเสียงก้องขนาดมหาวิหารจะทิ้งเงาไว้
เสียงร้องซ้อนและหลายชั้น เสียงประสาน เสียงดับเบิล และคอรัสที่ซ้อนกันหลายชั้นล้วนเป็น "เสียงร้อง" ในสายตาของโมเดลสองสเต็ม ดังนั้นมันจึงถูกดึงออกไปพร้อมเสียงนำทั้งหมด หากคุณต้องการเก็บเสียงประสานไว้ คุณต้องใช้โมเดลที่ฝึกมาโดยเฉพาะให้ตัดเฉพาะเสียงนำ ซึ่งก็คือโมเดลแบบ "คาราโอเกะ" นั่นเอง
เสียงร้องที่ใช้เป็นเครื่องดนตรี โวโคเดอร์ ทอล์กบ็อกซ์ หรือเสียงร้องที่ถูกสับและเลื่อนพิตช์อย่างหนักมีรูปทรงใกล้เคียงกับซินธ์มากกว่านักร้อง บางส่วนของมันจะยังค้างอยู่ในเสียงดนตรี
ย่านเสียงที่ซ้อนทับกัน กีตาร์ริทึมแตกกับเสียงร้องผู้หญิงแบบเบลต์อยู่ในบริเวณเดียวกันของภาพ ตรงที่มันเกิดขึ้นพร้อมกัน มาสก์จึงเป็นการประนีประนอม
ต้นฉบับคุณภาพต่ำ สตรีม 96 kbps หรือเทปคาสเซ็ตเก่าที่ถ่ายโอนมาได้สูญเสียรายละเอียดละเอียดอ่อนที่โมเดลใช้แยกแยะแหล่งเสียงไปแล้ว
การตั้งค่า "เอนจิน" และ "คุณภาพ" เปลี่ยนอะไรจริง ๆ
โปรแกรมตัดเสียงร้องมักมีเอนจินมาตรฐานหนึ่งตัวและเอนจินคุณภาพสูงกว่าอีกหนึ่งหรือสองตัว ความแตกต่างไม่ใช่ฟิลเตอร์ แต่เป็นโมเดลอีกตัวที่ใหญ่กว่า บางครั้งเป็นหลายโมเดลที่นำเอาต์พุตมาเฉลี่ยกัน โมเดลที่ใหญ่กว่าเดาพิกเซลที่กำกวมได้ดีกว่า ซึ่งปรากฏออกมาเป็นเงาของเสียงร้องในเสียงดนตรีที่น้อยลง และเศษเครื่องดนตรีในอะแคปเปลลาที่น้อยลง ราคาที่ต้องจ่ายคือเวลา: กลุ่มโมเดลใหญ่สองตัวอาจใช้เวลานานกว่าเอนจินมาตรฐานหลายเท่า
บน Mazmazika เอนจินมาตรฐานให้สเต็มได้สูงสุดห้าสเต็มอย่างรวดเร็ว ส่วนโมเดล High Quality (Best Vocals, Best Instrumental, Karaoke) และเอนจิน Ultra ที่รันสองโมเดลแล้วรวมส่วนที่ดีที่สุดของแต่ละตัวเข้าด้วยกัน คือตัวเลือกที่ใหญ่กว่า และหน้าเครื่องมือแสดงว่าแพ็กเกจของคุณรวมตัวใดบ้าง บิตเรตของเอาต์พุตก็เพิ่มจาก 128 เป็น 320 kbps บนเอนจินเหล่านั้นด้วย ซึ่งสำคัญหากไฟล์จะถูกเล่นบนระบบเสียงขนาดใหญ่
ทำไมสองสเต็มถึงสะอาดกว่าห้า
ทุกสเต็มที่เพิ่มขึ้นคือเส้นแบ่งอีกเส้นที่โมเดลต้องลาก โมเดล "เสียงร้องหรือไม่ใช่เสียงร้อง" ลากเส้นแบ่งเส้นเดียว และเสียงดนตรีจะยังคงความกลมกลืนของมิกซ์ต้นฉบับ โมเดลห้าทางลากเส้นแบ่งสี่เส้น และความผิดพลาดเล็ก ๆ ที่แต่ละเส้นจะรวมกันเมื่อคุณเล่นสเต็มทั้งหมดพร้อมกันอีกครั้ง นั่นคือเหตุผลที่ คู่มือคาราโอเกะ แนะนำสองสเต็มแม้จะมีห้าสเต็มให้เลือก
สิ่งที่โมเดลทำไม่ได้
มันไม่สามารถประดิษฐ์สิ่งที่ไม่เคยถูกบันทึกไว้ หากลมหายใจของนักร้องกลบโน้ตเปียโนเบา ๆ ไปทั้งหมด โน้ตนั้นก็หายไปจากเสียงดนตรี มันไม่สามารถแยกนักร้องสองคนที่มีช่วงเสียงเดียวกันร้องยูนิซันออกเป็นสองคนได้ และมันไม่สามารถลบลิขสิทธิ์ได้: สเต็มที่แยกออกมายังคงเป็นงานบันทึกเสียงต้นฉบับในทางกฎหมาย ดังนั้นกฎเกี่ยวกับการเผยแพร่และการแสดงยังคงใช้บังคับ
เทคโนโลยีนี้กำลังไปทางไหน
โมเดลวิจัยยังคงใหญ่ขึ้นเรื่อย ๆ และตอนนี้ถูกฝึกด้วยสเต็มมากขึ้น (เช่น กีตาร์และเปียโนเป็นเป้าหมายแยกกัน) และกับแนวดนตรีที่หลากหลายขึ้น ช่องว่างระหว่างเครื่องมือฟรีบนเบราว์เซอร์กับเวิร์กสเตชันในสตูดิโอปิดลงเกือบหมดแล้วสำหรับการแยกสองสเต็ม ความแตกต่างที่เหลืออยู่อยู่ในกรณีสุดขั้ว ความเร็ว และวิธีที่เครื่องมือให้คุณทำงานกับผลลัพธ์ต่อได้หลังจากนั้น
ลองด้วยหูของคุณเอง
วิธีที่เร็วที่สุดในการเข้าใจทั้งหมดนี้คือนำเพลงที่คุณรู้จักดีไปผ่าน โปรแกรมตัดเสียงร้อง ปิดเสียงสเต็มเสียงร้อง แล้วฟังช่วงคอรัสด้วยหูฟัง คุณจะได้ยินผลทุกอย่างที่อธิบายไว้ที่นี่: ท่อนเวิร์สที่สะอาด เงาจาง ๆ ในหางเสียงก้อง และคอรัสที่เสียงประสานหายไปพร้อมเสียงนำ จากนั้นอ่าน โปรแกรมตัดเสียงร้อง vs เครื่องมือแยกสเต็ม เพื่อตัดสินใจว่าโหมดไหนเหมาะกับโปรเจกต์ถัดไปของคุณ