Επικολλήστε ένα τραγούδι σε ένα εργαλείο αφαίρεσης φωνητικών, περιμένετε ένα λεπτό, και ο τραγουδιστής έχει εξαφανιστεί. Μοιάζει με κόλπο, και για πολύ καιρό ήταν πράγματι: οι παλιές μέθοδοι είτε ακύρωναν το κέντρο της στερεοφωνικής εικόνας είτε έκοβαν μια ζώνη συχνοτήτων, και και οι δύο κατέστρεφαν την υπόλοιπη μουσική. Τα σύγχρονα εργαλεία κάνουν κάτι διαφορετικό. Αυτός ο οδηγός εξηγεί τι, χωρίς εξισώσεις.
Ένα τραγούδι είναι μια εικόνα
Ο ήχος είναι ένα κύμα: η πίεση του αέρα ανεβοκατεβαίνει χιλιάδες φορές το δευτερόλεπτο. Αυτό είναι δύσχρηστο για έναν υπολογιστή, οπότε το πρώτο βήμα σχεδόν σε κάθε σύστημα διαχωρισμού είναι να μετατρέψει τον ήχο σε μια εικόνα που λέγεται φασματόγραμμα. Ο χρόνος τρέχει από αριστερά προς τα δεξιά, το τονικό ύψος από κάτω προς τα πάνω, και η φωτεινότητα δείχνει πόση ενέργεια υπάρχει σε κάθε ύψος σε κάθε στιγμή.
Σε αυτή την εικόνα μια φωνή μοιάζει με ένα σύνολο κυματιστών οριζόντιων γραμμών: ένας θεμελιώδης τόνος και οι αρμονικές του, που γλιστρούν καθώς ο τραγουδιστής κινείται μεταξύ νοτών. Ένα κικ είναι μια σύντομη κάθετη κηλίδα στο κάτω μέρος. Ένα χάι-χατ είναι μια λεπτή ομίχλη στο επάνω. Μια συγχορδία πιάνου είναι μια στοίβα ευθειών γραμμών που ξεκινούν μαζί και σβήνουν. Τα όργανα επικαλύπτονται, αλλά έχουν σχήματα, και τα σχήματα είναι κάτι που ένα νευρωνικό δίκτυο μπορεί να μάθει να αναγνωρίζει.
Το μοντέλο ζωγραφίζει μια μάσκα
Με δεδομένο το φασματόγραμμα ενός μιξαρισμένου τραγουδιού, η δουλειά του δικτύου είναι να παράγει μια δεύτερη εικόνα ίδιου μεγέθους, τη μάσκα, όπου κάθε εικονοστοιχείο λέει πόση από την ενέργεια σε εκείνη τη στιγμή και εκείνο το ύψος ανήκει στη φωνή. Πολλαπλασιάστε την αρχική εικόνα με τη μάσκα και έχετε το φασματόγραμμα της φωνής· πολλαπλασιάστε με το αντίστροφό της και έχετε όλα τα υπόλοιπα. Μετατρέψτε αυτές τις εικόνες πίσω σε κύματα και έχετε δύο αρχεία ήχου.
Ένας διαχωριστής στεμ κάνει το ίδιο πράγμα αρκετές φορές, παράγοντας από μία μάσκα για φωνητικά, ντραμς, μπάσο, πιάνο και «άλλα».
Τα νεότερα μοντέλα προσθέτουν μια δεύτερη οπτική: παράλληλα με το φασματόγραμμα, κοιτάζουν και το ακατέργαστο κύμα απευθείας, κάτι που βοηθά με τους απότομους μεταβατικούς ήχους, όπως τα χτυπήματα ντραμς, που θολώνουν σε ένα φασματόγραμμα. Ορισμένες από τις μηχανές που βλέπετε στα εργαλεία, όπως οι MDX-Net και Demucs, διαφέρουν κυρίως στο πώς συνδυάζουν αυτές τις δύο οπτικές και στο πόσο μεγάλες είναι.
Πώς έμαθε πώς μοιάζει μια φωνή
Κανείς δεν προγραμμάτισε κανόνες όπως «μια φωνή έχει αρμονικές με τέτοια απόσταση». Το δίκτυο εκπαιδεύτηκε σε χιλιάδες τραγούδια για τα οποία ήταν διαθέσιμα τα ξεχωριστά κανάλια: η μίξη από τη μία πλευρά, τα απομονωμένα φωνητικά, ντραμς, μπάσο και τα άλλα στεμ από την άλλη. Για κάθε τραγούδι μάντεψε μια μάσκα, σύγκρινε την εικασία του με τα πραγματικά απομονωμένα στεμ, και προσάρμοσε ελαφρά εκατομμύρια εσωτερικούς αριθμούς για να τα πάει καλύτερα την επόμενη φορά. Επαναλάβετε για εβδομάδες σε ισχυρό υλικό, και το αποτέλεσμα είναι ένα μοντέλο που έχει, ουσιαστικά, ακούσει περισσότερες πολυκάναλες ηχογραφήσεις από οποιονδήποτε άνθρωπο ηχολήπτη.
Αυτό το σύνολο εκπαίδευσης είναι και η πηγή των ορίων του. Το μοντέλο είναι καλύτερο στα είδη μουσικής που άκουσε περισσότερο, δηλαδή σύγχρονο ποπ, ροκ, χιπ χοπ και ηλεκτρονική μουσική με καθαρή παραγωγή στούντιο.
Γιατί ορισμένα τραγούδια διαχωρίζονται καθαρά και άλλα όχι
Αντήχηση και καθυστέρηση. Τα εφέ πάνω σε μια φωνή είναι φτιαγμένα από τη φωνή, απλωμένη στον χρόνο και ανάμεικτη με τον χώρο. Ένα μέρος αυτού του απλώματος μοιάζει με τα όργανα από κάτω του, οπότε το μοντέλο πρέπει να μαντέψει πού τελειώνει η φωνή και πού αρχίζει ο χώρος. Τα ξερά φωνητικά διαχωρίζονται καθαρά· οι αντηχήσεις σε μέγεθος καθεδρικού αφήνουν φάντασμα.
Διπλασιασμένα και πολυεπίπεδα φωνητικά. Αρμονίες, διπλασιασμοί και στοιβαγμένα ρεφρέν είναι όλα «φωνή» για ένα μοντέλο δύο στεμ, οπότε φεύγουν όλα μαζί με τα κύρια φωνητικά. Αν θέλετε να κρατήσετε τις αρμονίες, χρειάζεστε ένα μοντέλο εκπαιδευμένο ειδικά να αφαιρεί μόνο την κύρια φωνή, που είναι ακριβώς ένα μοντέλο «καραόκε».
Φωνές που χρησιμοποιούνται ως όργανα. Ένα βοκόντερ, ένα τοκ-μποξ ή ένα έντονα μετατοπισμένο τονικά φωνητικό δείγμα έχει περισσότερα κοινά, ως σχήμα, με ένα συνθεσάιζερ παρά με έναν τραγουδιστή. Ένα μέρος του θα μείνει στο ορχηστρικό.
Επικαλυπτόμενες περιοχές. Μια παραμορφωμένη ρυθμική κιθάρα και μια δυνατή γυναικεία φωνή ζουν στην ίδια περιοχή της εικόνας. Όπου συμπίπτουν, η μάσκα είναι συμβιβασμός.
Πηγές χαμηλής ποιότητας. Μια ροή στα 96 kbps ή μια μεταγραφή από παλιά κασέτα έχει ήδη χάσει τη λεπτή λεπτομέρεια που χρησιμοποιεί το μοντέλο για να ξεχωρίσει τις πηγές.
Τι αλλάζουν πραγματικά οι ρυθμίσεις «μηχανή» και «ποιότητα»
Τα εργαλεία αφαίρεσης φωνητικών προσφέρουν συνήθως μια βασική μηχανή και μία ή δύο υψηλότερης ποιότητας. Η διαφορά δεν είναι ένα φίλτρο· είναι ένα διαφορετικό, μεγαλύτερο μοντέλο, μερικές φορές πολλά μοντέλα των οποίων οι έξοδοι εξάγονται κατά μέσο όρο. Ένα μεγαλύτερο μοντέλο κάνει καλύτερες εκτιμήσεις στα διφορούμενα εικονοστοιχεία, κάτι που φαίνεται ως λιγότερο φάντασμα φωνής στο ορχηστρικό και λιγότερα θραύσματα οργάνων στην ακαπέλα. Το κόστος είναι ο χρόνος: ένας συνδυασμός δύο μεγάλων μοντέλων μπορεί να χρειαστεί αρκετές φορές περισσότερο από τη βασική.
Στη Mazmazika η βασική μηχανή δίνει γρήγορα έως πέντε στεμ· τα μοντέλα High Quality (Best Vocals, Best Instrumental, Karaoke) και η μηχανή Ultra, που τρέχει δύο μοντέλα και συγχωνεύει το καλύτερο από το καθένα, είναι οι μεγαλύτερες επιλογές, και η σελίδα του εργαλείου αναγράφει ποιες από αυτές περιλαμβάνει το πλάνο σας. Σε αυτές τις μηχανές ο ρυθμός bit της εξόδου ανεβαίνει επίσης από 128 σε 320 kbps, κάτι που έχει σημασία αν το αρχείο θα παίξει σε μεγάλο ηχοσύστημα.
Γιατί τα δύο στεμ είναι καθαρότερα από τα πέντε
Κάθε επιπλέον στεμ είναι ένα ακόμη όριο που πρέπει να τραβήξει το μοντέλο. Ένα μοντέλο «φωνή ή όχι φωνή» τραβά ένα όριο, και το ορχηστρικό κρατά τη συνοχή της αρχικής μίξης. Ένα μοντέλο πέντε δρόμων τραβά τέσσερα όρια, και τα μικρά λάθη σε καθένα προστίθενται όταν παίζετε ξανά τα στεμ μαζί. Γι' αυτό ο οδηγός καραόκε συστήνει δύο στεμ, παρόλο που είναι διαθέσιμα πέντε.
Τι δεν μπορεί να κάνει το μοντέλο
Δεν μπορεί να επινοήσει ό,τι δεν ηχογραφήθηκε ποτέ. Αν η ανάσα του τραγουδιστή κάλυψε εντελώς μια ήσυχη νότα πιάνου, αυτή η νότα έχει χαθεί από το ορχηστρικό. Δεν μπορεί να χωρίσει δύο τραγουδιστές της ίδιας έκτασης που τραγουδούν σε ταυτοφωνία σε δύο πρόσωπα. Και δεν μπορεί να αφαιρέσει τα πνευματικά δικαιώματα: τα διαχωρισμένα στεμ παραμένουν, νομικά, η αρχική ηχογράφηση, οπότε οι κανόνες για τη δημοσίευση και την εκτέλεση εξακολουθούν να ισχύουν.
Πού πηγαίνει η τεχνολογία
Τα ερευνητικά μοντέλα συνεχίζουν να μεγαλώνουν και πλέον εκπαιδεύονται με περισσότερα στεμ (κιθάρα και πιάνο ως ξεχωριστούς στόχους, για παράδειγμα) και σε περισσότερα είδη. Η απόσταση ανάμεσα σε ένα δωρεάν εργαλείο στο πρόγραμμα περιήγησης και έναν σταθμό εργασίας στούντιο έχει σε μεγάλο βαθμό κλείσει για τον διαχωρισμό δύο στεμ· οι διαφορές που απομένουν βρίσκονται στις οριακές περιπτώσεις, στην ταχύτητα και στο πώς το εργαλείο σάς επιτρέπει να δουλέψετε με το αποτέλεσμα στη συνέχεια.
Δοκιμάστε το με τα δικά σας αυτιά
Ο ταχύτερος τρόπος να καταλάβετε όλα αυτά είναι να περάσετε ένα τραγούδι που ξέρετε καλά από το εργαλείο αφαίρεσης φωνητικών, να σιγάσετε το στεμ των φωνητικών και να ακούσετε το ρεφρέν με ακουστικά. Θα ακούσετε ακριβώς τα φαινόμενα που περιγράφονται εδώ: ένα καθαρό κουπλέ, ένα αχνό φάντασμα στην ουρά της αντήχησης και ένα ρεφρέν όπου οι αρμονίες έφυγαν μαζί με την κύρια φωνή. Έπειτα διαβάστε το αφαίρεση φωνητικών ή διαχωρισμός στεμ για να αποφασίσετε ποια λειτουργία ταιριάζει στο επόμενο έργο σας.