Collez une chanson dans un extracteur de voix, attendez une minute, et le chanteur a disparu. Cela ressemble à un tour de magie, et pendant longtemps ce fut le cas : les anciennes méthodes annulaient le centre de l'image stéréo ou coupaient une bande de fréquences, et toutes deux saccageaient le reste de la musique. Les outils modernes font autre chose. Ce guide explique quoi, sans équations.
Une chanson est une image
L'audio est une onde : une pression de l'air qui monte et descend des milliers de fois par seconde. C'est peu commode à analyser pour un ordinateur, alors la première étape de presque tout système de séparation consiste à transformer le son en une image appelée spectrogramme. Le temps s'écoule de gauche à droite, la hauteur va de bas en haut, et la luminosité indique la quantité d'énergie présente à chaque hauteur, à chaque instant.
Dans cette image, une voix ressemble à un faisceau de lignes horizontales ondulées : une fréquence fondamentale et ses harmoniques, qui glissent quand le chanteur passe d'une note à l'autre. Une grosse caisse est une courte traînée verticale en bas. Une charleston est une fine brume en haut. Un accord de piano est une pile de lignes droites qui démarrent ensemble et s'estompent. Les instruments se chevauchent, mais ils ont des formes, et les formes, un réseau neuronal peut apprendre à les reconnaître.
Le modèle peint un masque
À partir du spectrogramme d'une chanson mixée, la tâche du réseau est de produire une seconde image de même taille, appelée masque, où chaque pixel indique quelle part de l'énergie à cet instant et à cette hauteur appartient à la voix. Multipliez l'image d'origine par le masque et vous obtenez le spectrogramme de la voix ; multipliez par son inverse et vous obtenez tout le reste. Reconvertissez ces images en ondes et vous avez deux fichiers audio.
Un séparateur de stems fait la même chose plusieurs fois de suite, produisant un masque chacun pour la voix, la batterie, la basse, le piano et « autres ».
Les modèles plus récents ajoutent un second point de vue : en plus du spectrogramme, ils examinent aussi directement l'onde brute, ce qui aide pour les transitoires nets comme les coups de batterie, qui se brouillent dans un spectrogramme. Certains des moteurs que vous voyez dans les outils, tels que MDX-Net et Demucs, diffèrent surtout par la manière dont ils combinent ces deux points de vue et par leur taille.
Comment il a appris à quoi ressemble une voix
Personne n'a programmé de règles du type « une voix a des harmoniques espacées ainsi ». Le réseau a été entraîné sur des milliers de chansons dont les pistes séparées étaient disponibles : le mixage d'un côté, les voix isolées, la batterie, la basse et les autres stems de l'autre. Pour chaque chanson, il a deviné un masque, comparé sa supposition aux vrais stems isolés et ajusté légèrement des millions de nombres internes pour faire mieux la fois suivante. Répétez cela pendant des semaines sur du matériel puissant et vous obtenez un modèle qui a, en somme, écouté plus de sessions multipistes que n'importe quel ingénieur du son humain.
Cet ensemble d'entraînement est aussi la source de ses limites. Le modèle excelle sur les genres qu'il a le plus entendus, à savoir la pop moderne, le rock, le hip-hop et la musique électronique à la production studio bien nette.
Pourquoi certaines chansons se séparent proprement et d'autres non
Réverbération et delay. Les effets appliqués à une voix sont faits de la voix elle-même, étalée dans le temps et mêlée à la pièce. Une partie de cet étalement ressemble aux instruments en dessous, si bien que le modèle doit deviner où finit la voix et où commence la pièce. Les voix sèches se séparent proprement ; les réverbérations de cathédrale laissent un fantôme.
Voix doublées et empilées. Harmonies, doublages et refrains empilés sont tous de la « voix » pour un modèle à deux stems, ils partent donc tous avec la voix principale. Pour conserver les harmonies, il faut un modèle entraîné spécifiquement à ne retirer que la voix principale : c'est ce qu'est un modèle « karaoké ».
Voix utilisées comme instruments. Un vocodeur, une talk-box ou un vocal chop fortement transposé partage davantage de formes avec un synthé qu'avec un chanteur. Une partie restera dans l'instrumental.
Registres qui se chevauchent. Une guitare rythmique saturée et une voix féminine poussée en belting occupent la même région de l'image. Là où elles coïncident, le masque est un compromis.
Sources lo-fi. Un flux à 96 kbps ou un vieux transfert de cassette a déjà perdu les détails fins dont le modèle se sert pour distinguer les sources.
Ce que changent vraiment les réglages « moteur » et « qualité »
Les extracteurs de voix proposent en général un moteur standard et un ou deux moteurs de qualité supérieure. La différence n'est pas un filtre ; c'est un modèle différent, plus grand, parfois plusieurs modèles dont les sorties sont moyennées. Un modèle plus grand devine mieux les pixels ambigus, ce qui se traduit par moins de fantôme vocal dans l'instrumental et moins de fragments d'instruments dans l'acapella. Le prix, c'est le temps : un ensemble de deux grands modèles peut prendre plusieurs fois plus longtemps que le moteur standard.
Sur Mazmazika, le moteur standard fournit rapidement jusqu'à cinq stems ; les modèles High Quality (Best Vocals, Best Instrumental, Karaoke) et le moteur Ultra, qui exécute deux modèles et fusionne le meilleur de chacun, sont les options plus grandes, et la page de l'outil indique lesquelles votre formule inclut. Le débit de sortie passe aussi de 128 à 320 kbps sur ces moteurs, ce qui compte si le fichier doit être joué sur un gros système.
Pourquoi deux stems sont plus propres que cinq
Chaque stem supplémentaire est une frontière de plus que le modèle doit tracer. Un modèle « voix ou pas voix » trace une frontière, et l'instrumental conserve la cohésion du mixage original. Un modèle à cinq voies trace quatre frontières, et les petites erreurs de chacune s'additionnent quand vous rejouez les stems ensemble. C'est pourquoi le guide karaoké recommande deux stems même si cinq sont disponibles.
Ce que le modèle ne peut pas faire
Il ne peut pas inventer ce qui n'a jamais été enregistré. Si le souffle du chanteur a complètement recouvert une note de piano discrète, cette note a disparu de l'instrumental. Il ne peut pas séparer en deux personnes deux chanteurs du même registre qui chantent à l'unisson. Et il ne peut pas retirer le droit d'auteur : les stems séparés restent, juridiquement, l'enregistrement original, donc les règles sur la publication et l'interprétation s'appliquent toujours.
Où va la technologie
Les modèles de recherche continuent de grandir et sont désormais entraînés avec davantage de stems (guitare et piano comme cibles distinctes, par exemple) et sur davantage de genres. L'écart entre un outil gratuit dans le navigateur et une station de travail de studio s'est presque refermé pour la séparation en deux stems ; les différences restantes concernent les cas limites, la vitesse et la façon dont l'outil vous laisse travailler le résultat ensuite.
Vérifiez avec vos propres oreilles
La façon la plus rapide de comprendre tout cela est de passer une chanson que vous connaissez bien dans l'extracteur de voix, de couper le stem de voix et d'écouter le refrain au casque. Vous entendrez exactement les effets décrits ici : un couplet propre, un léger fantôme dans la queue de réverbération et un refrain où les harmonies sont parties avec la voix principale. Lisez ensuite extracteur de voix ou séparateur de stems pour décider quel mode convient à votre prochain projet.