Fügen Sie einen Song in einen Vocal Remover ein, warten Sie eine Minute, und der Sänger ist verschwunden. Es fühlt sich an wie ein Trick, und lange Zeit war es einer: Die alten Methoden löschten entweder die Mitte des Stereobilds aus oder schnitten ein Frequenzband heraus, und beides ruinierte den Rest der Musik. Moderne Werkzeuge tun etwas anderes. Diese Anleitung erklärt was, ohne Gleichungen.
Ein Song ist ein Bild
Audio ist eine Welle: Luftdruck, der tausende Male pro Sekunde steigt und fällt. Damit kann ein Computer schlecht umgehen, deshalb besteht der erste Schritt fast jedes Trennungssystems darin, den Klang in ein Bild zu verwandeln, das Spektrogramm heißt. Die Zeit läuft von links nach rechts, die Tonhöhe von unten nach oben, und die Helligkeit zeigt, wie viel Energie in jedem Moment bei jeder Tonhöhe vorhanden ist.
In diesem Bild sieht eine Stimme aus wie ein Bündel gewellter waagerechter Linien: ein Grundton und seine Obertöne, die gleiten, wenn der Sänger zwischen Noten wechselt. Eine Kick-Drum ist ein kurzer senkrechter Wischer ganz unten. Eine Hi-Hat ist ein feiner Nebel ganz oben. Ein Klavierakkord ist ein Stapel gerader Linien, die gemeinsam beginnen und ausklingen. Die Instrumente überlappen sich, aber sie haben Formen, und Formen kann ein neuronales Netz lernen zu erkennen.
Das Modell malt eine Maske
Aus dem Spektrogramm eines gemischten Songs soll das Netz ein zweites, gleich großes Bild erzeugen, die Maske, in der jeder Pixel angibt, wie viel der Energie an dieser Zeit- und Tonhöhenposition zur Stimme gehört. Multipliziert man das Originalbild mit der Maske, erhält man das Spektrogramm der Stimme; multipliziert man mit dem Gegenstück, erhält man alles andere. Wandelt man diese Bilder zurück in Wellen, hat man zwei Audiodateien.
Ein Stem-Splitter macht dasselbe mehrfach hintereinander und erzeugt je eine Maske für Gesang, Drums, Bass, Klavier und „Sonstiges“.
Neuere Modelle fügen eine zweite Perspektive hinzu: Neben dem Spektrogramm betrachten sie auch die rohe Welle direkt, was bei scharfen Transienten wie Drum-Schlägen hilft, die im Spektrogramm verschwimmen. Einige der Engines, die Sie in Werkzeugen sehen, etwa MDX-Net und Demucs, unterscheiden sich vor allem darin, wie sie diese beiden Perspektiven kombinieren und wie groß sie sind.
Wie es gelernt hat, wie eine Stimme aussieht
Niemand hat Regeln programmiert wie „eine Stimme hat Obertöne in diesem Abstand“. Das Netz wurde mit tausenden Songs trainiert, bei denen die Einzelspuren verfügbar waren: auf der einen Seite der Mix, auf der anderen die isolierten Vocals, Drums, Bässe und weiteren Stems. Für jeden Song riet es eine Maske, verglich seine Vermutung mit den echten isolierten Stems und justierte Millionen interner Zahlen ein wenig, um es beim nächsten Mal besser zu machen. Wiederholt man das wochenlang auf leistungsstarker Hardware, entsteht ein Modell, das im Grunde mehr Mehrspursessions gehört hat als jeder menschliche Tontechniker.
Dieser Trainingsdatensatz ist auch der Ursprung seiner Grenzen. Das Modell ist am besten bei der Musik, die es am häufigsten gehört hat, also modernem Pop, Rock, Hip-Hop und elektronischer Musik mit klarer Studioproduktion.
Warum sich manche Songs sauber trennen lassen und andere nicht
Hall und Delay. Die Effekte auf einer Stimme bestehen aus der Stimme selbst, zeitlich verschmiert und mit dem Raum vermischt. Ein Teil dieses Schleiers sieht aus wie die Instrumente darunter, sodass das Modell raten muss, wo die Stimme endet und der Raum beginnt. Trockene Vocals trennen sich sauber; Hall in Kathedralengröße hinterlässt einen Geist.
Gedoppelte und geschichtete Vocals. Harmonien, Dopplungen und gestapelte Refrains sind für ein Zwei-Stem-Modell alle „Stimme“, also verschwinden sie alle zusammen mit dem Lead. Wenn Sie die Harmonien behalten möchten, brauchen Sie ein Modell, das speziell darauf trainiert ist, nur den Lead zu entfernen – genau das ist ein „Karaoke“-Modell.
Stimmen als Instrumente. Ein Vocoder, eine Talkbox oder ein stark in der Tonhöhe verschobener Vocal-Chop hat mehr Ähnlichkeit mit einem Synth als mit einem Sänger. Ein Teil davon bleibt im Instrumental.
Überlappende Lagen. Eine verzerrte Rhythmusgitarre und eine kräftige Frauenstimme in Belt-Lage leben in derselben Region des Bildes. Wo sie zusammenfallen, ist die Maske ein Kompromiss.
Lo-Fi-Quellen. Ein Stream mit 96 kbps oder eine alte Kassettenüberspielung hat die feinen Details, mit denen das Modell Quellen unterscheidet, bereits verloren.
Was die Einstellungen „Engine“ und „Qualität“ wirklich verändern
Vocal Remover bieten meist eine Standard-Engine und ein oder zwei hochwertigere an. Der Unterschied ist kein Filter; es ist ein anderes, größeres Modell, manchmal mehrere Modelle, deren Ausgaben gemittelt werden. Ein größeres Modell rät bei den mehrdeutigen Pixeln besser, was sich in weniger Gesangsgeist im Instrumental und weniger Instrumentenfragmenten im Acapella zeigt. Der Preis ist Zeit: Ein Ensemble aus zwei großen Modellen kann ein Vielfaches der Standard-Engine brauchen.
Auf Mazmazika liefert die Standard-Engine schnell bis zu fünf Stems; die High Quality Modelle (Best Vocals, Best Instrumental, Karaoke) und die Ultra Engine, die zwei Modelle ausführt und das Beste aus beiden zusammenführt, sind die größeren Optionen, und die Tool-Seite listet auf, welche davon Ihr Plan enthält. Auf diesen Engines steigt auch die Ausgabe-Bitrate von 128 auf 320 kbps, was zählt, wenn die Datei auf einer großen Anlage gespielt wird.
Warum zwei Stems sauberer sind als fünf
Jeder zusätzliche Stem ist eine weitere Grenze, die das Modell ziehen muss. Ein „Stimme oder nicht Stimme“-Modell zieht eine Grenze, und das Instrumental behält den Zusammenhalt des Originalmixes. Ein Fünf-Wege-Modell zieht vier Grenzen, und kleine Fehler an jeder davon summieren sich, wenn Sie die Stems wieder zusammen abspielen. Deshalb empfiehlt die Karaoke-Anleitung zwei Stems, obwohl fünf verfügbar sind.
Was das Modell nicht kann
Es kann nicht erfinden, was nie aufgenommen wurde. Wenn der Atem des Sängers eine leise Klaviernote vollständig überdeckt hat, fehlt diese Note im Instrumental. Es kann zwei Sänger derselben Lage, die unisono singen, nicht in zwei Personen aufteilen. Und es kann das Urheberrecht nicht entfernen: Die getrennten Stems sind rechtlich gesehen weiterhin die Originalaufnahme, die Regeln für Veröffentlichung und Aufführung gelten also weiter.
Wohin sich die Technologie entwickelt
Forschungsmodelle werden immer größer und werden inzwischen mit mehr Stems (zum Beispiel Gitarre und Klavier als eigene Ziele) und mit mehr Genres trainiert. Die Lücke zwischen einem kostenlosen Browser-Werkzeug und einer Studio-Workstation hat sich bei der Zwei-Stem-Trennung weitgehend geschlossen; die verbleibenden Unterschiede liegen in Grenzfällen, in der Geschwindigkeit und darin, wie das Werkzeug Sie anschließend mit dem Ergebnis arbeiten lässt.
Prüfen Sie es mit Ihren eigenen Ohren
Der schnellste Weg, all das zu verstehen: Lassen Sie einen Song, den Sie gut kennen, durch den Vocal Remover laufen, schalten Sie den Gesangs-Stem stumm und hören Sie sich den Refrain mit Kopfhörern an. Sie werden genau die hier beschriebenen Effekte hören: eine saubere Strophe, einen leisen Geist in der Hallfahne und einen Refrain, in dem die Harmonien zusammen mit dem Lead verschwunden sind. Lesen Sie danach Vocal Remover vs. Stem-Splitter, um zu entscheiden, welcher Modus zu Ihrem nächsten Projekt passt.