Plak een nummer in een vocalremover, wacht een minuut, en de zanger is weg. Het voelt als een truc, en lange tijd was het dat ook: de oude methoden cancelden het midden van het stereobeeld of sneden een frequentieband weg, en beide verwoestten de rest van de muziek. Moderne tools doen iets anders. Deze gids legt uit wat, zonder vergelijkingen.
Een nummer is een plaatje
Audio is een golf: luchtdruk die duizenden keren per seconde op en neer gaat. Daar kan een computer lastig over redeneren, dus de eerste stap in bijna elk scheidingssysteem is het geluid omzetten in een plaatje dat een spectrogram heet. De tijd loopt van links naar rechts, de toonhoogte van onder naar boven, en de helderheid laat zien hoeveel energie er op elk moment bij elke toonhoogte is.
In dat plaatje ziet een stem eruit als een set golvende horizontale lijnen: een grondtoon en zijn boventonen, die verschuiven wanneer de zanger van noot naar noot gaat. Een kickdrum is een korte verticale veeg onderin. Een hi-hat is een fijne nevel bovenin. Een pianoakkoord is een stapel rechte lijnen die samen beginnen en wegsterven. De instrumenten overlappen elkaar, maar ze hebben vormen, en vormen zijn iets wat een neuraal netwerk kan leren herkennen.
Het model schildert een masker
Krijgt het netwerk het spectrogram van een gemixt nummer, dan is zijn taak een tweede plaatje van dezelfde grootte uit te voeren, een masker, waarin elke pixel aangeeft hoeveel van de energie op dat moment en die toonhoogte bij de stem hoort. Vermenigvuldig het originele plaatje met het masker en je hebt het spectrogram van de stem; vermenigvuldig met het omgekeerde en je hebt al het andere. Zet die plaatjes weer om in golven en je hebt twee audiobestanden.
Een stemsplitter doet hetzelfde een aantal keer achter elkaar en maakt telkens één masker voor zang, drums, bas, piano en "overig".
Nieuwere modellen voegen een tweede blik toe: naast het spectrogram kijken ze ook rechtstreeks naar de ruwe golf, wat helpt bij scherpe transiënten zoals drumslagen, die in een spectrogram vervagen. Sommige engines die je in tools ziet, zoals MDX-Net en Demucs, verschillen vooral in hoe ze deze twee blikken combineren en hoe groot ze zijn.
Hoe het leerde hoe een stem eruitziet
Niemand heeft regels geprogrammeerd als "een stem heeft boventonen die zo van elkaar af liggen". Het netwerk is getraind op duizenden nummers waarvan de losse sporen beschikbaar waren: de mix aan de ene kant, de geïsoleerde zang, drums, bas en overige stems aan de andere. Voor elk nummer raadde het een masker, vergeleek het zijn gok met de echte geïsoleerde stems en paste het miljoenen interne getallen een klein beetje aan om het de volgende keer beter te doen. Herhaal dat wekenlang op krachtige hardware en het resultaat is een model dat in feite meer multitracksessies heeft gehoord dan welke menselijke engineer ook.
Die trainingsset is ook de bron van zijn beperkingen. Het model is het best op de soorten muziek die het het meest heeft gehoord, en dat zijn moderne pop, rock, hiphop en elektronische muziek met heldere studioproductie.
Waarom sommige nummers schoon scheiden en andere niet
Galm en delay. De effecten op een stem bestaan uit de stem zelf, uitgesmeerd in de tijd en vermengd met de ruimte. Een deel van die uitsmering lijkt op de instrumenten eronder, dus het model moet raden waar de stem eindigt en de ruimte begint. Droge zang scheidt schoon; galm ter grootte van een kathedraal laat een geest achter.
Gedubbelde en gelaagde zang. Harmonieën, dubbels en gestapelde refreinen zijn allemaal "stem" voor een tweestemsmodel, dus ze vertrekken allemaal samen met de lead. Wil je de harmonieën behouden, dan heb je een model nodig dat specifiek getraind is om alleen de lead te verwijderen, en dat is precies wat een "karaoke"-model is.
Stemmen als instrument gebruikt. Een vocoder, een talkbox of een zwaar in toonhoogte verschoven zangfragment heeft meer vorm gemeen met een synth dan met een zanger. Een deel ervan blijft in het instrumentaal.
Overlappende registers. Een vervormde slaggitaar en een krachtig gezongen vrouwenstem leven in hetzelfde gebied van het plaatje. Waar ze samenvallen, is het masker een compromis.
Lo-fi bronnen. Een stream van 96 kbps of een oude cassetteoverzetting heeft de fijne details die het model gebruikt om bronnen te onderscheiden al verloren.
Wat de instellingen "engine" en "kwaliteit" echt veranderen
Vocalremovers bieden meestal een standaardengine en een of twee van hogere kwaliteit. Het verschil is geen filter; het is een ander, groter model, soms meerdere modellen waarvan de uitvoer wordt gemiddeld. Een groter model gokt beter bij de dubbelzinnige pixels, wat zich uit in minder zanggeest in het instrumentaal en minder instrumentfragmenten in de acapella. De prijs is tijd: een ensemble van twee grote modellen kan meerdere keren langer duren dan het standaardmodel.
Op Mazmazika levert de standaardengine snel tot vijf stems; de High Quality-modellen (Best Vocals, Best Instrumental, Karaoke) en de Ultra-engine, die twee modellen draait en het beste van elk samenvoegt, zijn de grotere opties, en de toolpagina vermeldt welke daarvan in je plan zitten. De uitvoerbitrate stijgt op die engines ook van 128 naar 320 kbps, wat uitmaakt als het bestand op een groot systeem wordt afgespeeld.
Waarom twee stems schoner zijn dan vijf
Elke extra stem is een extra grens die het model moet trekken. Een "stem of geen stem"-model trekt één grens, en het instrumentaal behoudt de samenhang van de originele mix. Een vijfwegmodel trekt vier grenzen, en kleine fouten bij elk ervan tellen op wanneer je de stems weer samen afspeelt. Daarom beveelt de karaokegids twee stems aan, ook al zijn er vijf beschikbaar.
Wat het model niet kan
Het kan niet verzinnen wat nooit is opgenomen. Als de adem van de zanger een zachte pianonoot volledig bedekte, is die noot in het instrumentaal weg. Het kan twee zangers in hetzelfde register die unisono zingen niet in twee personen scheiden. En het kan geen auteursrecht verwijderen: de gescheiden stems zijn juridisch gezien nog altijd de originele opname, dus de regels over publiceren en uitvoeren blijven gelden.
Waar de technologie naartoe gaat
Onderzoeksmodellen worden steeds groter en worden nu getraind met meer stems (gitaar en piano als aparte doelen, bijvoorbeeld) en op meer genres. De kloof tussen een gratis browsertool en een studiowerkstation is voor tweestemsscheiding grotendeels gedicht; de resterende verschillen zitten in randgevallen, snelheid, en hoe de tool je daarna met het resultaat laat werken.
Probeer het met je eigen oren
De snelste manier om dit allemaal te begrijpen is een nummer dat je goed kent door de vocalremover te halen, de zangstem te muten en met een koptelefoon naar het refrein te luisteren. Je hoort precies de effecten die hier beschreven zijn: een schoon couplet, een vage geest in de galmstaart en een refrein waarin de harmonieën samen met de lead zijn vertrokken. Lees daarna vocalremover vs. stemsplitter om te bepalen welke modus bij je volgende project past.