Zang mixen in de browser: waar de doelwaarden vandaan komen

Een tool voor automatisch mixen moet antwoorden met getallen: hoe luid de stem tegenover de muziek staat, welke banden de EQ moet aanraken, of de toonhoogte op de noot moet worden getrokken. Waar moeten die doelwaarden vandaan komen? De korte versie: het doel van MuziAI voor zang tegenover muziek is gemeten op 144 opnames met echte losse sporen, waarin de mediane zang 2,2 LU onder de muziek ligt, en niet op nummers die de site zelf heeft gegenereerd. Onze testbank ving vier bugs waarbij de hoofdcijfers er volkomen redelijk uitzagen. En auto-tune, gemeten met twee onafhankelijke meters, kost echt iets aan helderheid van de stem, dus het staat standaard uit.

Waarom we de doelwaarden niet uit onze eigen nummers halen

De makkelijke weg zou zijn om de paren van beat en zang te meten die al op de server staan. Dat zijn er 57, maar elk ervan is een AI-nummer dat door de site is gegenereerd. Opnames die gebruikers uploaden om te scheiden, worden na 24 uur verwijderd, dus het aantal door mensen gemixte paren dat overblijft, is nul. Die 57 meten zou ons vertellen hoe de AI mixt, niet hoe mensen mixen.

Daarom gebruikten we een openbare dataset van multitrackopnames met gescheiden sporen: 144 nummers, elk een preview van 7 seconden, waarin zang en begeleiding echt apart opgenomen sporen zijn en niet de uitvoer van een scheider.

De doelwaarden, en welke de pagina gebruikt

Twee onafhankelijke meters zijn het eens (−2,2 en −2,25), dus de mediaan staat stevig. Maar die beschrijft een westerse dataset die vooral uit rock bestaat. De AI-nummers van de site zetten de zang 1,9 LU boven de muziek, en het ene echte Vietnamese nummer dat we maten, kwam uit op +2,3 LU. Daarom staat de pagina standaard op +2, met een schuifregelaar van ±4 en een markering bij −2,2 zodat je ziet waar de andere conventie ligt. De pagina zegt ook duidelijk dat ons Vietnamese voorbeeld één enkel nummer is.

De EQ volgt dezelfde gedachte. Per octaafband is het bereik q1-q3 over de 144 nummers 4-5 dB breed. De tool corrigeert alleen banden die buiten dat bereik vallen, en trekt ze alleen tot de rand, nooit tot de mediaan: elke stem naar de mediaan dwingen is kleuren, en dat wist uit wat een stem uniek maakt. Galm wordt afgesteld tot de verhouding side tot mid −11,8 dB bereikt. In de modus met alleen een beat doet de tool bewust geen automatische EQ, omdat beats per genre verschillen. Wil je de klank van een beat vormen, geef dan een referentienummer op: het octaafspectrum wordt per ronde voor 70% afgestemd, in twee rondes, begrensd op ±4 dB, en de luidheid wordt niet gekopieerd (die blijft op −14 LUFS).

Vier bugs die de testbank ving, allemaal met plausibele cijfers

De meter voor luidheid en true peak van de tool komt bij 10 van de 10 bestanden overeen met een standaard referentietool, binnen 0,05. Een controle van 42 gevallen op 21 nummers met opzettelijk beschadigde zang slaagt voor 42/42. Toch ving de testbank voor de lancering vier bugs die niemand aan de hoofdtabel met resultaten had kunnen zien:

1. De limiter liet in de eerste 5 ms een piek door, op +15,3 dBFS. Het virtuele gebied voor de eerste sample werd als 1 behandeld, wat het voortschrijdend gemiddelde omhoogtrok. De masterlus bleef het plafond verlagen en daarna weer versterking toevoegen, en eindigde op −20 LUFS en +1,2 dBTP.
2. De compressor plette de zang met ongeveer 30 dB, waarna de make-up gain er +46 dB bij deed. In een opname met doorlopende achtergrondruis lag “ruisvloer + 12 dB” boven de zang zelf, dus geen enkel frame telde als stemhebbend en de drempel zakte naar −120. De uitvoer haalde nog steeds −14 LUFS met de juiste verhouding tussen zang en muziek. Alleen een controle die vroeg of de make-up gain ongeveer gelijk is aan de aangerichte schade, bracht het aan het licht. De drempel ligt nu nooit lager dan de piek min 10 dB.
3. De percentielfunctie sorteerde bij elke aanroep 10 miljoen getallen, en het octaafspectrum filterde het hele nummer vier keer. Met spaarzame percentielen, analyse op 10 segmenten van 3 seconden en één filterronde over het nummer daalde de verwerking van 30 seconden naar 9,5.
4. De klok gaf negatieve tijd terug (−50 seconden) op de testmachine. Hij gebruikt nu de monotone klok van de browser.

De les van bug 2: een testbank die alleen vraagt of de uitvoer de juiste luidheid heeft, laat een compressor door die de zang verwoest, omdat de masterfase het verbergt. Na de fixes wordt een nummer van vier minuten met achtergrondzang in 11,8 seconden in de browser verwerkt.

Auto-tune: twee meters en de echte prijs

De auto-tune van de tool volgt de toonhoogte in frames van 10 ms en schuift elke stemcyclus richting de doelnoot. De stand “Zacht” verschuift het midden van elke noot binnen ±70 ms en behoudt het vibrato; “sterk” dwingt elk frame. We maten het met onze eigen meter en met een onafhankelijke fonetiektool, op een synthetische stem met bekende antwoorden en op een echte stem die +30 cent was verschoven:

Auto-tune doet zijn werk: de echte stem gaat op de onafhankelijke meter van ongeveer 30 cent ernaast naar ongeveer 12. De laatste twee kolommen zijn de prijs. Jitter (variatie van cyclus tot cyclus in de lengte van elke trilling, hoorbaar als ruwheid) stijgt met ongeveer 0,2 procentpunt, en HNR (verhouding tussen harmonischen en ruis, hoger betekent schoner) daalt met 0,5 tot 0,8 dB. Daarom staat auto-tune standaard uit, en de pagina zegt waarom.

De testbank voor auto-tune ving nog twee bugs met één heel simpel geval: als er niets gecorrigeerd hoeft te worden, moet de uitvoer gelijk zijn aan de invoer. Synthesemarkeringen werden bij het binnengaan van een stemhebbend gebied niet aan analysemarkeringen verankerd, en de synthesestap gebruikte de geschatte toonhoogteperiode in plaats van de echte afstand tussen markeringen, waardoor fouten zich opstapelden en hele passages uit fase raakten. Voor de fix was de overeenkomst tussen uitvoer en invoer (SNR) maar −2,6 dB; erna 150 dB, een exacte overeenkomst. Elk geval voor toonhoogtenauwkeurigheid was vanaf het begin geslaagd; alleen het identiteitsgeval bracht deze bugs aan het licht.

Grenzen en open vragen

• Ons Vietnamese voorbeeld met losse sporen is één nummer (+2,3 LU). De standaard van +2 rust op dat nummer plus de AI-nummers van de site, niet op een grote meting.
• De dataset van 144 nummers bestaat uit previews van 7 seconden en is vooral rock. Het is een goede leidraad voor de balans tussen zang en muziek, geen vervanging voor elk genre.
• Auto-tune is getest op een synthetische stem en één echte stem; bij jouw stem kan de prijs anders uitvallen.
• In de T-Pain-modus wordt de nootnauwkeurigheid beoordeeld tegenover het gemeten ideale plafond (89%), en het product haalt 87%; er is geen met de hand gekozen drempel van 90%.
• AI-zang zit al zuiver (8-9 cent), dus auto-tune op Zacht verandert bij een AI-nummer nauwelijks iets.

Wat dit betekent als je een nummer maakt

1. Begin bij de standaard van +2. Voor een westerse pop- of rockbalans schuif je richting de markering bij −2,2; om dicht bij het echte Vietnamese nummer te blijven dat we maten (+2,3), houd je het rond +2.
2. Vergelijk voor en na op dezelfde luidheid van −14 LUFS. De luidere versie klinkt meestal “beter”, dus vergelijken op verschillende niveaus misleidt je.
3. Laat auto-tune uit bij door AI gegenereerde nummers. De zang zit al zuiver, en het aanzetten kost alleen helderheid.
4. Bij je eigen opname met problemen in de toonhoogte probeer je eerst de stand Zacht en luister je goed naar de lange noten. Hoor je ruwheid, dan is dat de jitterprijs die hierboven is gemeten.
5. Wil je dat een beat de kleur van een bepaald nummer krijgt, geef dat nummer dan als referentie in plaats van automatische EQ op de beat te verwachten.
6. Nog geen nummer om te mixen? Maak er een op de startpagina van MuziAI en neem daarna de zang en de beat mee naar de tool voor automatisch mixen.