AI zingt op je beat: waarom het als rap kan klinken

Je uploadt een afgewerkte beat, plakt je tekst, kiest “ballad” en krijgt iets terug dat dichter bij gesproken rap ligt, met woorden die niet bij de muziek lijken te horen. Een gebruiker van MuziAI klaagde precies in die woorden: hij dacht dat hij het “per abuis voor rap had aangezien”, muziek en woorden “gingen elk hun eigen weg”, de AI “verzon tekst” en “bleef maar huilen”. We hebben alle drie zijn runs gemeten voordat we iets veranderden. Het korte antwoord: de zang zat nooit naast de toonsoort. Wat hij hoorde, was een inzet die vier maten te laat kwam, een voordracht die dichter bij praten dan bij zingen lag, en een melodie die de tool vanaf nul had geschreven. De eerste twee zijn deels op te lossen. De derde niet.

De klacht: drie runs, gemeten vóór elke aanpassing

Een gebruiker plakte 48 regels tekst over een begeleiding van 276,5 seconden op 60 BPM, waarin de leadzang op 32,5 seconden inzet.

In run 1 werden achtenveertig regels zonder witregels ertussen gelezen als één enkel couplet: het model viel precies vier maten te laat in en praatte zich er half doorheen. Runs 2 en 3 begonnen op tijd maar bevatten 11 seconden “hoe hoe hoe”, een deel dat alleen uit neuriën bestond en dat de gebruiker zelf in de tekst had gezet.

We controleerden in alle drie runs de toonsoort van de zang tegenover de beat: alle drie zaten in de toonsoort. Het gevoel dat muziek en woorden “elk hun eigen weg gaan”, komt ergens anders vandaan. Een begeleidingstrack bevat alleen de instrumenten, geen zangmelodie, dus de tool componeert een gloednieuwe melodie bij de tekst. Wie die woorden kent met een andere melodie, hoort bekende woorden op een onbekende melodie en schrijft het verschil toe aan een “verkeerde toonsoort”. Geen enkel algoritme in een tool om op een beat te zingen kan dit oplossen, want de eerdere melodie zit niet in de invoer.

Aanhouding: een getal dat zingen van praten onderscheidt

Om de klacht “het klinkt als praten” te toetsen, bouwden we een maatstaf: het aandeel van de stemhebbende tijd dat in noten valt die 0,6 seconden of langer stabiel worden aangehouden. We kalibreerden die op zang die was gescheiden uit complete nummers op de site, telkens de middelste 90 seconden:

Run 1 scoorde 0,139, midden in rapgebied. Een “ballad” met een aanhouding onder 0,2 klinkt echt als rap, dus de klacht was een nauwkeurige beschrijving en geen gezeur. De 0,262 en 0,283 van runs 2 en 3 werden opgeblazen door het huilen; tel je alleen de delen met tekst, dan zakken ze naar 0,22-0,25, aan de onderkant van het balladbereik.

Hoe de tool de inzet, de toonsoort en de structuur vindt

Waar de zang invalt

Laat je het model vanaf seconde 0 zingen, dan zingt het in 79% van de nummers over de intro heen, gemeten op 57 nummers met een bekend antwoord (beats en gescheiden zang van de site). Onze eerste regel, “val in bij de grootste verandering in de muziek”, faalde voorspelbaar: op de beat van een andere gebruiker koos hij 16,5 seconden, precies waar een luide instrumentale riff begint. De huidige regel voegt één voorwaarde toe: val nooit in waar de muziek luider wordt. Hij bekijkt de grenzen tussen blokken van vier maten in de eerste 40 seconden, laat de grenzen vallen waar de muziek met meer dan 2 dB stijgt, en neemt dan de grootste verandering. Resultaat: binnen ±1 maat bij 64,9% van de nummers, mediane fout 0,5 maat, en bij maar 1,8% wordt nog over de intro gezongen. De beat van die andere gebruiker krijgt zijn inzet nu op precies 32,0 seconden.

Je kunt het zangmodel opdragen alleen binnen een venster te genereren, maar daarbuiten kopieert het model de hele beat in het zangspoor. Daarom knipt de tool de beat af bij het inzetpunt, zingt over de rest, zet de zang terug op de juiste seconde en haalt die door een zangscheider om doorklank van drums en gitaar te verwijderen.

Toonsoort en structuur van de tekst

De oude toonsoortdetector gebruikte één methode en had 40 van de 48 nummers met een bekende toonsoort goed. De nieuwe laat drie methoden stemmen en zwijgt zonder meerderheid, want geen hint is beter dan een verkeerde: 46/48. Eén voorbeeldbeat werd vroeger gelezen als cis klein; nu is het B groot, 3 van de 3 stemmen.

De tool zoekt ook blokken herhaalde regels om delen te scheiden en noemt het vaakst herhaalde blok het refrein. Op 300 gelabelde nummers vindt hij in 96% van de gevallen een structuur, herkent hij refreinregels in 87% van de gevallen en ziet hij in 92% van de gevallen een couplet niet aan voor een refrein. Bij de tekst van deze gebruiker reproduceerde hij precies diens zelfgemaakte labels. Delen met alleen neuriën worden instrumentale onderbrekingen. Elke take krijgt een score (ongeveer 15 seconden op de CPU) en een late inzet leidt tot een nieuwe take, hooguit twee keer. Met precies de invoer van de gebruiker opnieuw gedraaid: late inzet van 1,1 s en 0,0 s, tekstdekking 0,906 en 0,921.

Eén lange take of één take per deel

Een voordracht die op spreken lijkt, is lastiger. De stembeschrijving herschrijven helpt niet: drie beschrijvingen, elk met drie seeds, gaven standaard 0,203, 0,150, 0,200; “soft breathy” 0,217, 0,183, 0,180; “slow ballad, long sustained notes, legato” 0,189, 0,201, 0,174. Wat echt verschil maakt, is de lengte van één generatie: dezelfde beat, tekst en beschrijving, gezongen als één take van 244 seconden of deel voor deel van elk ongeveer 100 seconden:

Deel voor deel zingen verplaatst de ballad van het rapbereik naar het balladbereik. Het addertje: twee apart gegenereerde delen zijn twee verschillende zangers. Twee helften van één take scoren 0,89-0,97 op stemgelijkenis; delen A en B die apart met dezelfde seed zijn gegenereerd, scoren maar 0,57, 0,68 en 0,84. De take van het hele nummer terugvoeren als referentie voor de klankkleur houdt één stem vast (0,886, tegenover een drempel van 0,80), maar sleept ook de zangstijl van die take mee: de aanhouding stijgt maar van 0,181 naar 0,202, in plaats van naar ongeveer 0,30. Omdat dat meer dan vijf extra minuten per taak kost, staat die stap uit.

Grenzen en open vragen

• Geprobeerd en dezelfde dag weer verwijderd: elke ballad met een aanhouding onder 0,2 opnieuw laten zingen met een andere seed. Over 13 takes met 7 seeds kwam de aanhouding willekeurig uit tussen 0,093 en 0,217, en dat kostte ongeveer vijf extra minuten per taak. De nieuwe take bij een late inzet blijft, omdat late inzetten de seed volgen (ruwweg 1 op de 3 takes).
• De inzetdetector zit bij 64,9% van de nummers binnen ±1 maat, dus bij ruwweg een derde zit hij er verder naast.
• De toonsoortdetector kan de parallelle toonsoort melden: één voorbeeldbeat kwam terug als F terwijl de partituur d klein zegt (het tempo van 72 BPM klopte precies).
• Voor een voordracht die op spreken lijkt bij lange nummers is nog geen live oplossing; een bestaande, aangehouden gezongen frase als referentie voor de klankkleur gebruiken is niet getest.
• De originele melodie van een bestaand nummer valt niet terug te halen uit een karaoketrack.

Wat dit betekent als je een nummer maakt

1. Laat een lege regel tussen de delen, of label ze met [Verse] en [Chorus]. Een tekst die als één blok was geplakt, veroorzaakte de inzet die 16,1 seconden te laat kwam.
2. Schrijf geen neuriën in de tekst tenzij je het wilt horen: een deel van alleen neuriën werd 11 seconden gehuil.
3. Controleer de BPM en toonsoort die de tool op je resultaatpagina meldt. Een duidelijk verkeerde BPM kan betekenen dat de beat van tempo wisselt of opent met een intro zonder vaste maat.
4. Wil je de melodie behouden van een opname waarop je de rechten hebt, gebruik dan AI-cover en niet AI zingt op beat. AI-cover luistert naar een opname waarin de zanger zit, dus behoudt het de melodie en verandert het alleen de stem. AI zingt op beat is een tool om liedjes te schrijven: het geeft je woorden een nieuwe melodie.
5. Wil je een ballad met lang aangehouden noten en gebruik je maar één deel, geef de tool dan alleen de tekst van dat deel: takes van ongeveer 100 seconden houden duidelijk meer aan dan takes van 244 seconden. Nieuwe nummers begin je op de startpagina van MuziAI.