Zingt AI echt op jouw akkoorden? We hebben het gemeten

Songwriters vragen het ons steeds weer: als ik al een akkoordenschema en bladmuziek heb, zingt de AI daar dan echt op, of ziet hij het als een losse hint en dwaalt hij af naar een ander nummer? We hebben gemeten in plaats van gegokt. De korte versie: ja, het model volgt de akkoorden en de structuur van de bladmuziek die je aanlevert. Met een Engelse tekst is de akkoordovereenkomst met het origineel 0,922; met een Vietnamese tekst 0,809; zonder bladmuziek 0,546. Wat we hebben gemeten is de harmonie, niet de gezongen melodie, en dit artikel benoemt dat verschil expliciet.

Hoe we hebben gemeten: 12 toonklassen, vensters van 2 seconden

Als je een nummer maakt op MuziAI, werkt het systeem normaal in twee fasen: een model schrijft bladmuziek in ABC-notatie (melodie, akkoorden, maatsoort), en daarna zet het zangmodel die om in audio. Bij een nummer van 4:14 kost de schrijffase ongeveer 40 seconden rekentijd en het zingen 179 seconden. Lever je je eigen bladmuziek aan, dan wordt de schrijffase overgeslagen. Om een bekend antwoord te hebben, namen we de bladmuziek van een bestaand nummer, lieten die opnieuw zingen met een nieuwe tekst, en vergeleken het resultaat met het originele nummer waar die bladmuziek vandaan kwam.

De meting draait op een CPU en gebruikt een chromaprofiel van 12 noten: het nummer wordt in vensters van 2 seconden geknipt, en in elk venster wordt alle energie teruggebracht naar de 12 toonklassen van een octaaf (C, Cis, D, tot en met B), in welk octaaf de noten ook klinken. Elke 2 seconden wordt zo een harmonische vingerafdruk. We vergelijken de vingerafdrukken van de twee nummers op dezelfde tijdstippen en nemen het gemiddelde over het hele nummer. Een score van 1 betekent identiek.

Een getal als 0,8 zegt niets zolang je niet weet waar “ongerelateerd” ligt. Daarom maten we een bodem: neem het origineel, verschuif het 8 seconden en vergelijk het met de onverschoven versie. Dezelfde akkoorden, dezelfde instrumenten, dezelfde stem, alleen verschoven in de tijd, en de score zakt naar 0,656.

De resultaten: vier getallen

Met een Engelse tekst scoort 86% van de vensters boven 0,8 en is het nummer over meer dan drie minuten maar 0,7 seconden korter dan het origineel: het model hield dezelfde delen met dezelfde lengtes aan. Zonder bladmuziek schrijft het een heel ander nummer: 0,546, onder de bodem van 0,656, en 161 seconden lang in plaats van 189. Een Vietnamese tekst komt ertussenin uit: 0,809 ligt duidelijk boven de bodem, maar slechts 52% van de vensters haalt 0,8.

Waarom het zelfs met bladmuziek nog afwijkt

Zelfs de beste run heeft 14% van de vensters onder 0,8. De eerste twee redenen worden door metingen gestaafd; de laatste twee zijn hypotheses.

• Timingfouten worden zwaar afgestraft. De meting vergelijkt vensters op precies dezelfde seconde, en de bodem van 0,656 laat zien dat een identiek nummer dat 8 seconden is opgeschoven al veel verliest. Een deel dat een paar tellen te lang of te kort wordt gezongen, trekt elk venster daarna omlaag.
• Elke generatie is een willekeurige trekking. De Vietnamese run gebruikte een andere seed dan de Engelse, dus 0,809 weerspiegelt twee veranderingen tegelijk. We hebben niet uitgesplitst hoeveel van de taal komt en hoeveel van de seed.
• De meting hoort de hele mix. Chroma omvat zang en instrumenten samen, dus een gezongen regel op andere noten kleurt de 12 toonklassen anders, zelfs over hetzelfde akkoord (hypothese).
• Een nieuwe tekst heeft andere regellengtes. De zanger moet regels binnen de maat oprekken of samenpersen, en in het Vietnamees draagt elke lettergreep bovendien een toon (hypothese, niet apart gemeten).

Grenzen en wat we nog niet weten

• De gezongen melodie is niet gemeten. Daarvoor moet je de stem scheiden en de toonhoogte volgen, en dat vraagt om een GPU. De pagina om nummers te maken belooft daarom alleen “akkoorden, toonsoort en tempo” te behouden, niet elke noot van de zang.
• De steekproef is klein. Alle vier getallen komen uit één partituur, één generatie per situatie. Ze laten de richting zien, maar kunnen je niet vertellen dat Vietnamees altijd 0,113 onder Engels uitkomt.
• De modus “Alleen de melodie” is niet met deze meting beoordeeld. De enige lagere referentie is 0,546, voor helemaal geen bladmuziek.
• Een hoge score is geen goed nummer. De meting zegt niets over arrangement, zangkwaliteit of hoe duidelijk de woorden doorkomen.

Geprobeerd en uitgezet: een akkoordenvak zoals “Am F C G”

Veel mensen hebben een akkoordenschema maar geen melodie. We bouwden een vak waarin je akkoorden typt; die werden omgezet in bladmuziek met alleen akkoorden en een zanglijn vol rusten. Resultaat: de akkoorden klopten (0,858), maar het nummer duurde 86 seconden in plaats van 189 en het model zong niet de hele tekst. Het vak staat uit. Een andere meting verklaart waarom: bij het bouwen van de instrumentale modus gaf bladmuziek met alleen labels voor de delen ruwweg een track van een minuut, of er nu 4 of 8 labels in stonden, terwijl opvulregels het model een echte melodie lieten schrijven en de track meegroeide met het aantal regels. Dus de lengte van een nummer wordt bepaald door melodische regels, niet door akkoorden. Om een akkoordenvak te laten werken, zou het model een melodie binnen het opgegeven schema moeten componeren, en dat is niet gebouwd.

Melodie plus akkoorden, of alleen de melodie?

In het blok “Bestaande bladmuziek” kies je wat je behoudt. Melodie en akkoorden geeft je bladmuziek onaangeroerd door, de situatie achter 0,922 en 0,809. Alleen de melodie laat de dienst elk akkoordsymbool verwijderen voor het zingen, omdat het zangmodel ze niet uit zichzelf negeert. In een echte end-to-endtest op de live site had de ingediende bladmuziek 68 akkoordsymbolen, de versie die het model gebruikte had er 0, en het nummer kwam uit op 210 seconden.

• Kies melodie en akkoorden als het akkoordenschema je belangrijkst is: de begeleiding is af, of je schrijft een nieuwe tekst voor een bestaand nummer.
• Kies alleen de melodie als je de melodie meer vertrouwt dan de akkoorden: een handmatige transcriptie met ongecontroleerde harmonie, akkoorden die niet volgens de standaard zijn genoteerd, of een melodie die je in een nieuwe stijl opnieuw wilt laten begeleiden.
• Gaat het je vooral om de originele akkoorden, kies dan niet voor alleen de melodie: daarvoor hebben we nog geen akkoordmeting.

Hoe je dit gebruikt als je een nummer maakt

1. Zorg voor bladmuziek. Elke pagina van een voorbeeldnummer heeft in het blok “Akkoorden en partituur” een knop “Nieuwe tekst op deze bladmuziek zingen”. Of open in de muziekgenerator het blok “Bestaande bladmuziek” en kies een van de 58 partituren van voorbeeldnummers (elk met een afspeelknop) of plak je eigen ABC.
2. Lees de samenvattingskaart voordat je genereert: toonsoort, BPM, maatsoort en akkoordenschema, bijvoorbeeld “F groot · 100 BPM · 4/4 · F C/E Dm7 Bb…”. Dat is wat het model gaat volgen, dus corrigeer daar wat niet klopt.
3. Met een Vietnamese tekst genereer je twee of drie versies en vergelijk je het begin van elk deel met het origineel: Vietnamees volgde de akkoorden minder nauw dan Engels (0,809 tegenover 0,922), en elke generatie is een nieuwe trekking.
4. Verwacht niet dat de zang de originele melodie noot voor noot overneemt. Dat deel is niet gemeten, dus beloven we het niet.
5. Heb je alleen akkoorden? Het akkoordenvak staat uit; het beste alternatief is een voorbeeldnummer te kiezen met een vergelijkbaar akkoordenschema en daar een nieuwe tekst op te schrijven.