Veranderen stijltags de stem van een AI-zanger? 14 getest

In het model dat op MuziAI je nummers zingt, zit geen lijst met zangers. De stem komt alleen uit een paar woorden in de stijlprompt, meestal “female vocal” of “male vocal”. Als je daar “husky”, “deep” of “kid singer” schrijft, verandert de stem dan echt? We testten 14 tagzinnen, elk twee keer gegenereerd, en maten de gescheiden zang. Het korte antwoord: tags kunnen helderheid, glans en ruwheid verschuiven, ze sturen de toonhoogte nauwelijks, en geen enkele tag die we probeerden, maakt een kinderstem. Van de 12 varianten naast de twee standaardtags werden er 8 stemtypes op de site en vielen er 4 af.

Het model heeft geen ingebouwde stemmen

Een verzoek aan het zangmodel bevat precies twee dingen: een tekstbeschrijving van de stijl en de songtekst. Er is geen zanger-ID en geen manier om een referentieopname mee te geven. De stem is wat het model uit de woorden leest. “Een stem kiezen” betekent dus eigenlijk “female vocal” of “male vocal” vervangen door een andere tagzin, en daarmee wordt de vraag meetbaar: welke zinnen veranderen de stem, en welke zijn alleen woorden?

De opzet: 14 tagzinnen (2 standaard plus 12 varianten), elk gegenereerd met twee seeds (11 en 22), dezelfde 8 regels tekst en dezelfde beschrijving van de begeleiding, “Pop ballad, piano, acoustic guitar, 84 BPM”, voor nummers van 40 tot 60 seconden. We haalden de zang eruit met onze zangscheider en maten vier dingen aan de geïsoleerde stem:

• Toonhoogte: mediaan, in Hz.
• HNR (dB): verhouding tussen harmonischen en ruis. Hoger betekent een schonere toon, lager betekent meer adem of rauwheid.
• Energie boven 4 kHz (dB): dichter bij nul is helderder, negatiever is donkerder.
• Jitter (%): hoeveel opeenvolgende trillingen van de stembanden in lengte verschillen. Hoger klinkt ruwer.

De regel om een tag te behouden: hij moet in dezelfde richting op beide seeds afwijken van de standaard. Elk behouden type is genoemd naar wat we hebben gemeten, niet naar de woorden in de tag.

De 14 tags, gemeten

Elke cel bevat twee getallen: seed 11 · seed 22.

Wat we niet hadden verwacht:

• De woorden kunnen de verkeerde kant op wijzen. “airy breathy whispery” leverde de donkerste, schoonste stem van de vrouwelijke set op (HNR 23,2 en 26,5 dB, op beide seeds boven de standaard), dus op de site heet hij “Zacht, fluwelig”. De mannelijke tag “soft gentle breathy” deed hetzelfde: donker, schoon, niet luchtig.
• De tag die echt adem toevoegt, is “soft sweet gentle”: HNR 2,3 en 2,1 dB onder de standaard, en helderder.
• “husky smoky” is echt hees: jitter 1,01% op beide seeds (standaard 0,84 en 0,66), en een HNR die op beide lager is dan de standaard.
• “powerful belting diva” heeft meer energie in de hoge frequenties dan de standaard (+4,1 en +0,7 dB) en haalde 526 Hz.
• De vier geschrapte tags faalden elk op een andere manier: “warm low alto” was niet lager dan de standaard en de HNR ging in tegengestelde richtingen; “deep low bass” deed hetzelfde als “warm baritone” zonder lager te gaan; “raspy gritty rough” was niet ruwer dan de standaard (jitter 0,74 en 0,61 tegenover 0,72); “powerful rock” ging op de ene seed de ene kant op en op de andere seed de andere.

Een stemtype is een categorie, geen zanger

We beoordeelden de gelijkenis tussen sprekers met een onafhankelijk model voor stemherkenning, door twee nummers te vergelijken die met hetzelfde type waren gegenereerd. De scores lagen tussen 0,49 en 0,82, ongeveer hetzelfde als twee nummers van verschillende types. Kies je twee keer Hees, dan krijg je twee verschillende hese zangers, niet één vertrouwde artiest. De site zegt dat ook duidelijk: elk nummer krijgt een nieuwe stem van het type dat je koos, dicht bij het voorbeeld maar niet identiek.

Tweede bevinding: tags sturen de toonhoogte niet betrouwbaar. Dezelfde sopraantag kwam op de ene seed uit op 266 Hz en op de andere op 351 Hz. De alttag, die lager zou moeten liggen, kwam uit op 294 en 329 Hz, niet lager dan de 291 en 294 van de standaard. Het zangbereik volgt de melodie die het model schrijft, niet de woorden. Alleen de mannelijke set viel netjes uiteen in hoog en laag: hoge tenor op 263 en 292 Hz, warme bariton op 163 en 205 Hz.

Kinderstemmen: vier tags, geen enkele werkte

Mensen willen vaak een kinderliedje dat door een kind wordt gezongen. We probeerden vier tagzinnen, elk met twee seeds, over een begeleiding voor kindermuziek, met dezelfde metingen plus de resonanties van de stem (formanten F2, F3 en F4, die een stem haar kleur geven), vergeleken met “female vocal”.

Echte kinderstemmen resoneren 15 tot 25% hoger dan stemmen van volwassen vrouwen. Hier bleven de verschuivingen binnen ongeveer ±6%, en de twee seeds waren het oneens over de richting. De gelijkenis met “female vocal” (0,66 tot 0,76) verschilde niet van de gelijkenis tussen twee generaties van hetzelfde type (0,59 tot 0,77). De toonhoogtes van 329 tot 393 Hz zien er veelbelovend uit, maar zoals de eerste tabel liet zien, volgt de toonhoogte de melodie en niet de tag. Conclusie: teksttags kunnen de stem niet in die van een kind veranderen, dus de site heeft geen stemtype voor kinderen. Ons sjabloon voor kinderliedjes gebruikt in plaats daarvan het genre Kinderliedjes met het stemtype Helder.

Grenzen en open vragen

• Kleine steekproef: twee seeds per type, 10 tot 30 seconden zang per nummer. Genoeg om een tag te schrappen die twee kanten op gaat, niet genoeg om te beloven dat een tag “altijd” op een bepaalde manier klinkt.
• De mannelijke kant is zwakker: op seed 11 zong de standaard “male vocal” nauwelijks (3,7 seconden), dus de mannelijke vergelijkingen rusten grotendeels op één seed.
• Eén begeleiding, één tekst: elk getal hier komt van een popballad op 84 BPM. Andere genres zijn niet opnieuw gemeten.
• Dit zijn akoestische metingen, geen smaak. “Schoner” betekent een hogere HNR, en dat is niet automatisch beter voor je nummer.

Hoe je dit gebruikt als je een nummer maakt

1. Luister voordat je kiest. Elk type heeft een voorbeeld van 12 seconden, geknipt uit de passage met de meeste zang in zijn eigen testnummer. Een voorbeeld afspelen selecteert het niet.
2. Kies op de gemeten eigenschap: voor een schone toon “Helder” of “Zacht, fluwelig”; voor adem en glans “Zoet, zacht”; voor rauwheid “Hees”; voor grote hoge noten “Krachtig”. Mannenstemmen: “Hoog, helder”, “Laag, warm”, “Zacht, rustig”.
3. Gebruik geen vrouwelijk stemtype om de toonsoort te bepalen. Wil je een hoger of lager nummer, dan is het stemtype geen betrouwbare knop.
4. Verwacht niet dezelfde zanger in verschillende nummers. Elk nummer is een nieuwe zanger binnen de categorie. Genereer een paar versies en houd je favoriet.
5. Voor een kinderliedje kies je het genre Kinderliedjes en het type Helder. “child vocal” in het stijlvak typen geeft je geen kind.
6. Schrijf je je eigen tags? Denk aan de vier die faalden: “raspy” maakte de stem niet ruwer en “alto” maakte hem niet lager.