Door AI gezongen Vietnamees: hoeveel woorden overleven?

Het zangmodel achter MuziAI ondersteunt officieel alleen Engels en Chinees. Wat gebeurt er dan als je het Vietnamees geeft, een taal met zes tonen die als diakritische tekens worden geschreven, waarin dezelfde letters met een ander teken een ander woord vormen? We maten hoeveel van de tekst een spraakherkenner kan terughoren en vergeleken dat met wat er was geschreven. Het antwoord: 78,6% tot 94,7% van de tekst komt terug met elk diakritisch teken correct, afhankelijk van het genre, tegenover 100% voor een Engels controlenummer. Wat verloren gaat, zijn meestal geen woorden maar tekens, en volgens ons meetlogboek is de belangrijkste fout een verschoven toon: haal de diakritische tekens weg en de cijfers stijgen naar 87,5% tot 98,4%.

Drie meetlatten sneuvelden voordat we een getal hadden dat we vertrouwden

We zaten er drie keer naast voordat we een bruikbare meting hadden. Elke keer zat de fout in de meetlat en niet in het nummer, en dat is het deel dat het meest de moeite waard is om te vertellen.

1. Een snelle spraakherkenner, beoordeeld op het foutpercentage per teken over het hele nummer. Tijdens instrumentale passages verzon hij een regel in het Vietnamees, in de stijl van een videokanaal: “abonneer je op ons kanaal, mis onze geweldige video's niet”, en die verzonnen tekst verving de echt gezongen woorden in plaats van er alleen bij te komen. Engels had er geen last van, dus de vergelijking was scheef: een foutpercentage van 0,012 voor Engels tegenover 0,32 tot 0,48 voor Vietnamees.
2. Het nummer in vensters van 12 seconden knippen zodat het makkelijker te verstaan is. Erger: bijna elk venster leverde de verzonnen regel op, ook in passages waar de tekst bij de herkenning van het hele nummer wel was verstaan.
3. Eerst de zang van de begeleiding scheiden en dan uitschrijven. Nog steeds verzonnen tekst, terwijl Engels nog steeds werkte. Toen was het duidelijk: het probleem was de snelle herkenner op Vietnamees, niet het zangmodel.

De les: een foutpercentage voor Vietnamees dat niet is gecontroleerd op gevallen met een bekend antwoord, is het citeren niet waard. Een tekstmeting die teksten hallucineert, straft juist de taal die hij het slechtst hoort onterecht af.

De meetlat die werkt: regeldekking, getest op bekende antwoorden

De uiteindelijke opzet gebruikt de grotere herkenner, zet zijn gewoonte uit om elke gok te baseren op de vorige zin (het mechanisme waarmee één verzonnen regel een hele reeks andere achter zich aan sleept), en voegt drempels toe die segmenten met weinig zekerheid weggooien. In plaats van een foutpercentage over het hele nummer meet hij regeldekking: zoek voor elke unieke tekstregel (labels van delen verwijderd, herhaalde regels één keer geteld) het best passende stuk van de transcriptie, tel welk deel van de lettergrepen van die regel op volgorde voorkomt, en neem dan het gemiddelde over de regels. Extra woorden worden niet bestraft, dus een verzonnen regel die erbij sluipt, trekt de score niet omlaag.

Elk nummer wordt twee keer beoordeeld: met diakritische tekens (elk teken moet kloppen) en zonder diakritische tekens (alle tekens weggehaald, alleen het letterskelet moet kloppen). Het verschil tussen de twee kolommen is het aandeel “juiste woordvorm, verkeerd teken”. Voordat we hem gebruikten, lieten we de meting los op vier gevallen met een bekend antwoord:

Het derde geval is het belangrijkste: een transcriptie die elk diakritisch teken kwijt is, scoort 0,19 met tekens maar 1,0 zonder. Met andere woorden: de meting kan “verkeerd woord” onderscheiden van “juist woord, verkeerd teken”.

Resultaten: pop, ballad, bolero en een Engelse controle

De ballad was het duidelijkst, de bolero het minst duidelijk. In alle drie ligt de kolom zonder tekens hoger dan de kolom met tekens: een flink deel van de woorden werd gezongen met de juiste vorm maar het verkeerde teken. De bolero had zowel het grootste verschil (0,089) als de laagste score zonder tekens (0,875), dus in dat nummer verschoof het model meer tekens én liet het meer woorden vallen. Waarom, hebben we niet gemeten. Verschoven tonen zijn belangrijk omdat ze de betekenis veranderen zonder de letters te veranderen: ma, má, mà, mả, mã en mạ zijn zes verschillende woorden.

Hetzelfde patroon in AI zingt op beat

De tool van de site om een tekst op een bestaande beat te zingen, draait op een ander zangsysteem en wordt beoordeeld met een herkenner die speciaal voor Vietnamees is gebouwd, dus de cijfers zijn niet direct vergelijkbaar met de tabel hierboven. Het patroon herhaalt zich wel:

Het popnummer haalt 1,000 zonder tekens: elk woord werd gezongen, en het enige verlies zat in de diakritische tekens. En bij de ballad geeft dezelfde meting de originele menselijke zang over die beat 0,979, dus zelfs een echte zanger haalt geen perfecte 1. Een deel van elke score is gewoon de grens van de luisteraar.

Grenzen en wat we nog niet weten

• De hoofdtabel bevat maar drie Vietnamese nummers (pop, ballad, bolero). Genoeg om het patroon te zien, niet genoeg om genres met zekerheid te rangschikken; we meten opnieuw naarmate de bibliotheek met nummers groeit.
• Het meet wat een machine hoort, niet wat een mens hoort. We hebben geen luistertest met echte mensen gedaan, dus we weten niet hoeveel verschoven tonen een menselijk oor uit de context herstelt.
• Extra woorden worden niet bestraft. Dat is een bewuste keuze om de meting ongevoelig te maken voor verzonnen regels, maar het betekent ook dat de meting het niet merkt als de zanger woorden toevoegt die niet in de tekst staan.
• De kolom zonder tekens haalt ook klinkertekens weg (ă, â, ê, ô, ơ, ư, đ), niet alleen toontekens. Het verschil tussen de kolommen is dus “verkeerd diakritisch teken” in het algemeen; we hebben nog geen kolom die alleen de toon isoleert.
• Een meetlat die bij de ene soort audio werkt, kan bij een andere falen. Dezelfde grotere herkenner verzon, luisterend naar zang die door de stemwisseltool van de site was gegaan, precies dezelfde regel over abonneren bij 3 van de 3 bestanden. Daar moesten we overstappen op een herkenner die specifiek voor Vietnamees is.

Zo schrijf je Vietnamese teksten die de zanger overleven

1. Kies het genre op basis van hoe belangrijk de woorden zijn. Draait het om de tekst (een opdracht, een verhalend lied, een jingle met een winkelnaam erin), dan hielden ballad (0,947) en pop (0,909) in onze tests de woorden beter vast dan bolero (0,786).
2. Eén volledige gezongen frase per regel, met labels voor de delen. Zet [Verse] en [Chorus] op een eigen regel en begin na elke frase een nieuwe regel. In de tool AI zingt op beat liet een tekst die als één massief blok was geplakt het systeem het hele nummer als één deel behandelen; de zang viel 16 seconden te laat in en klonk als spreken.
3. Controleer de woorden waarbij een andere toon de betekenis verandert, op de plekken die ertoe doen. De refreinregel, de naam van een persoon, de naam van een winkel: daar doet één verschoven toon het meeste pijn. Luister in het afgewerkte nummer precies naar die woorden.
4. Genereer een paar versies en houd de duidelijkste. Elke generatie is een nieuwe willekeurige trekking, dus het loont om het opnieuw te proberen voordat je de tekst herschrijft.
5. Beoordeel het resultaat niet met een gewone spraak-naar-tekst-app. Onze eerste drie meetlatten verzonnen allemaal teksten bij gezongen Vietnamees. Toont een transcriptie iets vreemds als “subscribe cho kênh…”, dan ligt de fout bij de transcriptie, niet bij het nummer.