Vietnamita cantado por IA: quantas palavras sobrevivem?

O modelo de canto por trás do MuziAI só suporta oficialmente inglês e chinês. Então o que acontece quando você entrega a ele o vietnamita, uma língua com seis tons escritos como diacríticos, em que as mesmas letras com outra marca formam outra palavra? Medimos quanto da letra um reconhecedor de fala consegue ouvir de volta e comparamos com o que foi escrito. A resposta: de 78,6% a 94,7% da letra volta com todos os diacríticos certos, conforme o gênero, contra 100% numa música de controle em inglês. A maior parte do que se perde não são palavras, e sim marcas, e segundo o nosso registro de medições o erro principal é um tom trocado: tire os diacríticos e os números sobem para 87,5% a 98,4%.

Três réguas quebraram antes de chegarmos a um número confiável

Erramos isto três vezes antes de termos uma medição utilizável. Em todas, a falha estava na régua, não na música, e essa é a parte que mais vale contar.

1. Um reconhecedor de fala rápido, avaliado pela taxa de erro de caracteres na música inteira. Nos trechos instrumentais ele inventava uma frase em vietnamita, no estilo de canal de vídeo, “inscreva-se no nosso canal, não perca nossos ótimos vídeos”, e esse texto inventado substituía as palavras realmente cantadas, em vez de só se somar a elas. O inglês não foi afetado, então a comparação estava viciada: taxa de erro de 0,012 no inglês contra 0,32 a 0,48 no vietnamita.
2. Cortar a música em janelas de 12 segundos para facilitar a escuta. Pior: quase toda janela produziu a frase inventada, inclusive trechos em que a passagem pela música inteira tinha reconhecido a letra.
3. Separar primeiro a voz do acompanhamento e depois transcrever. Ainda texto inventado, enquanto o inglês continuava funcionando. Nesse ponto ficou claro: o problema era o reconhecedor rápido no vietnamita, não o modelo de canto.

A lição: uma taxa de erro em vietnamita que não foi testada em casos com resposta conhecida não merece ser citada. Uma métrica de letra que alucina letras vai punir injustamente exatamente a língua que ela ouve pior.

A régua que funciona: cobertura por verso, testada em respostas conhecidas

A configuração final usa o reconhecedor maior, desliga o hábito dele de condicionar cada palpite à frase anterior (o mecanismo que deixa uma frase inventada arrastar uma corrente de outras atrás dela) e acrescenta limiares que descartam trechos de baixa confiança. Em vez de uma taxa de erro da música inteira, ela pontua a cobertura por verso: para cada verso distinto da letra (rótulos de seção removidos, versos repetidos contados uma vez), encontra o trecho da transcrição que melhor corresponde, conta que parcela das sílabas desse verso aparece em ordem e depois tira a média entre os versos. Palavras extras não são penalizadas, então uma frase inventada que entra no meio não puxa a pontuação para baixo.

Cada música é pontuada duas vezes: com diacríticos (toda marca tem de bater) e sem diacríticos (todas as marcas retiradas, só o esqueleto das letras precisa bater). A distância entre as duas colunas é a parcela de “forma certa da palavra, marca errada”. Antes de usar, rodamos a métrica em quatro casos com resposta conhecida:

O terceiro caso é o que importa: uma transcrição que perdeu todos os diacríticos marca 0,19 com marcas, mas 1,0 sem. Ou seja, a métrica consegue distinguir “palavra errada” de “palavra certa, marca errada”.

Resultados: pop, balada, bolero e um controle em inglês

A balada foi a mais clara, o bolero o menos claro. Nas três, a coluna sem marcas fica acima da coluna com marcas: uma parcela significativa das palavras foi cantada com a forma certa, mas a marca errada. O bolero teve ao mesmo tempo a maior diferença (0,089) e a menor pontuação sem marcas (0,875), então nessa música o modelo tanto errou mais marcas quanto engoliu mais palavras. Não medimos por quê. Os tons trocados importam porque mudam o sentido sem mudar as letras: ma, má, mà, mả, mã e mạ são seis palavras diferentes.

O mesmo padrão na ferramenta de cantar sobre um beat

A ferramenta do site para cantar uma letra sobre um beat existente roda num sistema de canto diferente e é avaliada com um reconhecedor feito especificamente para o vietnamita, então os números dela não são diretamente comparáveis com a tabela acima. O padrão, porém, se repete:

A faixa pop chega a 1,000 sem marcas: todas as palavras foram cantadas, e a única perda foram os diacríticos. E na balada, a mesma métrica dá 0,979 para a voz humana original sobre esse beat, então nem um cantor de verdade chega a 1 perfeito. Parte de cada pontuação é simplesmente o limite de quem ouve.

Limites e o que ainda não sabemos

• A tabela principal cobre só três músicas em vietnamita (pop, balada, bolero). O bastante para ver o padrão, não para ordenar gêneros com segurança; vamos medir de novo conforme a biblioteca de músicas crescer.
• Ela mede o que uma máquina ouve, não o que uma pessoa ouve. Não fizemos um teste de escuta com pessoas reais, então não sabemos quantos tons trocados um ouvido humano conserta pelo contexto.
• Palavras extras não são penalizadas. É uma escolha deliberada para deixar a métrica imune a frases inventadas, mas também significa que, se o cantor acrescentar palavras que não estão na letra, a métrica não vai perceber.
• A coluna sem marcas também tira as marcas das vogais (ă, â, ê, ô, ơ, ư, đ), não só as marcas de tom. A diferença entre as colunas é “diacrítico errado” em geral; ainda não temos uma coluna que isole só o tom.
• Uma régua que funciona num tipo de áudio pode falhar em outro. O mesmo reconhecedor maior, ouvindo vozes que tinham passado pela ferramenta de troca de voz do site, inventou exatamente a mesma frase de “inscreva-se” em 3 de 3 arquivos. Ali tivemos de trocar para um reconhecedor específico para o vietnamita.

Como escrever letras em vietnamita que sobrevivem ao cantor

1. Escolha o gênero pelo quanto as palavras importam. Se a letra é o ponto central (uma dedicatória, uma música que conta uma história, um jingle com o nome de uma loja), a balada (0,947) e o pop (0,909) preservaram as palavras melhor que o bolero (0,786) nos nossos testes.
2. Uma frase cantada completa por linha, com rótulos de seção. Coloque [Verse] e [Chorus] em linhas próprias e quebre a linha depois de cada frase. Na ferramenta de cantar sobre um beat, uma letra colada como um bloco único fez o sistema tratar a música inteira como uma seção só; a voz entrou 16 segundos atrasada e cantou como se estivesse falando.
3. Confira as palavras em que uma troca de tom inverte o sentido, nos lugares que importam. O verso do refrão, o nome de uma pessoa, o nome de uma loja são onde um tom trocado mais prejudica. Ouça exatamente essas palavras na música pronta.
4. Gere algumas versões e fique com a mais clara. Cada geração é um sorteio novo, então vale tentar de novo antes de reescrever a letra.
5. Não avalie o resultado com um aplicativo comum de fala para texto. As nossas três primeiras réguas inventaram letras no vietnamita cantado. Se uma transcrição mostrar algo estranho como “subscribe cho kênh…”, a culpa é do transcritor, não da música.