A IA canta mesmo sobre os seus acordes? Nós medimos

Compositores vivem nos perguntando: se eu já tenho uma progressão de acordes e uma partitura, a IA vai cantar mesmo sobre ela, ou vai tratá-la como uma dica vaga e sair para uma música diferente? Medimos em vez de chutar. Resumo: sim, o modelo segue os acordes e a estrutura da partitura que você entrega. Com letra em inglês, a correspondência de acordes com o original é 0,922; com letra em vietnamita, 0,809; sem partitura nenhuma, 0,546. O que medimos é a harmonia, não a melodia cantada, e este artigo deixa essa lacuna bem clara.

Como medimos: 12 classes de altura, janelas de 2 segundos

Quando você cria uma música no MuziAI, o sistema normalmente trabalha em duas etapas: um modelo escreve uma partitura em notação ABC (melodia, acordes, compasso), depois o modelo de canto a transforma em áudio. Para uma música de 4:14, a etapa de escrita leva cerca de 40 segundos de máquina e o canto, 179 segundos. Se você fornecer a sua própria partitura, a etapa de escrita é pulada. Para ter uma resposta conhecida, pegamos a partitura de uma música existente, mandamos cantar de novo com uma letra nova e comparamos o resultado com a música original de onde veio essa partitura.

A métrica roda numa CPU e usa um perfil de croma de 12 notas: a música é cortada em janelas de 2 segundos e, em cada uma, toda a energia é dobrada sobre as 12 classes de altura de uma oitava (dó, dó sustenido, ré, até si), seja qual for a oitava em que as notas soam. Cada trecho de 2 segundos vira uma impressão digital harmônica. Comparamos as impressões das duas músicas nos mesmos instantes e tiramos a média ao longo da faixa. Uma pontuação de 1 significa que são idênticas.

Um número como 0,8 não quer dizer nada até você saber onde fica o patamar de “sem relação”. Por isso medimos um piso: pegamos o original, deslocamos 8 segundos e comparamos com a versão sem deslocamento. Mesmos acordes, mesmos instrumentos, mesma voz, só defasados no tempo, e a pontuação cai para 0,656.

Os resultados: quatro números

Com letra em inglês, 86% das janelas passam de 0,8 e a música fica só 0,7 segundo mais curta que o original em mais de três minutos: o modelo manteve as mesmas seções com as mesmas durações. Sem partitura, ele escreve outra música: 0,546, abaixo do piso de 0,656, e 161 segundos em vez de 189. A letra em vietnamita fica no meio: 0,809 está claramente acima do piso, mas só 52% das janelas passam de 0,8.

Por que ainda desvia mesmo com partitura

Até a melhor execução tem 14% das janelas abaixo de 0,8. Os dois primeiros motivos têm medições por trás; os dois últimos são hipóteses.

• Erros de tempo são punidos com força. A métrica compara janelas exatamente no mesmo segundo, e o piso de 0,656 mostra que uma música idêntica deslocada 8 segundos já perde muito. Uma seção cantada alguns tempos mais longa ou mais curta puxa para baixo todas as janelas seguintes.
• Cada geração é um sorteio. A execução em vietnamita usou uma semente diferente da execução em inglês, então 0,809 reflete duas mudanças ao mesmo tempo. Não separamos quanto vem do idioma e quanto vem da semente.
• A métrica ouve a mixagem inteira. O croma cobre voz e instrumentos juntos, então um verso cantado em notas diferentes colore as 12 classes de altura de outro jeito, mesmo sobre o mesmo acorde (hipótese).
• A letra nova tem versos de tamanhos diferentes. O cantor precisa esticar ou espremer os versos dentro do compasso, e em vietnamita cada sílaba ainda carrega um tom (hipótese, não medida separadamente).

Limites e o que ainda não sabemos

• A melodia vocal não foi medida. Isso exige separar a voz e acompanhar a altura dela, o que precisa de GPU. Por isso a página de criação só promete manter “acordes, tom e andamento”, não cada nota da voz.
• A amostra é pequena. Os quatro números vêm de uma partitura, com uma geração por caso. Eles mostram a direção, mas não dizem que o vietnamita sempre fica 0,113 abaixo do inglês.
• O modo “só a melodia” não foi avaliado com esta métrica. A única referência mais baixa é 0,546, o caso sem partitura nenhuma.
• Pontuação alta não é música boa. A métrica não diz nada sobre arranjo, qualidade vocal ou clareza das palavras.

Testado e desligado: uma caixa de acordes como “Am F C G”

Muita gente tem uma progressão, mas não tem melodia. Criamos uma caixa em que você digita os acordes, transformados numa partitura só com acordes e uma linha vocal feita de pausas. Resultado: os acordes estavam certos (0,858), mas a música durou 86 segundos em vez de 189 e o modelo não cantou a letra inteira. A caixa está desligada. Outra medição explica o porquê: ao construir o modo instrumental, uma partitura só com rótulos de seção deu uma faixa de mais ou menos um minuto, tivesse ela 4 ou 8 rótulos, enquanto versos de preenchimento fizeram o modelo escrever uma melodia de verdade e a faixa cresceu com o número de versos. Então a duração da música é guiada pelas linhas melódicas, não pelos acordes. Para uma caixa de acordes funcionar, o modelo teria de compor uma melodia dentro da progressão dada, e isso ainda não foi construído.

Melodia e acordes, ou só a melodia?

O cartão “Partitura pronta” deixa você escolher o que manter. Melodia e acordes passa a sua partitura sem mexer, o caso por trás de 0,922 e 0,809. Só a melodia faz o serviço tirar todos os símbolos de acorde antes de cantar, porque o modelo de canto não os ignora sozinho. Num teste real de ponta a ponta no site no ar, a partitura enviada tinha 68 símbolos de acorde, a que o modelo usou tinha 0, e a música saiu com 210 segundos.

• Escolha melodia e acordes quando a progressão é o que importa para você: o acompanhamento está pronto, ou você está escrevendo uma letra nova para uma música existente.
• Escolha só a melodia quando você confia mais na melodia que nos acordes: uma transcrição feita à mão com harmonia não conferida, acordes escritos fora do padrão, ou uma melodia que você quer reacompanhar num estilo novo.
• Se bater com os acordes originais é a prioridade, evite o modo “só a melodia”: ainda não temos medição de acordes para ele.

Como usar isto quando você cria uma música

1. Arranje uma partitura. Toda página de música de exemplo tem um botão “Cantar uma letra nova nesta partitura” no bloco “Cifras e partitura”. Ou, no gerador de músicas, abra o cartão “Partitura pronta” e escolha uma das 58 partituras de exemplo (cada uma com botão de ouvir) ou cole o seu próprio ABC.
2. Leia o cartão de resumo antes de gerar: tom, BPM, compasso e progressão, por exemplo “F maior · 100 BPM · 4/4 · F C/E Dm7 Bb…”. É isso que o modelo vai seguir, então corrija ali o que estiver errado.
3. Com letra em vietnamita, gere duas ou três versões e compare o começo de cada seção com o original: o vietnamita seguiu os acordes com menos fidelidade que o inglês (0,809 contra 0,922), e cada geração é um sorteio novo.
4. Não espere que a voz copie a melodia original nota por nota. Essa parte não foi medida, então não prometemos isso.
5. Só tem os acordes? A caixa de acordes está desligada; a opção mais próxima é escolher uma música de exemplo com progressão parecida e escrever uma letra nova sobre ela.