IA cantando no seu beat: por que pode soar como rap

Você envia um beat pronto, cola a sua letra, escolhe “balada” e recebe algo mais perto de um rap falado, com palavras que não parecem pertencer à música. Um usuário do MuziAI reclamou exatamente nesses termos: achou que tinha “ouvido errado, como se fosse rap”, a música e as palavras estavam “indo por caminhos separados”, a IA “inventou letra” e “não parava de uivar”. Medimos as três execuções dele antes de mudar qualquer coisa. Resposta curta: a voz nunca esteve fora do tom. O que ele ouviu foi uma entrada quatro compassos atrasada, uma interpretação mais perto da fala do que do canto e uma melodia que a ferramenta escreveu do zero. As duas primeiras coisas dá para corrigir em parte. A terceira, não.

A reclamação: três execuções, medidas antes de qualquer correção

Um usuário colou 48 versos de letra sobre um acompanhamento de 276,5 segundos em 60 BPM, cuja parte de voz principal entra em 32,5 segundos.

Na execução 1, quarenta e oito versos sem linhas em branco entre eles foram lidos como uma única estrofe: o modelo entrou exatamente quatro compassos atrasado e passou a música meio falando. As execuções 2 e 3 começaram na hora certa, mas tinham 11 segundos de “hoo hoo hoo”, que era uma seção feita só de cantarolado que o usuário tinha escrito na letra.

Conferimos o tom da voz em relação ao beat nas três execuções: as três estavam no tom. A sensação de “caminhos separados” vem de outro lugar. Um acompanhamento traz só a base, não uma melodia vocal, então a ferramenta compõe uma melodia totalmente nova para a letra. Quem conhece essas palavras com outra melodia ouve palavras conhecidas numa melodia desconhecida e atribui o desencontro a um “tom errado”. Nenhum algoritmo numa ferramenta de cantar no beat resolve isso, porque a melodia anterior não está na entrada.

Sustentação: um número que separa canto de fala

Para testar a reclamação de que “parece fala”, criamos uma medida: a parcela do tempo com voz que fica dentro de notas mantidas firmes por 0,6 segundo ou mais. Calibramos com vozes separadas de músicas completas do site, usando os 90 segundos do meio de cada uma:

A execução 1 marcou 0,139, em pleno território do rap. Uma “balada” com sustentação abaixo de 0,2 soa mesmo como rap, então a reclamação era uma descrição precisa, não implicância. Os 0,262 e 0,283 das execuções 2 e 3 estavam inflados pelos uivos; contando só as partes com letra, caem para 0,22 a 0,25, na borda de baixo da faixa da balada.

Como a ferramenta encontra o ponto de entrada, o tom e a estrutura

Onde a voz entra

Se o modelo cantar a partir do segundo 0, ele atropela a introdução em 79% das músicas, medido em 57 músicas com resposta conhecida (beats e vozes separadas do site). A nossa primeira regra, “entrar na maior mudança da música”, falhou como se podia prever: no beat de outro usuário ela escolheu 16,5 segundos, exatamente onde começa um riff instrumental alto. A regra atual acrescenta uma condição: nunca entrar onde a música fica mais alta. Ela olha as divisões de quatro compassos nos primeiros 40 segundos, descarta qualquer uma em que a música suba mais de 2 dB e então pega a maior mudança. Resultado: dentro de ±1 compasso em 64,9% das músicas, erro mediano de 0,5 compasso, e só 1,8% ainda cantando por cima da introdução. O beat daquele outro usuário agora recebe a entrada exatamente em 32,0 segundos.

Dá para mandar o modelo de canto gerar só dentro de uma janela, mas fora dela o modelo copia o beat inteiro para a faixa de voz. Por isso a ferramenta corta o beat no ponto de entrada, canta sobre o resto, recoloca a voz no segundo certo e a passa por um separador de voz para tirar o vazamento de bateria e guitarra.

Tom e estrutura da letra

O detector de tom antigo usava um método e acertava 40 de 48 músicas com tom conhecido. O novo deixa três métodos votarem e fica calado quando não há maioria, porque é melhor não dar dica nenhuma do que dar uma errada: 46/48. Um beat de exemplo antes era lido como dó sustenido menor; agora é si maior, com 3 de 3 votos.

A ferramenta também encontra blocos de versos que se repetem para dividir as seções e chama de refrão o bloco mais repetido. Em 300 músicas rotuladas, ela encontra uma estrutura em 96% das vezes, identifica os versos do refrão em 87% das vezes e evita chamar uma estrofe de refrão em 92% das vezes. Na letra desse usuário, ela reproduziu exatamente os rótulos que ele tinha feito à mão. Seções só de cantarolado viram pausas instrumentais. Cada take recebe uma pontuação (cerca de 15 segundos na CPU) e uma entrada atrasada dispara um novo take, no máximo duas vezes. Rodando de novo exatamente a entrada do usuário: atrasos de 1,1 s e 0,0 s, cobertura da letra de 0,906 e 0,921.

Um take longo ou um take por seção

O canto parecido com fala é mais difícil. Reescrever a descrição da voz não ajuda: com três descrições e três sementes cada, a padrão deu 0,203 / 0,150 / 0,200; “soft breathy”, 0,217 / 0,183 / 0,180; e “slow ballad, long sustained notes, legato”, 0,189 / 0,201 / 0,174. A alavanca de verdade é a duração de uma única geração: mesmo beat, mesma letra e mesma descrição, cantados num take de 244 segundos ou seção por seção, com cerca de 100 segundos cada:

Cantar seção por seção leva a balada da faixa do rap para a faixa da balada. O problema: duas seções geradas separadamente são dois cantores diferentes. Duas metades de um mesmo take marcam de 0,89 a 0,97 em semelhança de voz; as seções A e B geradas separadamente com a mesma semente marcam só 0,57, 0,68 e 0,84. Devolver o take da música inteira como referência de timbre mantém uma só voz (0,886, contra um limiar de 0,80), mas arrasta junto o estilo de canto daquele take: a sustentação só sobe de 0,181 para 0,202, em vez de chegar perto de 0,30. Como isso custa mais de cinco minutos extras por pedido, o passo está desligado.

Limites e perguntas em aberto

• Testado e removido no mesmo dia: cantar de novo, com outra semente, qualquer balada com sustentação abaixo de 0,2. Em 13 takes com 7 sementes, a sustentação caiu ao acaso entre 0,093 e 0,217, com cerca de cinco minutos extras por pedido. O novo take por entrada atrasada continua, porque as entradas atrasadas acompanham a semente (mais ou menos 1 take em 3).
• O detector de entrada acerta dentro de ±1 compasso em 64,9% das músicas, então erra por mais que isso em cerca de um terço.
• O detector de tom pode informar o tom relativo: um beat de exemplo foi lido como fá maior, enquanto a partitura dele diz ré menor (o andamento de 72 BPM estava exato).
• O canto parecido com fala em músicas longas ainda não tem correção no ar; usar como referência de timbre uma frase cantada sustentada já existente ainda não foi testado.
• A melodia original de uma música existente não pode ser recuperada de uma faixa de karaokê.

O que isso significa quando você cria uma música

1. Deixe uma linha em branco entre as seções, ou marque-as com [Verse] e [Chorus]. A letra colada como um bloco único causou a entrada 16,1 segundos atrasada.
2. Não escreva cantarolado na letra a não ser que queira ouvi-lo: uma seção só de cantarolado virou 11 segundos de uivo.
3. Confira o BPM e o tom que a ferramenta mostra na sua página de resultado. Um BPM claramente errado pode indicar que o beat muda de andamento ou abre com uma introdução em tempo livre.
4. Se você quer manter a melodia de uma gravação que tem direito de usar, use o Cover IA, não o “IA canta no beat”. O Cover IA escuta uma gravação que contém o cantor, então mantém a melodia e muda só a voz. O “IA canta no beat” é uma ferramenta de composição: ele dá uma melodia nova às suas palavras.
5. Se você precisa de uma balada sustentada e só vai usar uma seção, dê à ferramenta só a letra dessa seção: takes de cerca de 100 segundos sustentam claramente mais que takes de 244 segundos. Músicas novas começam na página inicial do MuziAI.