Por que covers com IA soam ásperos e como medimos isso

Quando você transforma uma música na sua própria voz (um cover com IA), o resultado às vezes soa áspero, crepitante, picotado em pedacinhos. Perseguimos isso por muitas rodadas de testes e quebramos pelo menos nove das nossas próprias réguas de medição pelo caminho. A resposta curta: a crepitação que sobrevive a todas as correções mora na amostra de voz que você envia. O conversor copia a aspereza dela, filtrar não a remove, e uma amostra melhor é a única cura.

A primeira medição dizia “desafinado”, e estava errada

A cadeia tem três passos: um separador de voz tira o canto da mixagem, um conversor de voz aplica o timbre da sua amostra, e a voz nova volta por cima do acompanhamento original. A maior parte das medições abaixo foi feita com o conversor zero-shot anterior, que não precisava de treinamento; para a opção “Minha voz”, o site agora treina um pequeno modelo de voz temporário para cada tarefa e o apaga em até 24 horas.

A nossa primeira verificação foi a correlação de altura entre a voz original e a nova: 0,722, o que parece dizer que “a máquina canta notas erradas”. Olhando de perto, o desvio mediano era de 0,00 semitom, o MAD de 0,10, e 33 de 1.197 quadros (2,8%) tinham saltado exatamente uma oitava, um erro clássico do rastreador de altura, não um erro de canto. Tirando esses quadros, a correlação é 0,994. Desde então informamos a altura como desvio mediano, MAD e a parcela de quadros dentro de ±1 semitom (92,6% na primeira música de teste).

Lição dois: o conversor é aleatório. Os mesmos ajustes rodados cinco vezes oscilam numa faixa de 0,064, maior que a diferença de 0,046 entre as cinco vozes candidatas que estávamos comparando. Então toda comparação da qual tiramos conclusões agora roda pelo menos cinco vezes por variante. Os números com “σ” abaixo são diferenças em desvios-padrão.

Como o “áspero” aparece quando você mede

Dava para ouvir o picotado, mas três medidas anteriores diziam “nada de errado”: 0,0% dos quadros perdiam a voz, profundidade de amplitude de 3,17 dB (um cantor humano: 3,13), nenhum salto de altura. O som estava alto o bastante e afinado, mas os harmônicos tinham se desfeito em ruído. A periodicidade capta isso:

Parte disso é chiado: o gerador de forma de onda acrescenta de 5 a 7 dB acima de 8 kHz. Numa fonte cortada em 16 kHz, a faixa de 16 a 20 kHz da saída ficou em −23,2 dB, contra −38,7 de uma voz humana real: 100% inventado, e removível.

A crepitação, porém, ficou. A fonética mede uma voz áspera, arranhada, com jitter (o quanto ciclos consecutivos das pregas vocais diferem em duração) e shimmer (o quanto diferem em amplitude). O limiar de voz normal na ferramenta de análise que usamos é 1,04% de jitter. Nenhuma das nossas medidas anteriores enxergava isso.

Uma amostra áspera passa para o cover?

Primeiro dissemos que sim, depois voltamos atrás. Uma gravação de celular feita pelo próprio criador do site tinha 2,8 vezes a oscilação de envelope de uma amostra cantada limpa, mas com a música fixa e só a amostra trocada, a medida de envelope mostrou a saída só 10% pior. Essa medida acompanha a oscilação de volume, não a variação de ciclo a ciclo.

Medido com jitter, o quadro se inverteu: a amostra limpa deu uma saída de 0,92%, a amostra de celular 1,67% (+81%, 18,3σ). A amostra de celular em si tinha 2,27% de jitter e 11,0% de shimmer, embutidos na gravação (interpretação meio falada, finais de frase arranhados, microfone de celular). A compressão não tinha culpa: uma codificação em 30 kbps levou uma amostra limpa só de 1,03% para 1,10%. A separação (+4% de oscilação, 1,3σ) e o reverb (+5%, 2,3σ) também não. O conversor copia a qualidade vocal da amostra.

No mesmo dia, outras duas conclusões deram errado do mesmo jeito. Um ajuste de guidance foi para 0 em todas as amostras porque cortava 43% do chiado numa amostra limpa, mas ele aumentava o jitter em 15% (6,5σ). Um remendo de lacunas de altura foi rejeitado porque a medida de perda de voz o chamou de ruído, enquanto o jitter mostrava que ele ganhava por 3,7σ. A regra: uma medida feita para o problema A não tem direito de julgar uma correção para o problema B.

O que foi para o ar: montar uma amostra de 24 segundos com os pedaços de um segundo menos ásperos (saída de 1,718 → 1,580%, 3,6σ), remendar as lacunas de altura e usar guidance 0,7 para amostras de usuários. Uma execução completa com a amostra de celular foi de 1,50% para 1,26% de jitter, shimmer de 7,89 para 5,29, HNR de 17,8 para 19,4 dB, ao custo de uma etapa de conversão cerca de 50% mais lenta.

E aqui está o teto. Aquela amostra tinha só 29 segundos de canto e a cadeia precisa de 24, então o seletor só pôde descartar os 5 piores pedaços (2,14 → 1,96%). O melhor pedaço dela ainda media 1,37%, mais áspero que a mediana das vozes cantadas limpas (0,94%). A máquina não consegue inventar uma clareza que a amostra nunca teve. É por isso que o site agora mede a aspereza da amostra no envio e avisa a partir de 1,5%: a amostra de celular deu 2,13% por volta dos 11 segundos, enquanto uma amostra cantada limpa de 24 segundos deu 0,96% e não disparou nenhum aviso.

12 ou 24 segundos de amostra?

No começo o site cortava as amostras para 12 segundos porque amostras mais longas são mais lentas: na mesma música de 247 segundos, uma amostra de 20 segundos levou 253 segundos para converter, e uma cortada em 12 segundos levou 162 segundos (−36%). A ideia de que “uma amostra mais longa não fica mais parecida” foi deduzida da arquitetura e nunca medida. Então medimos, com cinco execuções por variante, avaliando a semelhança num trecho da voz do cantor que nenhuma amostra continha (0,750 significa não convertido, 0,866 é a mesma pessoa num trecho diferente):

Toda janela de 24 segundos venceu toda janela de 12 segundos em semelhança, e o ponto de início importa tanto quanto a duração. Na amostra de celular, passar de 12 para 24 segundos subiu a semelhança de 0,684 para 0,747 (6,8σ), enquanto a crepitação continuou igual. Uma amostra mais longa resolve o “soa como eu?”, não a crepitação. Uma heurística de pontuação de amostras que tínhamos criado ordenou as janelas de 24 segundos na ordem inversa dos resultados reais, então a jogamos fora.

Limites e perguntas em aberto

• O vietnamita sai cerca de três vezes pior que o inglês: 2,9% dos quadros perdem a voz contra 1,0% (faixa de ruído de 0,7 ponto percentual). As consoantes são trocadas: «Gà gáy vang trời» virou «cáo kẽ vang trời», «hỏi» virou «khỏi». Ainda não foi resolvido.
• Filtrar depois não ajuda: reduzir o ruído da saída piorou a planicidade, e a separação de karaokê mais a remoção de reverb cortaram a semelhança em 0,028. A aspereza está dentro dos harmônicos que a máquina gera, não por cima deles.
• A música de origem também importa: a saída é de 2 a 3,6 vezes mais suja que a fonte. Uma fonte com planicidade de 0,0047 sai em torno de 0,011; uma cópia já cortada em 16 kHz (0,0070) sai em torno de 0,025.
• O limiar de aviso de 1,5% se apoia em três pontos de dados (2,14%, 0,94 a 1,03%, 0,79%). O gravador do navegador desliga o cancelamento de eco, a supressão de ruído e o ganho automático, o que é prática padrão, mas não foi testado com um microfone real.
• O ajuste fino por voz desse conversor subiu uma pontuação de semelhança de 0,64 para 0,73 num teste, mas essa pontuação vinha do próprio codificador de voz do conversor, que favorece a própria saída. Uma verificação posterior com um modelo independente de comparação de vozes não mostrou ganho (0,647 nos dois casos). Desde então o site passou para outra abordagem por voz, então os números zero-shot deste artigo descrevem a cadeia anterior.

Como usar isto quando você faz um cover

1. Cante, não fale. Versos meio falados e finais de frase arranhados são copiados direto para a saída.
2. Grave de 20 a 40 segundos de canto de verdade num lugar silencioso. O site usa 24 segundos de canto; menos de 15 segundos dispara um aviso.
3. Fique de olho na caixa de aviso alguns segundos depois do envio. Com 1,5% ou mais, grave a amostra de novo.
4. Use um arquivo de música de alta qualidade. Uma cópia cortada em 16 kHz dá um acompanhamento cortado ali também; o site avisa quando a fonte fica abaixo de 17 kHz.
5. Escolha uma amostra perto da extensão da música. Baixar uma oitava (música feminina, amostra masculina), medido numa única execução, deu 1,28% de jitter contra 0,75% mantendo o tom, mas a semelhança com a amostra foi de 0,74 contra 0,52.
6. Para músicas em vietnamita, ouça de novo procurando consoantes trocadas, como h/kh e g/c.