Cover com IA usando a sua própria voz

Três etapas: separar, trocar o timbre, mixar de novo

Um cover com IA no MuziAI passa por três etapas seguidas. A etapa um divide a música em beat e voz com o separador de voz, o mesmo usado pela ferramenta para separar beat e voz. A etapa dois manda só a voz para o conversor de voz: afinação, tempo e fraseado continuam iguais, e só o timbre é trocado pelo timbre da sua amostra. A etapa três mixa a voz nova de volta no beat original e equilibra o volume da faixa inteira.

Por que não fazer a máquina cantar a música inteira do zero? Porque o beat é a primeira coisa que o ouvinte reconhece. Quando passamos o mesmo arquivo pelo separador de voz e pelo processo de cover, os dois beats saíram idênticos e com a mesma largura de banda do arquivo de origem, então a música não perde mais qualidade. A interpretação também continua sendo a do original: onde a voz cresce ou diminui e onde ela desliza entre as notas segue o cantor original. Na nossa primeira avaliação, a melodia da voz nova ficou a uma mediana de 0,00 semitons da original, com 92,6% dos quadros a menos de um semitom.

Depois da troca de voz vêm alguns passos de pós-processamento, e cada um só remove algo que o original não tem:

• Um gate guiado pela voz original: o conversor de voz nunca entrega silêncio de verdade, o ruído de fundo dele fica em torno de −48 dB. Onde o cantor original está em silêncio, a voz nova também é silenciada, o que baixa o fundo para −93,6 dB.
• Ajuste de envelope: o volume acompanha o do cantor original, o que reduz as pequenas falhas entre as palavras.
• Remoção de assobios em três bandas, de 2 a 4, de 4 a 8 e de 8 a 16 kHz, quando um quadro salta muito acima do nível habitual dele.
• Reverb estéreo: a voz convertida é mono, então adicionamos reverb e ajustamos até a largura dele igualar a da voz original.
• Masterização com base na música original: o equilíbrio tonal segue a faixa que você enviou (desvio caiu de 0,47 dB para 0,24 dB), no padrão de −14 LUFS.

O que faz uma boa amostra de voz

A sua amostra decide duas coisas diferentes: se o cover soa como você e se ele soa limpo. Cada uma depende de um fator diferente.

Duração: 24 segundos funcionam melhor que 12

O sistema usa cerca de 24 segundos de canto depois de tirar respirações e pausas. No começo usávamos só 12 segundos, achando que uma amostra mais longa não ficaria mais parecida. Quando medimos, com cinco execuções por variante, toda janela de 24 segundos soou mais parecida com o cantor do que toda janela de 12 segundos, em qualquer ponto da gravação. Uma amostra mais longa é mais estável porque faz a média entre os trechos bons e os mais fracos. Então grave de 20 a 40 segundos: o sistema precisa de uma sobra para escolher.

A posição importa tanto quanto a duração

Os mesmos 12 segundos tirados do começo ou do meio de uma gravação dão resultados bem diferentes: o ruído espectral na saída caiu para quase um terço quando o trecho certo foi usado. Por isso o sistema não corta simplesmente a primeira parte. Ele monta 24 segundos com os pedaços de um segundo menos ásperos da sua amostra, depois de cortar os silêncios com um limiar que se adapta ao ruído de fundo da gravação. Numa gravação de celular de 37,2 segundos, esse limiar removeu 5,6 segundos de pausas, enquanto um limiar fixo não removeu nenhuma.

Amostra áspera, cover áspero

O conversor de voz copia a qualidade vocal da amostra. Mesma música, só a amostra mudou: uma amostra cantada e limpa deu uma saída com 0,92% de aspereza, uma gravação de celular áspera deu 1,67%, ou seja, 81% pior. Uma amostra mais longa resolve a semelhança com você, mas não a textura arranhada. Só uma amostra mais limpa resolve isso.

É por isso que o sistema mede a aspereza da sua amostra logo no começo do processo, por volta dos 11 segundos, e mostra um aviso a partir de 1,5%. Esse limiar fica entre as vozes cantadas limpas que medimos (0,94 a 1,03%) e a primeira amostra áspera que encontramos (2,14%). A página também avisa quando a amostra tem menos de 15 segundos de canto, ou quase nenhum canto nítido. Na hora de gravar de novo: cante, não fale, mantenha a voz firme até o fim de cada frase e grave só a sua voz, sem música de fundo, num cômodo silencioso, com o celular a mais ou menos um palmo da boca.

Quanto tempo leva

Esses são tempos de processamento, sem contar a fila. A primeira vez demora mais porque o sistema aprende a sua voz durante essa execução; as seguintes reaproveitam esse modelo. Você pode fechar a aba, e a página de resultado se atualiza sozinha, etapa por etapa.

Trocar o idioma e escolher o gênero da voz de IA

Quando você tem uma música cantada em outro idioma, o sistema transcreve a letra original, traduz mantendo o mesmo número de versos e de sílabas, faz o modelo de canto cantar a letra nova na melodia antiga e depois coloca o resultado no beat original. Uma música de 189 segundos levou 580 segundos. Há oito idiomas de destino disponíveis; o japonês ainda não foi liberado porque a letra cantada continua difícil de entender.

Você escolhe Igual à do cantor original, Feminina ou Masculina. A escolha do gênero só muda o timbre; o modelo de canto continua cantando na altura da música original. Se a saída cair muito fora da extensão escolhida (voz masculina acima de 320 Hz, voz feminina abaixo de 244 Hz), a voz inteira é deslocada exatamente uma oitava para continuar em harmonia com o beat. O preço: uma voz masculina baixada uma oitava soa um pouco áspera. Para a voz mais limpa, escolha o mesmo gênero do cantor original.

Limitações

• O vietnamita fica mais fraco que o inglês. Medido no mesmo conversor de voz, a parcela de quadros que perdem o som foi de 2,9% no vietnamita e 1,0% no inglês. É uma limitação do modelo, não um problema do seu arquivo.
• As consoantes podem mudar. Nos nossos testes, «Gà gáy vang trời» virou «cáo kẽ vang trời», e «hỏi» virou «khỏi». A melodia se mantém, as consoantes nem sempre.
• Fontes de baixa qualidade. Arquivos comprimidos várias vezes costumam já vir cortados por volta de 16 kHz. A voz de saída costuma ter de 2 a 3,6 vezes mais ruído que a voz separada, então uma fonte suja arrasta o cover junto. A página de resultado avisa com clareza quando a fonte fica abaixo de 17 kHz.
• O ruído que sobra está dentro dos harmônicos. Não é uma camada por cima, mas parte dos harmônicos que o modelo gera, então reduzir ruído depois não resolve. Tentamos filtrar a saída de três jeitos diferentes, e nenhum ficou melhor.
• Extensões que não combinam. Uma música feminina aguda com uma amostra masculina: manter o tom força a sua voz para uma região feminina e ela soa mais como o cantor original; baixar uma oitava soa mais como você, mas mais embolado. É um limite físico, não de um modelo específico.
• O fraseado continua sendo o do cantor original. Glissandos, fraseado e respirações são mantidos; só a cor da voz muda.

Privacidade

A música e a amostra de voz são apagadas assim que o processo termina. O modelo de voz aprendido com a sua amostra fica guardado de forma privada por 24 horas depois do último uso, só para o próximo cover com a mesma amostra sair mais rápido, e então se apaga sozinho; ele nunca é usado para mais ninguém. O cover fica guardado por 24 horas, só quem tem o link consegue ouvir, e os arquivos de áudio ficam bloqueados para indexação em buscadores.

Quando não usar

• Você quer um cover com a voz de um cantor ou de outra pessoa: esta ferramenta só aceita a sua própria voz.
• Você quer que o cover soe como você cantando a música do seu jeito.
• Você só tem um arquivo de baixa qualidade, ou a música tem muitas harmonias ou um coral.
• Você precisa que cada consoante vietnamita seja pronunciada corretamente para um lançamento.
• Você só precisa do beat para karaokê: a ferramenta para separar beat e voz é bem mais rápida.
• Você quer uma música totalmente nova: crie uma com IA e volte aqui.

Perguntas frequentes

Posso gravar a amostra no celular?

Pode. O que você precisa evitar é a textura arranhada: falar em vez de cantar, deixar a voz cair no fim das frases, um cômodo barulhento. Se a página disser que a sua amostra está com 1,5% de aspereza ou mais, gravar de novo uma vez costuma valer mais do que qualquer outro ajuste.

Por que a primeira vez é mais lenta que as seguintes?

Na primeira vez o sistema aprende a sua voz a partir da amostra, então uma música de 4 minutos leva cerca de 10 minutos. Esse modelo fica guardado por 24 horas depois do último uso, então outro cover com a mesma amostra leva só cerca de 6 minutos.

Que arquivo devo usar e quais são os limites?

Use só gravações que sejam suas ou que você tenha direito de usar; o MuziAI não baixa músicas do YouTube nem de outra plataforma e não ajuda a copiar músicas protegidas por direitos autorais. Sobre qualidade: um arquivo comprimido várias vezes costuma vir cortado por volta de 16 kHz e soa abafado, porque o beat e a voz não podem ficar mais limpos que a fonte. Um MP3 original em 320 kbps, M4A, WAV ou FLAC dá um resultado claramente melhor.

Por que alguns versos soam embolados ou falham nas notas graves?

Normalmente o verso desce abaixo da extensão da sua amostra. O sistema encontra esses versos automaticamente, converte de novo uma oitava acima e os encaixa de volta no ponto sem voz mais próximo. Se a música inteira ainda soar embolada, rode de novo com Manter a tonalidade original.

Pesquisas relacionadas

• Por que covers com IA soam ásperos e como medimos isso
• Vietnamita cantado por IA: quantas palavras sobrevivem?