Separe a música da voz: extraia a batida e a vocalização separadamente

Como funciona o separador de voz

Você envia uma música, um servidor com GPU passa o separador de voz pela faixa inteira e você recebe dois arquivos MP3: o beat (tudo menos a voz) e a voz (só o canto). O separador analisa a música banda por banda de frequência, momento a momento, e decide qual energia pertence à voz humana e qual pertence aos instrumentos.

Um detalhe que quase ninguém nota: a voz separada mantém silêncio de verdade. Nas músicas que medimos, de 23 a 39% da duração da voz separada era silêncio total, exatamente onde o cantor faz pausa. Então, quando você remixa a voz separada, não arrasta uma camada de ruído de fundo pela música inteira.

Este também é o separador que o MuziAI usa na primeira etapa do Cover IA, por isso a qualidade do beat é a mesma nas duas ferramentas: o mesmo arquivo passado pelos dois caminhos dá beats idênticos.

Quanto tempo leva

A separação leva cerca de 60 a 75 segundos de processamento por música. Contando envio e download, a página estima de 1 a 2 minutos. Músicas mais longas demoram mais, como mostram estas medições:

Cada pessoa pode separar uma música por vez. Quando a GPU está ocupada com outros trabalhos, o pedido espera até haver memória suficiente para começar e, se falhar por falta de memória, tenta de novo sozinho, então às vezes há fila. Músicas criadas no MuziAI podem ser separadas direto na página da música, sem precisar enviar nada.

Qualidade da separação: os números medidos

Para saber se um separador funciona bem, você precisa de um caso com resposta conhecida. Misturamos uma voz limpa no beat real de uma música e depois pedimos ao separador para tirá-la de volta. A voz separada atingiu 19,9 dB de SDR em relação à voz limpa original. Em termos simples, o erro tem cerca de cem vezes menos energia que a voz real.

A outra direção também foi medida: quando o beat de uma música de teste foi separado de novo, a voz original que sobrou no beat ficou em apenas −70 LUFS, o que é praticamente inaudível.

Tentamos trocá-lo por um separador especializado em karaokê e por um separador combinado com remoção de reverb. Os dois deram uma voz mais suja (ruído espectral de 0,0085 contra 0,0070 do atual). Então o separador atual continua sendo a melhor opção entre tudo o que medimos.

Limitações: quando a separação não dá conta

• Harmonias densas e corais. Com muitas vozes empilhadas, a linha entre a voz principal e os vocais de apoio fica borrada; o beat pode guardar ecos das harmonias.
• Música eletrônica na mesma região da voz. Sintetizadores ou timbres principais bem na extensão vocal são facilmente colocados do lado errado, então você pode ouvir um leve vazamento.
• Arquivos com banda cortada. Muitos arquivos comprimidos várias vezes já chegaram até você cortados por volta de 16 kHz. O separador não consegue acrescentar o que a fonte não tem: um arquivo de teste deu um beat que chegava a 18,0 kHz, exatamente como a fonte; um arquivo muito comprimido deu um beat cortado em 16,0 kHz. Se o beat soa abafado, o motivo é o arquivo de origem.
• Regravado de caixas de som ou muito comprimido. O som da sala e os artefatos de compressão grudam tanto na voz quanto na música e não podem ser separados.
• Nenhuma separação é perfeita. Voz e música se sobrepõem na mesma faixa de frequência, então em alguns trechos o beat pode guardar um rastro da voz, ou a voz um rastro da música.

Dica: use um arquivo original de alta qualidade (MP3 em 320 kbps, M4A, WAV ou FLAC). Gravações acústicas com violão, piano e uma só voz costumam separar com mais limpeza.

O que fazer com o resultado

• Mixagem automática. Coloque o beat e uma gravação de voz na página de mixagem automática: ela filtra, aplica EQ, comprime, adiciona reverb, equilibra a voz com a música e masteriza em −14 LUFS. A referência de equilíbrio da voz vem de 144 músicas com faixas separadas reais. Tudo roda no seu navegador; uma música de 4 minutos leva cerca de 12 segundos e os seus arquivos nunca saem do seu aparelho.
• Mesa de mixagem. O botão «Abrir no mixer» já carrega o beat e a voz que você acabou de separar. Você ajusta volume, panorâmica, mudo e solo por faixa e exporta um WAV, também direto no navegador.
• Cante de novo. Use o beat para karaokê, ou leve a música para o Cover IA e ouça-a cantada com a sua própria voz sobre o beat original.
• Limpar uma faixa de voz com vazamento de música. O próprio MuziAI usa o separador assim: uma faixa de voz com vazamento de violão e bateria tinha uma pontuação de travamento no beat de 0,736 e, depois do separador, caiu para 0,257, no mesmo nível de um cantor humano real (0,254).
• Treino vocal e estudo de arranjo. Ouça só a voz para perceber respiração e fraseado; ouça só o beat para entender como baixo, bateria e harmonia são construídos.

Privacidade

O arquivo que você envia é apagado assim que a separação termina. Os dois arquivos separados se apagam sozinhos depois de 24 horas; eles ficam num link privado, nenhuma página pública aponta para eles, e os arquivos são marcados para que os buscadores não os indexem. Você é responsável por ter os direitos da gravação que envia.

Perguntas frequentes

Posso usar o beat separado para karaokê na hora?

Pode. O beat é um MP3 com a mesma duração do original, então você pode baixar e cantar junto. Músicas pop, baladas e acústicas costumam sair limpas; músicas com muitas harmonias podem guardar ecos leves no refrão.

Por que o meu beat soa abafado?

Quase sempre por causa do arquivo de origem. Arquivos comprimidos várias vezes costumam já vir cortados por volta de 16 kHz, e o beat separado fica cortado no mesmo ponto. Separar de novo a partir de um original de alta qualidade faz uma diferença clara.

Dá para separar só a bateria, o baixo ou o piano?

Ainda não. A ferramenta devolve duas partes: o beat e a voz. Para ajustar partes dentro do beat, você pode colocá-lo no mixer junto com outras faixas.

Por quanto tempo os arquivos separados ficam guardados?

24 horas, depois se apagam sozinhos. Baixe se quiser guardar. Para separar de novo, é só enviar a música mais uma vez; cada execução leva cerca de um a dois minutos. Mais guias estão no blog.

Pesquisas relacionadas

• Mixar voz no navegador: de onde vêm as metas
• Por que covers com IA soam ásperos e como medimos isso