Mixar voz no navegador: de onde vêm as metas

Uma ferramenta de mixagem automática precisa responder com números: quão alta a voz fica em relação à música, em quais bandas de frequência a EQ deve mexer, se deve puxar a afinação para a nota. De onde essas metas devem vir? Versão curta: a meta de voz em relação à música do MuziAI foi medida em 144 gravações com faixas separadas reais, em que, na mediana, a voz fica 2,2 LU abaixo da música, e não em músicas que o próprio site gerou. A nossa bancada de testes pegou quatro bugs que deixavam os números principais com cara de perfeitamente razoáveis. E o auto-tune, medido com dois medidores independentes, tem um custo real na clareza da voz, então vem desligado por padrão.

Por que não tirar as metas das nossas próprias músicas

O caminho fácil seria medir os pares de beat e voz que já estão no servidor. São 57, mas cada um é uma música de IA gerada pelo site. As gravações que os usuários enviam para separar são apagadas depois de 24 horas, então o número de pares mixados por pessoas que sobra é zero. Medir esses 57 nos diria como a IA mixa, não como as pessoas mixam.

Então usamos um conjunto público de gravações multipista com faixas separadas: 144 músicas, cada uma representada por uma prévia de 7 segundos, em que voz e acompanhamento são de fato faixas gravadas separadamente, e não a saída de um separador.

Os números das metas, e qual deles a página usa

Dois medidores independentes concordam (−2,2 e −2,25), então a mediana é sólida. Mas ela descreve um conjunto de dados ocidental, quase todo de rock. As músicas de IA do site colocam a voz acima da música em 1,9 LU, e a única música vietnamita real que medimos deu +2,3 LU. É por isso que a página usa +2 como padrão, com um controle de ±4 e uma marca em −2,2 para você ver onde fica a outra convenção. A página também diz com clareza que a nossa amostra vietnamita é uma única música.

A EQ segue o mesmo raciocínio. Para cada banda de oitava, o intervalo q1-q3 entre as 144 músicas tem de 4 a 5 dB de largura. A ferramenta só corrige as bandas que ficam fora desse intervalo, e só as puxa até a borda, nunca até a mediana: forçar toda voz para a mediana é colorir o som, e isso apaga o que torna uma voz única. O reverb é ajustado até a relação entre lados e centro chegar a −11,8 dB. No modo só beat, a ferramenta de propósito não faz EQ automática, porque os beats variam conforme o gênero. Para moldar o timbre de um beat, dê a ele uma faixa de referência: o espectro por oitava é igualado 70% por passada, em duas passadas, limitado a ±4 dB, e o loudness não é copiado (fica em −14 LUFS).

Quatro bugs que a bancada pegou, todos com números plausíveis

O medidor de loudness e pico real da ferramenta bate com uma ferramenta de referência padrão em 10 de 10 arquivos, com diferença de até 0,05. Uma verificação de 42 casos em 21 músicas com vozes danificadas de propósito passa em 42/42. Mesmo assim, antes do lançamento, a bancada pegou quatro bugs que ninguém teria notado na tabela principal de resultados:

1. O limitador deixava passar um pico nos primeiros 5 ms, em +15,3 dBFS. A região virtual antes da primeira amostra era tratada como 1, o que puxava a média móvel para cima. O laço do master continuava baixando o teto e depois devolvendo ganho, terminando em −20 LUFS e +1,2 dBTP.
2. O compressor esmagava a voz em cerca de 30 dB, e depois o ganho de compensação acrescentava +46 dB. Numa gravação com ruído de fundo contínuo, “piso de ruído + 12 dB” ficava acima do próprio canto, então nenhum quadro contava como voz e o limiar caía para −120. A saída ainda chegava a −14 LUFS com a relação certa entre voz e música. Só uma verificação que pergunta se o ganho de compensação é mais ou menos igual ao estrago feito revelou o problema. Agora o limiar nunca fica abaixo do pico menos 10 dB.
3. A função de percentil ordenava 10 milhões de números a cada chamada, e o espectro por oitava filtrava a música inteira quatro vezes. Com percentis esparsos, análise em 10 trechos de 3 segundos e uma única passada de filtro pela música, o processamento caiu de 30 segundos para 9,5.
4. O relógio devolvia tempo negativo (−50 segundos) na máquina de teste. Agora ele usa o relógio monotônico do navegador.

A lição do bug 2: uma bancada que só pergunta se a saída tem o loudness certo vai aprovar um compressor que destrói a voz, porque a etapa de master esconde isso. Depois das correções, uma música de quatro minutos com backing vocals é processada em 11,8 segundos no navegador.

Auto-tune: dois medidores e o custo real

O auto-tune da ferramenta acompanha a altura em quadros de 10 ms e desloca cada ciclo vocal em direção à nota-alvo. O ajuste “leve” move o centro de cada nota dentro de ±70 ms e mantém o vibrato; o “forte” força cada quadro. Medimos com o nosso próprio medidor e com uma ferramenta de fonética independente, numa voz sintética com respostas conhecidas e numa voz real desafinada de propósito em +30 cents:

O auto-tune faz o seu trabalho: a voz real vai de cerca de 30 cents de desvio para cerca de 12 no medidor independente. As duas últimas colunas são o preço. O jitter (variação de ciclo a ciclo na duração de cada vibração, ouvida como aspereza) sobe cerca de 0,2 ponto percentual, e o HNR (relação entre harmônicos e ruído, mais alto significa mais limpo) cai de 0,5 a 0,8 dB. Por isso o auto-tune vem desligado por padrão, e a página diz por quê.

A bancada do auto-tune pegou mais dois bugs com um caso bem simples: se nada precisa de correção, a saída tem de ser igual à entrada. As marcas de síntese não eram ancoradas às marcas de análise ao entrar numa região com voz, e a etapa de síntese usava o período de altura estimado em vez da distância real entre as marcas, então os erros se acumulavam e trechos inteiros saíam de fase. Antes da correção, a correspondência entre saída e entrada (SNR) era de só −2,6 dB; depois, 150 dB, uma correspondência exata. Todos os casos de precisão de afinação tinham passado desde o começo; só o caso de identidade revelou esses bugs.

Limites e perguntas em aberto

• A nossa amostra vietnamita com faixas separadas é uma música (+2,3 LU). O padrão de +2 se apoia nessa música mais as músicas de IA do site, não numa medição grande.
• O conjunto de 144 músicas é formado por prévias de 7 segundos e é principalmente rock. É um bom guia para o equilíbrio entre voz e música, não um substituto para todos os gêneros.
• O auto-tune foi testado numa voz sintética e numa voz real; a sua pode pagar um preço diferente.
• No modo T-Pain, a precisão das notas é avaliada em relação ao teto ideal medido (89%), e o produto chega a 87%; não existe um limiar de 90% escolhido a dedo.
• As vozes de IA já estão afinadas (8 a 9 cents), então o auto-tune leve quase não muda nada numa música de IA.

O que isso significa quando você cria uma música

1. Comece pelo padrão de +2. Para um equilíbrio de pop ou rock ocidental, deslize em direção à marca de −2,2; para ficar perto da música vietnamita real que medimos (+2,3), mantenha em torno de +2.
2. Compare o antes e o depois no mesmo loudness de −14 LUFS. A versão mais alta tende a soar “melhor”, então comparar em níveis diferentes engana você.
3. Em músicas geradas por IA, deixe o auto-tune desligado. A voz já está afinada, e ligá-lo só custa clareza.
4. Na sua própria gravação com problemas de afinação, experimente primeiro o leve e ouça com atenção as notas longas. Se ouvir aspereza, é o custo de jitter medido acima.
5. Se você quer que um beat tenha a cor de uma música específica, dê essa música como referência em vez de esperar uma EQ automática no beat.
6. Ainda não tem uma música para mixar? Crie uma na página inicial do MuziAI e depois leve a voz e o beat para a ferramenta de mixagem automática.