ブラウザでのボーカルミックス：目標値の出どころ

自動ミックスのツールは、数値で答えを出さなければなりません。声を音楽に対してどのくらいの音量に置くか、EQでどの帯域を触るか、音程を音符に寄せるかどうか。その目標値はどこから持ってくるべきでしょうか。要点を言うと、MuziAIのボーカル対音楽の目標値は、サイト自身が生成した曲ではなく、実際のステムがある144曲の録音で測定したもので、ボーカルの中央値は音楽より2.2 LU下にあります。テスト環境では、主要な数値が一見まったく正常に見える四つのバグが見つかりました。そしてオートチューンは、二つの独立したメーターで測ったところ、ボーカルの明瞭さに実際の代償があるため、初期状態ではオフです。

なぜ自分たちの曲から目標値を取らないのか

簡単なのは、すでにサーバーにあるビートとボーカルの組を測ることです。57組ありますが、どれもサイトが生成したAI曲です。ユーザーが分離のためにアップロードした録音は24時間後に削除されるので、人がミックスした組は一つも残っていません。その57組を測っても、わかるのはAIがどうミックスするかであって、人がどうミックスするかではありません。

そこで、ステムが分かれたマルチトラック録音の公開データセットを使いました。144曲で、それぞれ7秒のプレビューです。ボーカルと伴奏は、分離ツールの出力ではなく、本当に別々に録音されたトラックです。

目標値と、ページが採用している値

二つの独立したメーターが一致している（−2.2と−2.25）ので、中央値は信頼できます。ただし、これはロックが中心の欧米のデータセットを表した数値です。サイトのAI曲はボーカルを音楽より1.9 LU上に置いており、測定した実際のベトナムの曲も+2.3 LUでした。そのためページの初期値は+2で、スライダーは±4、−2.2に目印を置いて、もう一方の慣習がどこにあるか見えるようにしています。ページには、ベトナムのサンプルがわずか一曲であることもはっきり書いています。

EQも同じ考え方です。オクターブ帯域ごとに、144曲のq1-q3の範囲は4-5 dBの幅があります。ツールはその範囲から外れた帯域だけを補正し、それも範囲の端まで寄せるだけで、中央値までは動かしません。すべての声を中央値に合わせるのは色付けであり、その声らしさを消してしまうからです。リバーブは、ミッドに対するサイドの比が−11.8 dBになるまで調整します。ビートだけのモードでは、ジャンルによってビートが違うため、ツールはあえて自動EQを行いません。ビートの音色を整えたいときは、リファレンス曲を渡してください。オクターブスペクトルを各パスで70%ずつ、二回合わせ、±4 dBで制限します。ラウドネスはコピーしません（−14 LUFSのままです）。

テスト環境が見つけた四つのバグ、どれも数値はもっともらしかった

ツールのラウドネスとトゥルーピークのメーターは、標準の参照ツールと10ファイル中10ファイルで0.05以内に一致します。ボーカルを意図的に傷めた21曲に対する42件のチェックも42/42で合格します。それでも公開前に、テスト環境は主な結果表からは誰も気づかなかったはずの四つのバグを見つけました。

1. リミッターが最初の5 msで+15.3 dBFSのスパイクを通していました。 最初のサンプルより前の仮想区間が1として扱われ、移動平均を引き上げていたのです。マスターのループは上限を下げてはゲインを戻すことを繰り返し、最終的に−20 LUFS、+1.2 dBTPになっていました。
2. コンプレッサーがボーカルを約30 dB潰し、その後メイクアップゲインが+46 dBを足していました。 背景ノイズが途切れない録音では、「ノイズフロア + 12 dB」が歌声そのものより上にあったため、有声と判定されるフレームがなく、スレッショルドが−120まで下がっていました。出力はそれでも正しいボーカル対音楽の比で−14 LUFSに達していました。「メイクアップゲインは、コンプレッサーで削った量とほぼ等しいか」を確かめるチェックだけが、これを暴きました。現在、スレッショルドはピークから10 dBを引いた値より下にはなりません。
3. パーセンタイル関数が呼び出しのたびに1,000万個の数値を並べ替えていました。 さらにオクターブスペクトルは曲全体を四回フィルタリングしていました。間引いたパーセンタイル、3秒×10区間での解析、曲全体へのフィルタリングを一回にしたことで、処理時間は30秒から9.5秒に縮みました。
4. テスト機で時計が負の時間（−50秒）を返していました。 現在はブラウザの単調増加クロックを使っています。

バグ2から得た教訓：出力のラウドネスが正しいかだけを問うテスト環境は、ボーカルを壊すコンプレッサーでも合格させてしまいます。マスター段がそれを隠すからです。修正後、バックボーカル入りの四分の曲は、ブラウザ内で11.8秒で処理されます。

オートチューン：二つのメーターと実際の代償

ツールのオートチューンは、10 msのフレームで音程を追跡し、ボーカルの各周期を目標の音符へずらします。「ナチュラル」設定は各音の中心を±70 msの範囲で動かし、ビブラートを残します。「ハード」はすべてのフレームを強制的に合わせます。私たちは自前のメーターと独立した音声学ツールで、正解のわかっている合成音声と、+30セントずらした実際の声を測定しました。

オートチューンは役目を果たしています。実際の声は、独立したメーターで約30セントのずれから約12セントになりました。最後の二列がその代償です。ジッター（振動ごとの長さのばらつきで、ざらつきとして聞こえます）は約0.2ポイント上がり、HNR（倍音対ノイズ比、高いほどクリーン）は0.5〜0.8 dB下がります。そのためオートチューンは初期状態ではオフで、ページにもその理由を書いています。

オートチューンのテスト環境は、ごく単純な一つのケースでさらに二つのバグを見つけました。補正の必要がなければ、出力は入力と同じでなければならない、というケースです。有声区間に入るときに合成マークが解析マークに固定されておらず、さらに合成の段階でマーク間の実際の距離ではなく推定した音程周期を使っていたため、誤差が積み重なって、パッセージ全体の位相がずれていました。修正前、出力と入力の一致度（SNR）はわずか−2.6 dBでしたが、修正後は150 dB、つまり完全一致です。音程精度のケースはすべて最初から合格していて、「入力＝出力」のケースだけがバグを暴きました。

限界と未解決の課題

• ステムのあるベトナムのサンプルは一曲だけです（+2.3 LU）。初期値の+2は、その曲とサイトのAI曲に基づいたもので、大規模な測定によるものではありません。
• 144曲のデータセットは7秒のプレビューで構成され、大半がロックです。ボーカルと音楽のバランスの目安としては有効ですが、すべてのジャンルの代わりにはなりません。
• オートチューンは合成音声と実際の声一人分でテストしただけです。あなたの声では代償が違うかもしれません。
• T-Painモードでは、音符の正確さを測定された理想の上限（89%）に対して評価しており、製品は87%に達しています。手で決めた90%のしきい値はありません。
• AIボーカルはもともと音程が合っている（8-9セント）ので、AI曲に「ナチュラル」のオートチューンをかけてもほとんど何も変わりません。

ミックスへの活かし方

1. 初期値の+2から始めてください。欧米のポップやロックのバランスにしたいなら−2.2の目印の方へスライドさせ、測定した実際のベトナムの曲（+2.3）に近づけたいなら+2あたりのままにします。
2. 前後の比較は同じ−14 LUFSのラウドネスで行ってください。音が大きいほうが「良く」聞こえがちなので、違う音量で比べると判断を誤ります。
3. AIで生成した曲では、オートチューンはオフのままにしてください。ボーカルはすでに音程が合っていて、オンにしても明瞭さが損なわれるだけです。
4. 音程に問題のある自分の録音なら、まず「ナチュラル」を試し、長い音をよく聴いてください。ざらつきが聞こえたら、それが上で測ったジッターの代償です。
5. ビートに特定の曲の色合いを持たせたいなら、自動のビートEQに頼らず、その曲をリファレンスとして渡してください。
6. まだミックスする曲がない場合は、MuziAIのトップページで曲を作り、ボーカルとビートを自動ミックスツールに持ち込んでください。