音楽とボーカルを分離：ビートと歌声を個別に抽出

ボーカル分離の仕組み

曲をアップロードすると、GPU サーバーが曲全体に分離モデルをかけ、二つの MP3 ファイルが返ってきます。ビート（ボーカル以外のすべて）とボーカル（声だけ）です。分離モデルは曲を帯域ごと、瞬間ごとに見て、どのエネルギーが人の声に属し、どれが楽器に属するかを判断します。

あまり気づかれない点が一つあります。分離したボーカルには完全な無音が保たれます。計測した曲では、分離したボーカルの長さの 23〜39% が完全な無音で、ちょうど歌手が休んでいる箇所でした。そのため、分離したボーカルをリミックスしても、曲全体に背景ノイズの層を引きずることがありません。

これは MuziAI が AIカバーの第一段階で使う分離モデルと同じものなので、両ツールのビートの品質は変わりません。同じファイルを両方の経路に通すと、まったく同じビートが得られます。

処理にかかる時間

分離には、曲ごとに約 60〜75 秒の処理がかかります。アップロードとダウンロードを含めると、ページ上の目安は 1〜2 分です。次の計測のとおり、長い曲ほど時間がかかります。

一人が同時に分離できるのは一曲だけです。GPU がほかの処理で混んでいるときは、十分なメモリーが空くまで待ってから開始し、メモリー不足で失敗した場合は自動で再試行します。そのため、順番待ちが発生することがあります。MuziAI で作った曲は、アップロードせずに曲のページから直接分離できます。

分離の品質：計測した数値

分離の性能を知るには、答えが分かっているケースが必要です。そこで、クリーンなボーカルを実際の曲のビートに混ぜ、分離モデルにもう一度取り出させました。分離したボーカルは、元のクリーンなボーカルと 19.9 dB SDR で一致しました。簡単に言えば、誤差のエネルギーは本物のボーカルの約百分の一です。

逆方向も計測しました。テスト曲のビートをもう一度分離したところ、ビートに残っていた原曲のボーカルはわずか −70 LUFS で、実質的に聞こえないレベルでした。

カラオケに特化した分離モデルや、残響除去を組み合わせた分離モデルへの置き換えも試しました。どちらもボーカルが汚くなりました（スペクトルノイズは現在のモデルの 0.0070 に対して 0.0085）。つまり、計測したすべての選択肢の中で、今も現在の分離モデルが最善です。

制限事項：分離がうまくいかない場合

• 厚いハーモニーと合唱。 多くの声が重なると、リードボーカルとバッキングの境目がぼやけ、ビートにハーモニーの残響が残ることがあります。
• 声と同じ音域の電子音楽。 ボーカルの音域にぴったり重なるシンセやリード音は、間違った側に振り分けられやすく、かすかなにじみが聞こえることがあります。
• 帯域が切れたファイル。 何度も圧縮されたファイルの多くは、手元に届く前にすでに 16 kHz あたりで帯域が切れています。分離モデルは、元の音源にないものを足すことはできません。あるテストファイルからは 18.0 kHz まで伸びるビートが得られ、元の音源とぴったり一致しました。強く圧縮されたファイルからは、16.0 kHz で切れたビートになりました。ビートがこもって聞こえるなら、原因は元のファイルです。
• スピーカーから録り直した音源や、強く圧縮された音源。 部屋の響きや圧縮によるノイズはボーカルにも音楽にもこびりつき、分離できません。
• 完璧な分離はありません。 声と音楽は同じ周波数帯で重なるため、ところどころでビートにボーカルの痕跡が、ボーカルに音楽の痕跡が残ることがあります。

ヒント：高品質のオリジナルファイル（320 kbps の MP3、M4A、WAV、FLAC）を使ってください。ギター、ピアノ、歌声一本のアコースティック録音は、たいてい最もきれいに分離できます。

結果の使い方

• 自動ミックス。 ビートとボーカル録音を自動ミックスのページに入れると、フィルター、EQ、コンプレッション、リバーブをかけ、ボーカルと音楽のバランスを取り、−14 LUFS にマスタリングします。ボーカルのバランスの基準は、実際に別々のトラックがある 144 曲から取っています。すべてブラウザ内で動き、4 分の曲なら約 12 秒で終わり、ファイルが端末の外に出ることはありません。
• ミキサー。 「ミキサーで開く」ボタンを押すと、分離したばかりのビートとボーカルがあらかじめ読み込まれます。トラックごとに音量、パン、ミュート、ソロを設定し、WAV を書き出せます。これもブラウザ内で完結します。
• もう一度歌う。 ビートをカラオケに使うか、曲を AIカバーに持っていき、元のビートの上であなた自身の声で歌わせます。
• 伴奏がにじんだボーカルトラックの掃除。 MuziAI 自身もこの使い方をしています。ギターとドラムがにじんだボーカルトラックは、ビートへの張り付き度が 0.736 でしたが、分離モデルに通すと 0.257 まで下がり、本物の歌手（0.254）と同程度になりました。
• 歌の練習とアレンジの勉強。 ボーカルだけを聴けば息継ぎやフレージングがつかめ、ビートだけを聴けばベース、ドラム、ハーモニーの組み立てが聞き取れます。

プライバシー

アップロードしたファイルは、分離が終わるとすぐに削除されます。分離した二つのファイルは 24 時間後に自動で削除されます。非公開のリンクに置かれ、どの公開ページからもリンクされておらず、検索エンジンにインデックスされないようタグが付いています。アップロードする録音の権利を持っていることは、ご自身の責任となります。

よくある質問

分離したビートはすぐにカラオケに使えますか？

はい。ビートは原曲と同じ長さの MP3 なので、ダウンロードしてそのまま歌えます。ポップ、バラード、アコースティックの曲はたいていきれいに分離できます。ハーモニーの多い曲では、サビにかすかな残響が残ることがあります。

ビートがこもって聞こえるのはなぜですか？

ほとんどの場合、元のファイルが原因です。何度も圧縮されたファイルはすでに 16 kHz あたりで帯域が切れていることが多く、分離したビートも同じところで切れます。高品質のオリジナルからもう一度分離すると、はっきり違いが出ます。

ドラム、ベース、ピアノだけを個別に分離できますか？

今はまだできません。このツールが返すのは、ビートとボーカルの二つです。ビートの中のパートを調整したい場合は、ほかのトラックといっしょにミキサーに入れてください。

分離したファイルはどのくらい保管されますか？

24 時間で、その後自動で削除されます。残したい場合はダウンロードしてください。もう一度分離するには、曲を再アップロードするだけです。一回あたり一〜二分ほどかかります。ほかのガイドはブログにあります。

関連する検証レポート

• ブラウザでのボーカルミックス：目標値の出どころ
• AIカバーがかすれる理由と、その測り方