あなたの声でAIカバーを作る

三つの段階：分離、声質の置き換え、再ミックス

MuziAI の AIカバーは、三つの段階を順に進みます。第一段階では、ボーカル分離と同じ分離モデルで、曲をビートとボーカルに分けます。第二段階では、ボーカルだけを声質変換モデルに通します。音程、タイミング、フレーズの歌い回しはそのままで、声の音色だけをあなたのサンプルの音色に置き換えます。第三段階では、新しいボーカルを元のビートに戻してミックスし、曲全体の音量バランスを整えます。

なぜ機械に曲全体を一から歌わせないのでしょうか。リスナーが最初に聴き分けるのはビートだからです。同じファイルをボーカル分離とカバーの処理にそれぞれ通したところ、二つのビートは完全に同一で、元ファイルの帯域幅とも一致しました。つまり、音楽がこれ以上劣化することはありません。歌唱表現も原曲のものです。強くなる箇所、弱くなる箇所、音と音の間をすべるように移る箇所は、原曲の歌手に従います。最初の評価では、新しいボーカルのメロディーと原曲との差は中央値で 0.00 半音、フレームの 92.6% が半音一つ以内に収まりました。

声質変換のあとには、いくつかの後処理があります。どれも、原曲にないものを取り除くだけの処理です。

• 原曲のボーカルを基準にしたゲート：声質変換モデルは完全な無音を出力せず、ノイズフロアは約 −48 dB にあります。原曲の歌手が黙っている箇所では新しいボーカルもミュートし、フロアを −93.6 dB まで下げます。
• エンベロープの一致：音量の起伏を原曲の歌手に合わせ、言葉と言葉の間の小さな音切れを減らします。
• ホイッスル音の除去：2-4、4-8、8-16 kHz の三つの帯域で、あるフレームがそのフレーム本来のレベルを大きく超えて跳ね上がったときに処理します。
• ステレオリバーブ：変換後のボーカルはモノラルなので、リバーブを加え、広がりが原曲のボーカルと同じになるまで調整します。
• 原曲を基準にしたマスタリング：音のバランスはアップロードした曲に合わせ（偏差は 0.47 dB から 0.24 dB に低下）、標準的な −14 LUFS に仕上げます。

良い声のサンプルの条件

サンプルは、二つの別々のことを左右します。カバーがあなたらしく聞こえるかと、クリーンに聞こえるかです。それぞれ別の要因で決まります。

長さ：24 秒は 12 秒に勝る

システムは、息継ぎや間を取り除いたあとの約 24 秒の歌声を使います。当初は、サンプルを長くしても似る度合いは上がらないと考え、12 秒だけを使っていました。実際に計測すると（各条件で五回ずつ）、録音のどの位置でも、24 秒の区間はどの 12 秒の区間よりも歌手本人に近く聞こえました。長いサンプルは良い部分と弱い部分が平均されるので、安定します。ですから 20〜40 秒録音してください。システムには、選べるだけの余裕が必要です。

長さと同じくらい、位置も重要

同じ 12 秒でも、録音の冒頭から取るか中盤から取るかで結果は大きく変わります。適切な区間を使うと、出力のスペクトルノイズはおよそ三分の一にまで下がりました。そのため、システムは単に冒頭を切り出すのではありません。録音の背景ノイズに合わせて変わるしきい値で無音を取り除いたあと、サンプルの中からざらつきの最も少ない一秒ずつの断片を集めて 24 秒を組み立てます。37.2 秒のスマートフォン録音では、このしきい値で 5.6 秒の間が取り除かれましたが、固定のしきい値では少しも取り除けませんでした。

ざらついたサンプルからは、ざらついたカバーが生まれる

声質変換モデルは、サンプルの声質をそのまま写し取ります。同じ曲でサンプルだけを変えたところ、クリーンな歌声のサンプルでは出力のざらつきが 0.92%、ざらついたスマートフォン録音では 1.67% となり、81% 悪化しました。サンプルを長くすれば「あなたらしさ」は改善しますが、がさがさした質感は改善しません。それを直せるのは、よりクリーンなサンプルだけです。

そのため、システムは処理の冒頭、開始から約 11 秒の時点でサンプルのざらつきを計測し、1.5% 以上なら警告を表示します。このしきい値は、計測したクリーンな歌声（0.94〜1.03%）と、最初に出会ったざらついたサンプル（2.14%）の間にあります。歌声が 15 秒未満の場合や、はっきりした歌声がほとんどない場合にも、ページに警告が出ます。録り直すときは、話さずに歌ってください。フレーズの最後まで声を安定させ、一人で、伴奏なしで、静かな部屋で、スマートフォンを口から手のひら一つ分ほど離して録音します。

処理にかかる時間

これは処理時間で、順番待ちの時間は含みません。初回は処理の中でシステムがあなたの声を学習するため、長くかかります。次回以降はそのモデルを再利用します。タブを閉じても構いません。結果ページは段階ごとに自動で更新されます。

言語の変更と AI の声の性別

別の言語で歌われた曲の場合、システムは原曲の歌詞を書き起こし、行数と音節数を保ったまま翻訳し、歌唱モデルに新しい歌詞を元のメロディーで歌わせてから、その結果を元のビートに乗せます。189 秒の曲で 580 秒かかりました。対象言語は八つあります。日本語は、歌われた歌詞がまだ聞き取りにくいため、まだ公開していません。

原曲の歌手と同じ性別、女性の声、男性の声から選べます。性別の選択で変わるのは音色だけで、歌唱モデルは原曲の音程のまま歌います。出力が選んだ音域から大きく外れた場合（男性の声で 320 Hz より上、女性の声で 244 Hz より下）、ボーカル全体をちょうど一オクターブずらし、ビートとの調和を保ちます。その代わり、一オクターブ下げた男性の声はやや粗く聞こえます。最もクリーンなボーカルにしたいなら、原曲の歌手と同じ性別を選んでください。

制限事項

• ベトナム語は英語より品質が落ちます。 同じ声質変換モデルで計測すると、音が失われるフレームの割合はベトナム語で 2.9%、英語で 1.0% でした。これはモデルの限界で、あなたのファイルの問題ではありません。
• 子音が変わることがあります。 テストでは「Gà gáy vang trời」が「cáo kẽ vang trời」に、「hỏi」が「khỏi」になりました。メロディーは保たれますが、子音は必ずしも保たれません。
• 低品質の音源。 何度も圧縮されたファイルは、すでに 16 kHz あたりで帯域が切れていることがよくあります。出力ボーカルは通常、分離したボーカルより 2〜3.6 倍ノイズが多くなるため、汚れた音源はカバーの質もいっしょに引き下げます。音源が 17 kHz 未満の場合は、結果ページではっきりお知らせします。
• 残る「もや」は倍音の中にあります。 上に乗ったノイズの層ではなく、モデルが生成する倍音の一部なので、あとからノイズ除去をしても直せません。出力のフィルタリングを三通り試しましたが、どれも改善しませんでした。
• 音域の不一致。 高い女性ボーカルの曲に男性のサンプルを使う場合、キーを保つとあなたの声が女性の音域まで押し上げられ、原曲の歌手に近く聞こえます。一オクターブ下げるとあなたらしくなりますが、こもった響きになります。これは物理的な限界で、特定のモデルに限った話ではありません。
• 歌い回しは原曲の歌手のままです。 しゃくり、フレージング、息継ぎは保たれ、変わるのは声の色だけです。

プライバシー

曲と声のサンプルは、処理が終わるとすぐに削除されます。サンプルから学習した声のモデルは、同じサンプルでの次のカバーを速くするためだけに、最後の使用から 24 時間非公開で保管され、その後自動で削除されます。ほかの人のために使われることはありません。カバーは 24 時間保管され、リンクを知っている人だけが聴けます。音声ファイルは、検索エンジンにインデックスされないようブロックしています。

使わないほうがよい場合

• 歌手やほかの人の声でカバーを作りたい場合：このツールはあなた自身の声しか受け付けません。
• あなたが自分なりの歌い方でその曲を歌っているように聞かせたい場合。
• 低品質のファイルしかない場合、または曲に厚いハーモニーや合唱が入っている場合。
• リリースのために、ベトナム語の子音をすべて正確に発音させる必要がある場合。
• カラオケ用のビートだけが欲しい場合：ボーカル分離のほうがずっと速く済みます。
• まったく新しい曲が欲しい場合：AIで曲を作ってから、ここに戻ってきてください。

よくある質問

サンプルはスマートフォンで録音できますか？

はい。避けたいのは、がさがさした質感です。歌わずに話す、フレーズの終わりで声を落とす、騒がしい部屋で録る、といったことです。サンプルのざらつきが 1.5% 以上と表示されたら、ほかの調整をするより一度録り直すほうが、たいてい効果があります。

なぜ初回は次回以降より遅いのですか？

初回はシステムがサンプルからあなたの声を学習するため、4 分の曲で約 10 分かかります。そのモデルは最後の使用から 24 時間保管されるので、同じサンプルでの次のカバーは約 6 分で済みます。

どのファイルを使えばよいですか？ 制限はありますか？

使うのは、あなたが所有しているか、使用する権利を持っている録音だけにしてください。MuziAI は YouTube などのプラットフォームから音楽をダウンロードせず、著作権のある曲のコピーにも協力しません。品質については、何度も圧縮されたファイルは 16 kHz あたりで帯域が切れ、こもった音になりがちです。ビートとボーカルは、元の音源よりクリーンにはなれないからです。320 kbps のオリジナル MP3、M4A、WAV、FLAC を使うと、はっきり良い結果になります。

低い音で、こもったり途切れたりする行があるのはなぜですか？

たいていは、その行がサンプルの音域より下に下がっているためです。システムはそうした行を自動で見つけ、一オクターブ上で変換し直し、最も近い無声の箇所でつなぎ直します。それでも曲全体がこもって聞こえる場合は、原曲キーを維持を選んでもう一度実行してください。

関連する検証レポート

• AIカバーがかすれる理由と、その測り方
• AIが歌うベトナム語、歌詞はどれだけ聞き取れる？