AIカバーがかすれる理由と、その測り方

曲をあなた自身の声に変える（AIカバー）と、ときどき結果がかすれ、ガサガサして、細かく途切れたように聞こえます。私たちは何度もテストを重ねてこの問題を追い、その過程で自分たちの物差しを少なくとも九つ壊しました。結論から言うと、あらゆる修正の後にも残るガサガサ音は、アップロードした声のサンプルの中にあります。変換器はその荒さを写し取り、フィルターでは取り除けず、治す方法はよりよいサンプルだけです。

最初の測定は「音程が外れている」と示したが、それは誤りだった

処理は三つの段階からなります。ボーカル分離が曲から歌声を取り出し、声変換があなたのサンプルの声質に置き換え、新しいボーカルを元の伴奏に戻します。以下の測定の大半は、学習が不要だった以前のゼロショット声変換で行ったものです。「自分の声」については、現在サイトはジョブごとに小さな一時的な声モデルを学習させ、24時間以内に削除しています。

最初に確認したのは、元のボーカルと新しいボーカルの音高の相関で、0.722でした。「機械が音を外して歌っている」ように読める数字です。詳しく見ると、偏差の中央値は0.00半音、MADは0.10で、1,197フレーム中33フレーム（2.8%）がちょうど一オクターブ跳んでいました。これは歌の誤りではなく、音高追跡でよくある誤りです。そのフレームを除くと、相関は0.994になります。それ以来、音高は偏差の中央値、MAD、±1半音以内に収まるフレームの割合（最初のテスト曲で92.6%）で報告しています。

二つ目の教訓：変換器はランダムです。同じ設定で五回実行すると0.064の幅で揺れ、比較していた五つの候補の声の差0.046より大きくなりました。そのため、結論を引き出す比較は、今では各条件で少なくとも五回実行しています。以下の「σ」の数字は、標準偏差を単位にした差です。

測ってみると「かすれ」はどう見えるか

途切れは耳で聞こえるのに、それ以前の三つの指標はどれも「問題なし」と示していました。声が失われたフレームは0.0%、振幅の揺れの深さは3.17 dB（人間の歌手は3.13）、音高の跳びもなし。音量は十分で音程も合っているのに、倍音が崩れて雑音になっていたのです。それを捉えるのが周期性です。

その一部はヒスノイズです。波形生成器が8 kHz以上に5〜7 dBを足しています。16 kHzでカットされた音源では、出力の16〜20 kHz帯が−23.2 dBで、本物の人の声は−38.7でした。つまり100%が後から作られた音で、取り除くことができます。

しかし、ガサガサ音は残りました。音声学では、荒くざらついた声をジッター（連続する声帯振動の周期の長さのばらつき）とシマー（振幅のばらつき）で測ります。私たちが使う解析ツールでは、正常な声のしきい値はジッター1.04%です。それまでの指標は、どれもこれを捉えられませんでした。

かすれたサンプルはカバーに引き継がれるか

最初は「引き継がれる」と言い、その後撤回しました。サイトの開発者自身がスマートフォンで録音したサンプルは、きれいに歌ったサンプルの2.8倍のエンベロープの揺れがありました。それでも、曲を固定してサンプルだけを入れ替えると、エンベロープの指標では出力が10%悪くなっただけでした。この指標が追うのは音量の揺れで、周期ごとのばらつきではありません。

ジッターで測ると、見え方は逆転しました。きれいなサンプルの出力は0.92%、スマートフォンのサンプルは1.67%（+81%、18.3σ）です。スマートフォンのサンプル自体のジッターは2.27%、シマーは11.0%で、録音そのものに染み込んでいました（半分話すような歌い方、ざらついたフレーズの終わり、スマートフォンのマイク）。圧縮のせいではありません。30 kbpsでエンコードしても、きれいなサンプルは1.03%から1.10%に変わっただけです。分離（揺れ+4%、1.3σ）やリバーブ（+5%、2.3σ）のせいでもありません。変換器はサンプルの声質を写し取ります。

同じ日に、ほかの二つの結論も同じ形で誤りました。あるガイダンス設定は、きれいなサンプルでヒスノイズを43%減らしたためにすべてのサンプルで0にされましたが、ジッターは15%上がっていました（6.5σ）。音高の隙間を埋める修正は、途切れの指標が雑音と判定したため却下されましたが、ジッターで見ると3.7σの差で優れていました。ルール：問題A用に作った指標に、問題Bの修正を評価する資格はありません。

本番に入れたもの：最もかすれの少ない一秒単位の断片から24秒のサンプルを組み立て（出力1.718 → 1.580%、3.6σ）、音高の隙間を埋め、ユーザーのサンプルにはガイダンス0.7を使います。スマートフォンのサンプルで全体を通すと、ジッターは1.50%から1.26%、シマーは7.89から5.29、HNRは17.8から19.4 dBに改善しました。その代わり、変換の段階は約50%遅くなります。

そして、ここが天井です。そのサンプルには歌が29秒しかなく、処理には24秒が必要なので、選別できたのは最悪の5つの断片を捨てることだけでした（2.14 → 1.96%）。最もよい断片でも1.37%で、きれいな歌声の中央値（0.94%）より荒いままでした。サンプルにもともとない明瞭さを、機械が作り出すことはできません。そのためサイトでは現在、アップロード時にサンプルの荒さを測り、1.5%から警告を出します。スマートフォンのサンプルは約11秒の時点で2.13%と表示され、きれいに歌った24秒のサンプルは0.96%で、警告は出ませんでした。

サンプルは12秒か24秒か

サイトでは当初、サンプルを12秒に切り詰めていました。長いサンプルほど処理が遅いからです。同じ247秒の曲で、20秒のサンプルは変換に253秒、12秒に切ったサンプルは162秒かかりました（−36%）。「サンプルを長くしても似るわけではない」という主張は、構造から推測しただけで、測ってはいませんでした。そこで各条件五回ずつ実行し、どのサンプルにも含まれていない歌手の声の部分で類似度を測りました（0.750は変換なし、0.866は同じ人の別の部分に相当します）。

類似度では、24秒のどの区間も12秒のどの区間を上回り、開始位置は長さと同じくらい重要でした。スマートフォンのサンプルでは、12秒から24秒にすると類似度が0.684から0.747に上がりました（6.8σ）が、ガサガサ音はそのままでした。長いサンプルで改善するのは「自分に似ているか」であって、ガサガサ音ではありません。私たちが作ったサンプル採点の経験則は、24秒の区間を実際の結果と逆の順に並べたため、廃止しました。

限界と未解決の問題

• ベトナム語は英語の約三倍悪い結果になります：声が失われるフレームは2.9%で、英語は1.0%です（ノイズ幅は0.7ポイント）。子音が入れ替わり、「Gà gáy vang trời」が「cáo kẽ vang trời」に、「hỏi」が「khỏi」になりました。まだ修正できていません。
• 後からのフィルターは効きません：出力のノイズ除去は平坦度を悪化させ、カラオケ分離とリバーブ除去を組み合わせると類似度が0.028下がりました。荒さは、機械が生成する倍音の上に乗っているのではなく、倍音の中にあります。
• 元の曲も影響します：出力は元の音源より2〜3.6倍汚くなります。平坦度0.0047の音源は約0.011に、16 kHzでカットされたリッピング音源（0.0070）は約0.025になります。
• 1.5%という警告のしきい値は、三つのデータ点に基づいています（2.14%、0.94〜1.03%、0.79%）。ブラウザの録音機能はエコーキャンセル、ノイズ抑制、自動ゲインをオフにしています。これは標準的なやり方ですが、実際のマイクではまだ検証していません。
• その声変換の声ごとのファインチューニングは、あるテストで類似度スコアを0.64から0.73に上げました。ただし、このスコアは声変換自身の音声エンコーダーが出したもので、自分の出力を甘く評価しがちです。その後、独立した声比較モデルで確認したところ、改善は見られませんでした（どちらも0.647）。サイトはその後、声ごとの別の方式に移行したため、この記事のゼロショットの数値は以前の処理を表しています。

カバーを作るときの活かし方

1. 話さずに歌う。半分話すようなフレーズや、ざらついたフレーズの終わりは、そのまま出力に写し取られます。
2. 静かな場所で、20〜40秒の本当の歌を録音する。サイトは24秒の歌を使い、15秒未満だと警告が出ます。
3. アップロードの数秒後に表示される警告欄を確認する。1.5%以上なら、サンプルを録り直してください。
4. 高音質の曲ファイルを使う。16 kHzでカットされたリッピング音源では、伴奏もそこでカットされます。音源が17 kHz未満の場合は、サイトが知らせます。
5. 曲の音域に近いサンプルを選ぶ。一回の実行で測ったところ、オクターブ下げた場合（女性の曲、男性のサンプル）のジッターは1.28%、キーを保った場合は0.75%でしたが、サンプルとの類似度は0.74対0.52でした。
6. ベトナム語の曲では、h/khやg/cのような子音の入れ替わりがないか聞き直してください。