AIがビートで歌うとラップに聞こえる理由

完成したビートをアップロードし、歌詞を貼り付けて「バラード」を選んだのに、返ってきたのは語りのラップに近く、歌詞が音楽に乗っていないように聞こえる。あるMuziAIユーザーがまさにそう訴えました。「ラップと聞き間違えたかと思った」「音楽と歌詞が別々の方向に進む」「AIが歌詞をでっち上げる」「ずっと唸っている」。私たちは何かを変える前に、その三回の生成をすべて測定しました。結論から言うと、ボーカルは一度もキーを外していません。聞こえていたのは、四小節遅れの入り、歌うより話すのに近い歌い方、そしてツールがゼロから書いたメロディです。最初の二つはある程度直せます。三つ目は直せません。

苦情：修正前に測った三回の生成

ユーザーは、276.5秒・60 BPMのオケに48行の歌詞を貼り付けました。このオケのリードボーカルのパートは32.5秒から始まります。

1回目では、空行のない四十八行がひとつのAメロとして読まれました。モデルはちょうど四小節遅れて入り、半分話すような調子で歌い通しました。2回目と3回目は時間どおりに始まりましたが、11秒間の「フー、フー、フー」が入っていました。これはユーザーが歌詞に書き込んだ、ハミングだけのセクションです。

三回すべてで、ボーカルのキーをビートと照合しました。三回ともキーは合っていました。「ばらばら」という感覚は別のところから来ています。オケには伴奏だけが入っていて、ボーカルのメロディは含まれていません。そのためツールは歌詞のためにまったく新しいメロディを作曲します。その歌詞を別のメロディで知っている人には、聞き慣れた言葉が聞き慣れない旋律に乗って聞こえ、そのずれを「キーが違う」と感じてしまうのです。ビートで歌わせるツールのどんなアルゴリズムでも、これは直せません。元のメロディが入力に含まれていないからです。

伸ばし：歌と話し声を分ける数値

「話しているように聞こえる」という苦情を検証するため、ひとつの指標を作りました。有声区間のうち、0.6秒以上安定して伸ばした音の中にある時間の割合です。サイト上の完成曲から分離したボーカルを使い、各曲の中央90秒で較正しました。

1回目は0.139で、完全にラップの範囲です。伸ばしが0.2未満の「バラード」は本当にラップのように聞こえるので、この苦情は細かすぎる指摘ではなく、正確な描写でした。2回目と3回目の0.262と0.283は、唸り声で数値がかさ上げされていました。歌詞のある部分だけを数えると0.22-0.25に下がり、バラードの範囲の下限ぎりぎりです。

ツールが入り位置、キー、構成を見つける方法

ボーカルがどこから入るか

モデルに0秒目から歌わせると、79%の曲でイントロに歌がかぶります。これは正解のわかっている57曲（サイト上のビートと分離したボーカル）で測定した数値です。最初のルール「音楽が最も大きく変わる位置で入る」は、予想どおり失敗しました。別のユーザーのビートで16.5秒を選んだのですが、そこはちょうど大音量の楽器リフが始まる位置でした。現在のルールには条件をひとつ加えています。音楽が大きくなる位置では絶対に入らない。最初の40秒にある四小節ごとの区切りを調べ、音楽が2 dBを超えて大きくなる区切りを除外したうえで、最も大きな変化を選びます。結果、64.9%の曲で±1小節以内、誤差の中央値は0.5小節、イントロにまだ歌がかぶるのはわずか1.8%です。先ほどの別のユーザーのビートは、今ではちょうど32.0秒で入ります。

歌唱モデルには指定した区間の中だけで生成させることができますが、その区間の外では、モデルがビート全体をボーカルトラックにコピーしてしまいます。そこでツールは入り位置でビートを切り、残りの部分に歌を乗せ、ボーカルを正しい秒数の位置に戻してから、ボーカル分離にかけてドラムやギターのかぶりを取り除きます。

キーと歌詞の構成

以前のキー検出器はひとつの手法だけを使い、キーのわかっている48曲のうち40曲で正解しました。新しい検出器は三つの手法に投票させ、過半数に届かなければ何も出しません。間違ったヒントより、ヒントなしのほうがましだからです。結果は46/48です。あるサンプルビートは以前C#マイナーと判定されていましたが、今は3票すべてが一致してBメジャーと判定されます。

ツールは繰り返される行のかたまりを見つけてセクションを分け、最も多く繰り返されるかたまりをサビとみなします。ラベル付きの300曲で、構成を見つけられたのは96%、サビの行を正しく特定できたのは87%、Aメロをサビと誤認しなかったのは92%でした。このユーザーの歌詞では、本人が手で付けたラベルをそのまま再現しました。ハミングだけのセクションは間奏になります。各テイクは採点され（CPUで約15秒）、入りが遅れていれば最大二回まで取り直します。ユーザーとまったく同じ入力で再実行した結果、入りの遅れは1.1秒と0.0秒、歌詞カバー率は0.906と0.921でした。

長いワンテイクか、セクションごとのテイクか

話し声のような歌い方は、もっと厄介です。声の説明文を書き換えても効果はありません。三種類の説明文をそれぞれ三つのシードで試したところ、デフォルトは0.203、0.150、0.200、「soft breathy」は0.217、0.183、0.180、「slow ballad, long sustained notes, legato」は0.189、0.201、0.174でした。本当に効くのは一回の生成の長さです。同じビート、歌詞、説明文で、244秒のワンテイクとして歌わせた場合と、約100秒ずつセクションごとに歌わせた場合を比べました。

セクションごとに歌わせると、バラードがラップの範囲からバラードの範囲に移ります。ただし落とし穴があります。別々に生成した二つのセクションは二人の別の歌い手になってしまうのです。ひとつのテイクを二つに分けた場合の声の類似度は0.89-0.97ですが、同じシードでセクションAとBを別々に生成すると、0.57、0.68、0.84にとどまります。曲全体のテイクを声質の参照として戻せば一人の声を保てます（0.886、しきい値は0.80）が、そのテイクの歌い方まで引きずってしまい、伸ばしは0.181から0.202にしか上がらず、0.30前後には届きません。一件あたり五分以上余計にかかるため、この手順はオフにしています。

限界と未解決の課題

• 試してその日のうちに外したもの： 伸ばしが0.2未満のバラードを別のシードで歌い直す方法。7つのシードで13テイクを試したところ、伸ばしは0.093から0.217の間でランダムにばらつき、一件あたり約五分余計にかかりました。入りの遅れによる取り直しは残しています。入りの遅れはシードに左右されるからです（およそ3テイクに1回）。
• 入り位置の検出は64.9%の曲で±1小節以内なので、およそ三分の一の曲ではそれ以上ずれます。
• キー検出器が平行調を返すことがあります。あるサンプルビートはFと判定されましたが、楽譜ではDマイナーです（72 BPMというテンポは正確でした）。
• 長い曲での話し声のような歌い方には、まだ本番での対策がありません。既存の、しっかり伸ばして歌ったフレーズを声質の参照に使う方法は、まだ試していません。
• 既存曲の元のメロディは、カラオケ音源からは復元できません。

曲作りへの活かし方

1. セクションの間に空行を入れるか、[Verse]、[Chorus]とラベルを付けてください。ひとかたまりで貼り付けた歌詞が、16.1秒の入りの遅れを引き起こしました。
2. 聞きたいのでなければ、歌詞にハミングを書かないでください。ハミングだけのセクションが11秒の唸り声になりました。
3. 結果ページでツールが表示するBPMとキーを確認してください。BPMが明らかにおかしい場合、ビートのテンポが途中で変わっているか、自由なテンポのイントロで始まっている可能性があります。
4. 使用する権利のある録音のメロディを残したいなら、「AIがビートで歌う」ではなく「AIカバー」を使ってください。AIカバーは歌い手の声が入った録音を聴くので、メロディを保ったまま声だけを変えます。「AIがビートで歌う」は作曲のためのツールで、あなたの言葉に新しいメロディを付けます。
5. しっかり伸ばすバラードが必要で、使うのがひとつのセクションだけなら、そのセクションの歌詞だけをツールに渡してください。約100秒のテイクは、244秒のテイクよりはっきりと長く伸ばします。新しい曲はMuziAIのトップページから始められます。