AIが歌うベトナム語、歌詞はどれだけ聞き取れる？

MuziAIの歌唱モデルが公式にサポートしているのは、英語と中国語だけです。では、ベトナム語を渡すとどうなるでしょうか。ベトナム語は六つの声調を記号で書き分け、同じ文字でも記号が違えば別の単語になる言語です。音声認識が歌詞をどれだけ聞き取れるかを測り、書いた歌詞と比べました。答えは、ジャンルによって歌詞の78.6%〜94.7%が声調記号まで正しく戻ってきました。英語の対照曲は100%です。失われるのは単語よりも主に記号で、測定記録によると最大の誤りは声調のずれです。記号を取り除くと、数字は87.5%〜98.4%に上がります。

信頼できる数字が出るまでに、三つの物差しが壊れました

使える測定にたどり着くまでに、三回失敗しました。毎回、問題は曲ではなく物差しの側にありました。そこがいちばん伝える価値のある部分です。

1. 高速な音声認識で、曲全体の文字誤り率を計算する。間奏の部分で、動画チャンネル風の「チャンネル登録をお願いします、素敵な動画をお見逃しなく」というベトナム語の一文をでっち上げ、その創作文が、実際に歌われた言葉に付け足されるのではなく、言葉と置き換わってしまいました。英語には影響がなかったため、比較は最初から不公平でした。誤り率は英語が0.012、ベトナム語が0.32〜0.48です。
2. 聞き取りやすくするため、曲を12秒の区間に切る。かえって悪化しました。ほぼすべての区間でその創作文が出てきて、曲全体で処理したときには歌詞を認識できていた部分まで巻き込まれました。
3. 先にボーカルを伴奏から分離し、それから書き起こす。それでも創作文が出て、英語は相変わらず正常でした。この時点ではっきりしました。問題は歌唱モデルではなく、ベトナム語に対する高速な音声認識のほうでした。

教訓：正解が分かっているケースで確かめていないベトナム語の誤り率は、引用する価値がありません。ありもしない歌詞をでっち上げる指標は、自分がいちばん聞き取れない言語ほど不当に低く評価してしまいます。

使える物差し：行のカバー率を、正解の分かるケースで検証

最終的な構成では、より大きな音声認識モデルを使い、直前の文を手がかりに次を推測する癖（一つの創作文が次々と別の創作文を引き連れてくる仕組み）をオフにし、確信度の低い区間を捨てるしきい値を加えました。曲全体の誤り率の代わりに、行のカバー率を計算します。歌詞の各行（セクション名は除き、繰り返す行は一回だけ数える）について、書き起こしの中で最も一致する部分を探し、その行の音節のうち順番どおりに現れた割合を数え、全行で平均します。余分な言葉は減点しないので、創作文が紛れ込んでもスコアは下がりません。

各曲は二通りで採点します。記号あり（すべての記号が一致する必要がある）と、記号なし（記号をすべて取り除き、文字の骨格だけが一致すればよい）です。二つの列の差が「単語の形は合っているが記号が違う」割合です。使う前に、正解の分かっている四つのケースで指標を試しました。

重要なのは三つ目のケースです。記号をすべて失った書き起こしは、記号ありで0.19、記号なしで1.0になります。つまりこの指標は、「違う単語」と「単語は合っているが記号が違う」を区別できます。

結果：ポップ、バラード、ボレロ、そして英語の対照曲

最も明瞭だったのはバラード、最も不明瞭だったのはボレロです。三曲とも、記号なしの列が記号ありの列より高くなっています。つまり、形は合っているのに記号を間違えて歌われた単語が、かなりの割合でありました。ボレロは差が最も大きく（0.089）、記号なしのスコアも最も低い（0.875）ため、この曲ではモデルが記号をより多く間違え、言葉もより多く落としたことになります。その理由はまだ測っていません。声調のずれが重要なのは、文字を変えずに意味を変えてしまうからです。「ma、má、mà、mả、mã、mạ」は、六つの別々の単語です。

ビートで歌うツールでも同じ傾向

既存のビートに歌詞を乗せて歌うサイトのツールは、別の歌唱システムで動いており、ベトナム語専用に作られた音声認識で採点しているため、数字を上の表と直接比べることはできません。それでも、同じ傾向が繰り返されます。

ポップは記号なしで1.000に達しました。すべての単語が歌われ、失われたのは記号だけです。またバラードでは、同じ指標でそのビートに乗った原曲の人間のボーカルを測ると0.979で、本物の歌手でも完璧な1にはなりません。どのスコアにも、聞き取る側（音声認識）の限界が一部含まれています。

限界と、まだ分かっていないこと

• メインの表はベトナム語の三曲だけです（ポップ、バラード、ボレロ）。傾向を見るには十分ですが、ジャンルを自信を持って順位づけるには足りません。曲のライブラリが増えたら測り直します。
• 測っているのは機械が聞き取れる内容で、人が聞き取れる内容ではありません。実際の人による聴取テストはしていないため、人の耳が文脈から声調のずれをどれだけ補えるかは分かりません。
• 余分な言葉は減点しません。創作文の影響を受けないための意図的な選択ですが、歌い手が歌詞にない言葉を足しても、指標はそれを検出できません。
• 記号なしの列は、声調記号だけでなく母音記号も取り除きます（ă、â、ê、ô、ơ、ư、đ）。列の差は広い意味での「記号の誤り」であり、声調だけを切り出した列はまだありません。
• ある種類の音声で機能する物差しが、別の音声では機能しないことがあります。同じ大きな音声認識モデルに、サイトの声差し替えツールを通したボーカルを聞かせたところ、3ファイル中3ファイルで同じ「チャンネル登録」の文をでっち上げました。そこではベトナム語専用の音声認識に切り替える必要がありました。

歌っても崩れにくいベトナム語歌詞の書き方

1. 言葉の重要度でジャンルを選ぶ。歌詞が主役の場合（誰かに贈る歌、物語の歌、店名入りのジングルなど）、私たちのテストではバラード（0.947）とポップ（0.909）のほうが、ボレロ（0.786）より言葉をよく保ちました。
2. 一行に歌うフレーズを一つ入れ、セクション名を付ける。[Verse]や[Chorus]はそれぞれ独立した行に置き、フレーズごとに改行します。ビートで歌うツールでは、歌詞をひとかたまりで貼り付けると、システムが曲全体を一つのセクションとして扱い、16秒遅れて入り、話すように歌いました。
3. 声調が変わると意味が変わる単語を、大事な場所で確認する。サビの行、人の名前、店の名前は、声調が一つずれるだけで最も痛手になる場所です。完成した曲で、まさにその単語を聞いてください。
4. いくつかバージョンを生成し、最も明瞭なものを残す。生成は毎回新しいランダムな抽選なので、歌詞を書き直す前に生成し直す価値があります。
5. 普通の音声文字起こしアプリで結果を判定しない。私たちの最初の三つの物差しは、どれも歌われたベトナム語で歌詞をでっち上げました。書き起こしに「subscribe cho kênh…」のような変な文が出てきたら、悪いのは曲ではなく文字起こしのほうです。