AI가 부른 베트남어, 가사는 얼마나 들릴까?

MuziAI의 노래 모델은 공식적으로 영어와 중국어만 지원합니다. 그렇다면 성조 여섯 개를 부호로 적고, 같은 글자라도 부호가 다르면 다른 단어가 되는 베트남어를 주면 어떻게 될까요? 음성 인식기가 가사를 얼마나 알아듣는지 측정해 원래 쓴 가사와 비교했습니다. 결과는 장르에 따라 가사의 78.6%에서 94.7%가 부호까지 모두 맞게 들렸고, 영어 대조곡은 100%였습니다. 잃는 것의 대부분은 단어가 아니라 부호이며, 측정 기록을 보면 주된 오류는 성조가 어긋나는 것입니다. 부호를 지우고 비교하면 수치가 87.5%에서 98.4%로 오릅니다.

믿을 만한 숫자를 얻기까지 망가진 측정 도구 세 개

쓸 만한 측정을 얻기 전에 세 번 틀렸습니다. 매번 잘못은 노래가 아니라 측정 도구에 있었고, 이 부분이 가장 이야기할 가치가 있습니다.

1. 빠른 음성 인식기로 곡 전체의 문자 오류율을 채점. 간주 부분에서 인식기는 영상 채널에서나 나올 법한 “구독 부탁드려요, 좋은 영상 놓치지 마세요” 같은 베트남어 문장을 지어냈고, 그 지어낸 문장이 그냥 덧붙는 게 아니라 실제로 부른 가사를 대체해 버렸습니다. 영어는 영향을 받지 않았으니 비교 자체가 기울어져 있었습니다. 오류율이 영어는 0.012, 베트남어는 0.32~0.48이었습니다.
2. 곡을 12초 구간으로 잘라 듣기 쉽게 만들기. 더 나빠졌습니다. 거의 모든 구간에서 지어낸 문장이 나왔고, 곡 전체로 돌렸을 때 가사를 알아들었던 부분도 마찬가지였습니다.
3. 먼저 보컬을 반주에서 분리한 다음 받아쓰기. 여전히 문장을 지어냈고, 영어는 여전히 잘 됐습니다. 이쯤에서 분명해졌습니다. 문제는 노래 모델이 아니라 베트남어를 듣는 빠른 인식기였습니다.

교훈: 정답을 아는 경우로 검증하지 않은 베트남어 오류율은 인용할 가치가 없습니다. 가사를 지어내는 가사 측정 도구는 자신이 가장 못 알아듣는 바로 그 언어를 부당하게 깎아내립니다.

제대로 작동하는 측정 도구: 정답으로 검증한 줄 커버리지

최종 구성은 더 큰 인식기를 쓰고, 앞 문장을 근거로 다음 문장을 추측하는 습관(지어낸 한 줄이 다른 줄을 줄줄이 끌고 오게 만드는 원인)을 끄고, 신뢰도가 낮은 구간을 버리는 임계값을 더했습니다. 곡 전체의 오류율 대신 줄 커버리지로 채점합니다. 가사의 서로 다른 줄마다(구간 이름은 빼고, 반복되는 줄은 한 번만 셈) 받아쓴 글에서 가장 잘 맞는 부분을 찾고, 그 줄의 음절 중 몇 퍼센트가 순서대로 나타나는지 센 뒤, 모든 줄의 평균을 냅니다. 가사에 없는 여분의 단어는 감점하지 않으므로 지어낸 줄이 끼어들어도 점수가 내려가지 않습니다.

곡마다 두 번 채점합니다. 부호 포함(모든 부호가 맞아야 함)과 부호 제외(부호를 모두 지우고 글자 뼈대만 맞으면 됨)입니다. 두 열의 차이가 “단어 모양은 맞고 부호만 틀린” 비율입니다. 실제로 쓰기 전에 정답을 아는 네 가지 경우로 측정 도구를 돌려 보았습니다.

중요한 것은 세 번째 경우입니다. 부호를 모두 잃은 받아쓰기는 부호 포함 0.19, 부호 제외 1.0이 나옵니다. 다시 말해 이 측정 도구는 “틀린 단어”와 “단어는 맞고 부호만 틀림”을 구별할 수 있습니다.

결과: Pop, Ballad, Bolero, 그리고 영어 대조곡

Ballad가 가장 또렷했고 Bolero가 가장 덜 또렷했습니다. 세 곡 모두 부호 제외 열이 부호 포함 열보다 높습니다. 꽤 많은 단어가 모양은 맞지만 부호가 틀리게 불렸다는 뜻입니다. Bolero는 차이도 가장 크고(0.089) 부호 제외 점수도 가장 낮아서(0.875), 이 곡에서 모델은 부호도 더 많이 어긋나고 단어도 더 많이 빠뜨렸습니다. 그 이유는 측정하지 않았습니다. 성조 어긋남이 중요한 이유는 글자는 그대로인데 뜻이 바뀌기 때문입니다. ma, má, mà, mả, mã, mạ는 서로 다른 여섯 단어입니다.

AI 비트 보컬 도구에서도 같은 양상

기존 비트 위에 가사를 부르게 하는 이 사이트의 도구는 다른 노래 시스템으로 돌아가고, 베트남어 전용으로 만든 인식기로 채점하므로 위 표와 숫자를 직접 비교할 수는 없습니다. 그래도 같은 양상이 되풀이됩니다.

Pop 곡은 부호 제외에서 1.000에 이릅니다. 모든 단어를 불렀고, 잃은 것은 부호뿐이었습니다. 그리고 Ballad에서 같은 측정 도구로 그 비트 위의 원래 사람 보컬을 채점하면 0.979가 나옵니다. 실제 가수도 완벽한 1에는 닿지 못한다는 뜻입니다. 모든 점수의 일부는 그저 듣는 쪽의 한계입니다.

한계와 아직 모르는 것

• 주요 표는 베트남어 곡 세 곡만 다룹니다(Pop, Ballad, Bolero). 양상을 보기에는 충분하지만 장르 순위를 자신 있게 매기기에는 부족합니다. 노래 라이브러리가 커지면 다시 측정하겠습니다.
• 사람이 아니라 기계가 듣는 것을 측정합니다. 실제 사람을 대상으로 한 청취 시험은 하지 않았으므로, 사람의 귀가 문맥으로 성조 어긋남을 얼마나 바로잡는지는 모릅니다.
• 가사에 없는 여분의 단어는 감점하지 않습니다. 지어낸 줄에 흔들리지 않도록 일부러 그렇게 정했지만, 가수가 가사에 없는 단어를 덧붙여도 측정 도구가 잡아내지 못한다는 뜻이기도 합니다.
• 부호 제외 열은 성조 부호뿐 아니라 모음 부호도 지웁니다(ă, â, ê, ô, ơ, ư, đ). 두 열의 차이는 넓은 의미의 “부호 틀림”이며, 성조만 따로 떼어 낸 열은 아직 없습니다.
• 한 종류의 오디오에서 통하는 측정 도구가 다른 종류에서는 실패할 수 있습니다. 같은 큰 인식기가 이 사이트의 AI 커버 도구를 거친 보컬을 들었을 때, 파일 3개 중 3개에서 똑같은 “구독” 문장을 지어냈습니다. 그때는 베트남어 전용 인식기로 바꿔야 했습니다.

노래로 불러도 살아남는 베트남어 가사 쓰는 법

1. 가사가 얼마나 중요한지에 따라 장르를 고르세요. 가사가 핵심이라면(헌정곡, 이야기가 있는 노래, 가게 이름이 들어간 CM송), 저희 시험에서는 Ballad(0.947)와 Pop(0.909)이 Bolero(0.786)보다 가사를 더 잘 지켰습니다.
2. 한 줄에 완결된 노래 한 소절, 그리고 구간 표시. [Verse]와 [Chorus]는 각각 따로 한 줄에 쓰고, 소절이 끝날 때마다 줄을 바꾸세요. AI 비트 보컬 도구에서 가사를 한 덩어리로 붙여 넣었더니 시스템이 곡 전체를 한 구간으로 처리했고, 16초 늦게 들어와 말하듯이 불렀습니다.
3. 성조가 바뀌면 뜻이 뒤집히는 단어를, 중요한 자리에서 확인하세요. 후렴 한 줄, 사람 이름, 가게 이름처럼 성조 하나만 어긋나도 가장 치명적인 자리입니다. 완성된 곡에서 바로 그 단어들을 들어 보세요.
4. 몇 가지 버전을 생성해 가장 또렷한 것을 남기세요. 생성할 때마다 새로 무작위 추첨을 하므로, 가사를 고치기 전에 다시 시도해 볼 가치가 있습니다.
5. 일반 음성 받아쓰기 앱으로 결과를 평가하지 마세요. 저희의 처음 측정 도구 세 개는 모두 베트남어 노래에서 가사를 지어냈습니다. 받아쓴 글에 “subscribe cho kênh…” 같은 이상한 문장이 보인다면 잘못은 노래가 아니라 받아쓰기 쪽에 있습니다.