Tiếng Việt qua AI hát: nghe lại được bao nhiêu lời?

Mô hình hát mà MuziAI dùng chỉ công bố hỗ trợ tiếng Anh và tiếng Trung. Vậy khi bạn đưa lời tiếng Việt, người nghe sẽ nghe ra được bao nhiêu chữ? Chúng tôi đo bằng cách cho một bộ nhận dạng giọng nói nghe lại bài hát rồi so với lời đã viết. Kết quả: 78,6% đến 94,7% lời được nghe lại đúng cả dấu, tuỳ thể loại, so với 100% ở bài tiếng Anh đối chứng. Phần hụt chủ yếu không phải chữ sai mà là dấu sai, và theo sổ đo, lỗi chính là lệch thanh: bỏ dấu ra thì con số lên 87,5% đến 98,4%.

Ba cái thước đã gãy trước khi có con số đáng tin

Trước khi có số đo dùng được, chúng tôi đã đo hỏng ba lần. Cả ba lần lỗi nằm ở thước chứ không ở bài hát, và đó là phần đáng kể lại nhất.

1. Bộ nhận dạng bản nhanh, chấm tỉ lệ lỗi ký tự trên cả bài. Ở các đoạn nhạc dạo, nó bịa ra một câu kêu gọi đăng ký kênh kiểu «hãy đăng ký để không bỏ lỡ video hấp dẫn», và câu bịa ấy thay chỗ lời hát thật chứ không chỉ chen thêm. Tiếng Anh không dính, nên phép so thành bất công: tỉ lệ lỗi 0,012 cho tiếng Anh, 0,32 đến 0,48 cho tiếng Việt.
2. Cắt bài thành cửa sổ 12 giây cho dễ nghe. Còn tệ hơn: gần như mọi cửa sổ đều ra câu bịa, kể cả những chỗ bản nghe cả bài đã nhận ra lời.
3. Tách giọng khỏi nhạc trước rồi mới nghe. Vẫn bịa, trong khi tiếng Anh vẫn tốt. Đến đây thì rõ: vấn đề là bộ nhận dạng nhanh với tiếng Việt, không phải mô hình hát.

Bài học: một con số «tỉ lệ lỗi tiếng Việt» chưa được kiểm trên ca biết trước đáp án thì không đáng tin. Một thước đo lời mà bịa lời sẽ chấm oan đúng thứ tiếng nó nghe kém.

Thước dùng được: độ phủ theo dòng, kiểm trên ca biết đáp án

Thước cuối cùng dùng bộ nhận dạng bản lớn, tắt việc dựa vào câu vừa nghe để đoán câu sau (cơ chế khiến một câu bịa kéo theo cả chuỗi), và thêm ngưỡng loại những đoạn nghe kém tin cậy. Thay vì tỉ lệ lỗi cả bài, nó chấm độ phủ theo dòng: với mỗi dòng lời khác nhau (bỏ nhãn đoạn, dòng lặp chỉ tính một lần), tìm khúc khớp nhất trong bản nghe được, đếm bao nhiêu phần âm tiết của dòng xuất hiện đúng thứ tự, rồi lấy trung bình các dòng. Chữ thừa không bị phạt, nên một câu bịa chèn thêm không kéo điểm xuống.

Mỗi bài được chấm hai lần: có dấu (phải đúng cả dấu) và bỏ dấu (gỡ hết dấu, chỉ cần đúng khung chữ). Khoảng cách giữa hai cột là phần «đúng chữ, sai dấu». Trước khi dùng, thước được thử trên bốn ca biết trước đáp án:

Ca thứ ba là ca quan trọng: một bản nghe mất hết dấu chỉ được 0,19 ở cột có dấu nhưng 1,0 ở cột bỏ dấu. Tức là thước tách được «sai chữ» khỏi «đúng chữ, sai dấu».

Kết quả: pop, ballad, bolero và tiếng Anh đối chứng

Ballad rõ lời nhất, bolero kém nhất. Ở cả ba bài, cột bỏ dấu cao hơn cột có dấu: một phần đáng kể chữ đã được hát đúng khung nhưng lệch dấu. Bolero vừa có khoảng cách lớn nhất (0,089) vừa có điểm bỏ dấu thấp nhất (0,875), tức là ở bài này máy vừa trượt dấu nhiều hơn vừa hát mất chữ nhiều hơn. Chúng tôi chưa đo vì sao. Lệch thanh nguy hiểm vì nó đổi nghĩa mà không đổi khung chữ: ma, má, mà, mả, mã, mạ là sáu chữ khác nhau.

Cùng mẫu hình ở công cụ hát lên beat

Công cụ hát lời lên beat có sẵn của site chạy bằng một hệ thống hát khác và được chấm bằng một bộ nghe lời chuyên cho tiếng Việt, nên con số không so thẳng được với bảng trên. Nhưng mẫu hình lặp lại:

Bài pop đạt 1,000 khi bỏ dấu: mọi chữ đều được hát ra, phần hụt duy nhất là dấu. Và với bài ballad, chính thước này chấm giọng hát gốc trên beat ấy được 0,979, nên ngay cả giọng người thật cũng không đạt tròn 1: luôn có một phần là giới hạn của bộ nghe.

Giới hạn và điều chưa biết

• Bảng chính chỉ có ba bài tiếng Việt (pop, ballad, bolero). Đủ để thấy mẫu hình, chưa đủ để xếp hạng thể loại một cách chắc chắn; chúng tôi sẽ đo lại khi thư viện bài lớn hơn.
• Thước đo thứ máy nghe ra, không phải thứ người nghe ra. Chúng tôi chưa làm phép thử với người nghe thật, nên chưa biết tai người bù được bao nhiêu chỗ lệch thanh nhờ ngữ cảnh.
• Chữ thừa không bị phạt. Đó là lựa chọn có chủ ý để miễn nhiễm với câu bịa, nhưng cũng có nghĩa là nếu máy hát thêm chữ không có trong lời, thước không bắt được.
• Cột bỏ dấu gỡ cả dấu nguyên âm (ă, â, ê, ô, ơ, ư, đ), không chỉ dấu thanh. Khoảng cách giữa hai cột là «sai dấu» nói chung; chúng tôi chưa có cột đo riêng cho thanh điệu.
• Thước đúng với loại âm thanh này chưa chắc đúng với loại khác. Chính bộ nhận dạng bản lớn ấy, khi nghe giọng đã qua công cụ đổi giọng của site, lại bịa đúng câu «subscribe» trên 3/3 tệp; ở đó chúng tôi phải đổi sang một bộ nghe chuyên cho tiếng Việt.

Áp dụng thế nào khi tự viết lời tiếng Việt

1. Chọn thể loại theo mức cần rõ lời. Nếu lời là thứ quan trọng nhất (bài tặng, bài kể chuyện, bài giới thiệu cửa hàng có tên riêng), ballad (0,947) và pop (0,909) giữ lời tốt hơn bolero (0,786) trong phép đo của chúng tôi.
2. Mỗi dòng một câu hát trọn, có nhãn khổ. Viết [Verse], [Chorus] trên dòng riêng và xuống dòng sau mỗi câu. Ở công cụ hát lên beat, lời dán liền một khối khiến máy coi cả bài là một đoạn, vào hát trễ 16 giây và hát như nói.
3. Soát những chữ mà đổi thanh là đổi nghĩa ở chỗ quan trọng. Câu điệp khúc, tên người, tên quán là chỗ một chữ lệch thanh đáng ngại nhất. Nghe kỹ đúng những chữ ấy ở bản đã tạo.
4. Tạo vài phiên bản rồi chọn bản rõ nhất. Mỗi lượt sinh là một lần gieo ngẫu nhiên, nên đáng thử lại trước khi viết lại lời.
5. Đừng chấm bài bằng phần mềm chuyển giọng nói thành chữ thông thường. Ba thước đầu tiên của chúng tôi đều bịa lời trên tiếng Việt hát. Nếu bản chép ra có câu lạ kiểu «subscribe cho kênh…», đó là lỗi của bộ chép, không phải của bài hát.