AI hát theo bản nhạc có sẵn: có đúng hợp âm không?

Người soạn nhạc hay hỏi: nếu tôi đã có vòng hợp âm và bản nhạc, AI có hát đúng theo nó không, hay chỉ lấy làm gợi ý rồi chơi một bài khác? Chúng tôi đã đo thay vì đoán. Kết luận ngắn: có, máy đi theo hợp âm và cấu trúc của bản nhạc. Với lời tiếng Anh, độ khớp hợp âm so với bài gốc là 0,922; với lời tiếng Việt là 0,809; không đưa bản nhạc thì chỉ còn 0,546. Nhưng thứ được đo là hợp âm, chưa phải giai điệu của giọng hát, và bài này nói rõ chỗ khác nhau ấy.

Cách đo: so 12 nốt trong từng cửa sổ 2 giây

Khi bạn tạo bài trên MuziAI, máy thường làm hai bước: soạn một bản nhạc bằng ký hiệu ABC (giai điệu, hợp âm, nhịp), rồi mô hình hát dựng bản nhạc ấy thành âm thanh. Với bài dài 4 phút 14 giây, bước soạn mất khoảng 40 giây máy, bước hát 179 giây. Đưa bản nhạc của bạn vào thì bước soạn được bỏ qua. Để có đáp án mà so, chúng tôi lấy bản nhạc của một bài đã có, cho máy hát lại với lời mới, rồi so bài mới với chính bài gốc đã sinh ra bản nhạc đó.

Thước chạy trên CPU và dựa vào sắc phổ 12 nốt: cắt bài thành cửa sổ 2 giây, trong mỗi cửa sổ gom năng lượng âm thanh về 12 nốt của một quãng tám (Đô, Đô thăng, Rê, tới Si), bất kể nốt vang ở quãng nào. Mỗi 2 giây thành một dấu vân tay hợp âm. So dấu vân tay hai bài ở cùng mốc thời gian, rồi lấy trung bình cả bài. Điểm 1 là giống hệt.

Con số 0,8 không nói lên gì nếu không biết mức «chẳng liên quan» nằm ở đâu. Nên chúng tôi đo thêm một sàn: lấy chính bài gốc, dịch đi 8 giây, rồi so với bản không dịch. Cùng hợp âm, cùng nhạc cụ, cùng giọng, chỉ lệch thời gian, mà điểm chỉ còn 0,656.

Kết quả: bốn con số

Với lời tiếng Anh, 86% cửa sổ khớp trên 0,8 và bài chỉ ngắn hơn gốc 0,7 giây trên hơn ba phút: máy giữ đúng số đoạn và độ dài từng đoạn. Không có bản nhạc thì máy soạn một bài khác hẳn: 0,546, thấp hơn cả sàn 0,656, dài 161 giây thay vì 189. Lời tiếng Việt nằm ở giữa: 0,809 vẫn cao hơn sàn rõ ràng, nhưng chỉ 52% cửa sổ vượt 0,8.

Vì sao có bản nhạc rồi mà vẫn lệch

Kể cả lượt tốt nhất cũng có 14% cửa sổ dưới 0,8. Hai lý do đầu dựa trên số đo, hai lý do sau là giả thuyết.

• Lệch thời gian bị phạt rất nặng. Thước so từng cửa sổ theo đúng mốc giây; sàn 0,656 cho thấy một bài giống hệt chỉ cần trượt 8 giây là tụt mạnh. Một đoạn hát dài hay ngắn đi vài nhịp kéo theo mọi cửa sổ phía sau.
• Mỗi lượt sinh là một lần gieo ngẫu nhiên. Lượt lời Việt chạy với hạt giống khác lượt lời Anh, nên 0,809 là kết quả của hai thay đổi cùng lúc; chưa tách được phần nào do tiếng Việt, phần nào do hạt giống.
• Thước nghe cả bản trộn. Sắc phổ tính trên giọng lẫn nhạc cụ, nên một câu hát đặt nốt khác cũng tô màu khác lên 12 nốt dù hợp âm nền không đổi (giả thuyết).
• Câu lời mới dài ngắn khác lời gốc. Máy phải co giãn câu hát trong khung nhịp, và với tiếng Việt mỗi âm tiết còn mang một thanh (giả thuyết, chưa đo riêng).

Giới hạn và điều chưa biết

• Giai điệu giọng hát chưa đo. Muốn đo phải tách giọng rồi dò cao độ, việc cần GPU. Vì vậy trang tạo nhạc chỉ hứa giữ «hợp âm, tông và nhịp», không hứa giữ từng nốt của giọng.
• Cỡ mẫu nhỏ. Cả bốn con số đến từ một bản nhạc, mỗi trường hợp một lượt sinh. Đủ để thấy hướng, chưa đủ để nói lời Việt lúc nào cũng thấp hơn lời Anh 0,113.
• Chế độ «chỉ giai điệu» chưa được đo bằng thước này. Mốc dưới duy nhất là 0,546 khi không đưa gì.
• Điểm cao không có nghĩa là hay. Thước không chấm phối khí, chất giọng hay độ rõ lời.

Đã thử và không bật: ô gõ hợp âm kiểu «Am F C G»

Nhiều người chỉ có vòng hợp âm, chưa có giai điệu. Chúng tôi đã viết một ô gõ hợp âm, chuyển thành bản nhạc chỉ có hợp âm, dòng giọng toàn dấu lặng. Kết quả: hợp âm đúng (0,858), nhưng bài chỉ dài 86 giây thay vì 189 giây và máy không hát đủ lời. Ô ấy đang tắt. Một phép đo khác giải thích vì sao: khi làm nhạc không lời, bản nhạc chỉ có nhãn đoạn cho ra bài khoảng 1 phút dù có 4 hay 8 nhãn, còn có câu giữ chỗ thì máy viết giai điệu thật và bài dài theo số câu. Tức độ dài bài do số câu có giai điệu quyết định, không do số hợp âm. Muốn ô này chạy được, máy phải tự soạn giai điệu trong vòng hợp âm cho trước, việc chưa làm.

Giai điệu + hợp âm, hay chỉ giai điệu?

Thẻ «Bản nhạc có sẵn» cho chọn giữ lại gì. Giai điệu + hợp âm: máy nhận nguyên bản nhạc, đúng trường hợp có số đo 0,922 và 0,809. Chỉ giai điệu: dịch vụ tự xoá mọi ký hiệu hợp âm trước khi hát, vì mô hình hát không tự bỏ qua chúng. Lần lái thử thật qua tên miền: bản gửi lên có 68 ký hiệu hợp âm, bản máy dùng còn 0, bài ra dài 210 giây.

• Chọn giai điệu + hợp âm khi vòng hợp âm là thứ bạn muốn giữ: phần đệm đã soạn xong, hoặc bạn đang viết lời mới cho một bài có sẵn.
• Chọn chỉ giai điệu khi bạn tin nét nhạc hơn hợp âm: bản chép tay chưa kiểm hợp âm, hợp âm ghi không chuẩn, hoặc muốn giữ câu hát mà để máy đệm lại theo phong cách mới.
• Cần hợp âm khớp bài gốc thì đừng chọn chỉ giai điệu: chế độ đó chưa có số đo nào về hợp âm.

Áp dụng thế nào khi tự tạo bài

1. Lấy bản nhạc: trang bài mẫu nào cũng có nút «Hát lời mới theo bản nhạc này» trong khối «Hợp âm và bản nhạc». Hoặc ở trang tạo nhạc, mở thẻ «Bản nhạc có sẵn», chọn một trong 58 bài mẫu (có nút nghe thử) hoặc dán bản nhạc ABC của bạn.
2. Đọc thẻ tóm tắt trước khi tạo: tông, BPM, nhịp, vòng hợp âm, ví dụ «F major · 100 BPM · 4/4 · F C/E Dm7 Bb…». Đó là thứ máy sẽ bám theo; sai thì sửa ngay ở đó.
3. Với lời tiếng Việt, tạo hai ba phiên bản và nghe đầu mỗi khổ so với bài gốc: lời Việt bám hợp âm kém hơn lời Anh (0,809 so với 0,922), và mỗi lượt sinh là một lần gieo khác.
4. Đừng chờ giọng hát lặp lại đúng từng nốt của bản gốc: phần ấy chưa đo, nên chúng tôi không hứa.
5. Chỉ có vòng hợp âm? Ô gõ hợp âm chưa bật; cách gần nhất là chọn một bài mẫu có vòng hợp âm gần ý bạn rồi viết lời mới lên đó.