AI hát theo beat có sẵn: vì sao nghe như rap

Bạn đưa beat có sẵn và lời bài, chọn ballad, rồi nhận về một bản nghe như đọc rap, nhạc không ăn nhập với lời. Một khách của MuziAI chê đúng như thế: «tưởng nghe nhầm sang rap», «nhạc đằng lời nẻo», «bịa lời», «đang hát nó cứ hú». Chúng tôi đo cả ba lượt chạy của khách trước khi sửa. Kết luận ngắn: giọng không hề sai tông. Thứ khách nghe ra là vào trễ 4 ô nhịp, hát như nói, và một giai điệu mới do công cụ tự đặt. Hai chuyện đầu sửa được một phần; chuyện thứ ba thì không.

Ca khách chê: ba lượt chạy, đo trước khi sửa

Một người dùng dán 48 dòng lời lên một beat dài 276,5 giây, 60 BPM, trong đó phần giọng dẫn của bản nhạc nền vào ở giây 32,5.

Ở lượt 1, 48 dòng dán liền không dòng trống nên cả bài bị hiểu thành một khổ verse duy nhất: mô hình hát vào trễ đúng 4 ô nhịp và hát như nói. Ở lượt 2 và 3 giọng vào ngay, nhưng có 11 giây «hú hú hú», chính là một khổ chỉ gồm tiếng ngân nga mà người dùng viết trong lời.

Chúng tôi chấm tông của giọng so với beat ở cả ba lượt: cả ba đều đúng tông. Cảm giác «nhạc đằng lời nẻo» đến từ chỗ khác. Beat chỉ có nhạc đệm, không chứa giai điệu giọng hát, nên công cụ đặt một giai điệu mới cho lời. Người đã quen lời ấy với một giai điệu khác nghe lời quen trên giai điệu lạ và gọi cái lệch ấy là «sai tone». Không thuật toán nào trong công cụ hát theo beat sửa được điều này, vì giai điệu cũ không có trong đầu vào.

«Độ ngân»: con số tách hát khỏi nói

Để kiểm «hát như nói», chúng tôi dựng một thước: phần thời gian có tiếng nằm trong những nốt giữ yên từ 0,6 giây trở lên. Thước được hiệu chuẩn trên giọng tách từ các bài trọn vẹn của site, 90 giây giữa bài:

Lượt 1 ngân 0,139, giữa dải của rap. Một bản «ballad» ngân dưới 0,2 nghe như rap thật, nên lời chê của khách là mô tả chính xác. Còn 0,262 và 0,283 của lượt 2 và 3 bị 11 giây «hú» thổi lên; tính riêng phần có lời chỉ còn 0,22-0,25, sát mép dưới của ballad.

Máy tìm chỗ giọng vào, tông và cấu trúc lời thế nào

Chỗ giọng vào

Để mô hình hát từ giây 0 thì giọng đè intro ở 79% bài, đo trên 57 bài có đáp án (beat và giọng đã tách của site). Quy tắc đầu tiên, «vào ở chỗ nhạc đổi khác mạnh nhất», sai có hệ thống: trên beat của một khách khác nó chọn giây 16,5, đúng chỗ khúc dạo to bắt đầu. Quy tắc đang chạy thêm một điều: không vào ở chỗ nhạc to lên. Máy xét các ranh giới 4 ô nhịp trong 40 giây đầu, bỏ chỗ nhạc to lên hơn 2 dB, rồi mới lấy chỗ đổi khác mạnh nhất. Kết quả: trúng ±1 ô nhịp ở 64,9% bài, sai trung vị 0,5 ô, chỉ 1,8% còn đè intro; beat của khách kia vào đúng giây 32,0.

Mô hình hát có tuỳ chọn «chỉ sinh trong khoảng này», nhưng ngoài khoảng ấy nó chép nguyên beat vào track giọng. Nên máy cắt beat từ chỗ giọng vào, cho hát, rồi đặt giọng về đúng giây, sau đó lọc tiếng trống, tiếng đàn lẫn vào bằng bộ tách giọng.

Tông và cấu trúc lời

Bộ dò tông cũ dùng một cách, đúng 40/48 bài đã biết tông. Bản mới cho ba cách bỏ phiếu, không đủ phiếu thì không mách tông cho mô hình hát: 46/48. Một beat mẫu trước bị đọc là C# thứ, nay là B trưởng với 3/3 phiếu.

Máy cũng tự tìm các khối dòng lặp lại trong lời để chia khổ và gọi khối lặp nhiều nhất là điệp khúc. Trên 300 bài có nhãn sẵn: tìm ra cấu trúc 96%, nhận đúng dòng điệp khúc 87%, không gọi nhầm verse là điệp khúc 92%. Với lời của khách, máy ra đúng bộ nhãn khách tự gắn. Khổ chỉ có tiếng ngân nga thành đoạn nhạc không lời. Mỗi lượt hát được chấm (khoảng 15 giây trên CPU), vào trễ thì hát lại tối đa 2 lần. Chạy lại đầu vào của khách: vào trễ 1,1 s và 0,0 s, phủ lời 0,906 và 0,921.

Hát cả bài một lượt hay hát từng đoạn

«Hát như nói» khó hơn. Đổi câu mô tả giọng không giúp: ba câu, mỗi câu ba hạt giống, mặc định 0,203 · 0,150 · 0,200; «soft breathy» 0,217 · 0,183 · 0,180; «slow ballad, long sustained notes, legato» 0,189 · 0,201 · 0,174. Đòn bẩy thật là độ dài của một lượt sinh: cùng beat, lời và câu mô tả, hát một lượt cả bài 244 giây hay hát riêng từng đoạn khoảng 100 giây:

Hát từng đoạn đưa bản ballad từ dải rap lên dải ballad. Nhưng hai đoạn sinh riêng là hai ca sĩ khác nhau: hai nửa của cùng một lượt giống giọng nhau 0,89-0,97, còn đoạn A và B sinh riêng với cùng hạt giống chỉ 0,57 · 0,68 · 0,84. Dùng giọng của lượt cả bài làm mẫu âm sắc thì giữ được một giọng (0,886, ngưỡng 0,80), nhưng kéo luôn cách hát của lượt cả bài theo: độ ngân chỉ lên từ 0,181 thành 0,202, thay vì khoảng 0,30. Đổi lấy hơn 5 phút mỗi việc, nên bước này đang tắt.

Giới hạn và điều chưa biết

• Đã thử và gỡ trong ngày: cửa «ballad ngân dưới 0,2 thì hát lại bằng hạt giống khác». Trên 13 lượt với 7 hạt giống, độ ngân rơi ngẫu nhiên trong 0,093-0,217, tốn thêm khoảng 5 phút mỗi việc. Cửa «vào trễ» thì giữ, vì vào trễ đi theo hạt giống (khoảng 1/3 lượt).
• Bộ dò chỗ vào trúng ±1 ô nhịp ở 64,9% bài, tức vẫn sai xa hơn ở khoảng một phần ba.
• Bộ dò tông có thể báo tông song song: một beat mẫu được báo F trong khi bản nhạc gốc ghi Rê thứ (tempo 72 BPM thì đúng).
• «Hát như nói» trên bài dài chưa có lời giải trên site; phép thử dùng một đoạn hát ngân có sẵn làm mẫu âm sắc chưa chạy.
• Giai điệu gốc của một bài có sẵn không thể khôi phục từ beat karaoke.

Áp dụng thế nào khi tự tạo bài

1. Để dòng trống giữa các khổ, hoặc gắn nhãn [Verse], [Chorus]. Lời dán liền một khối là nguyên nhân trực tiếp của lần vào trễ 16,1 s.
2. Đừng viết tiếng ngân nga vào lời nếu không muốn nghe nó: một khổ toàn tiếng ngân nga đã thành 11 giây «hú».
3. Đọc dòng «Máy nghe beat của bạn ra … BPM, tông …» trên trang kết quả; BPM sai rõ rệt có thể là dấu hiệu beat đổi tempo hoặc intro không theo nhịp.
4. Muốn giữ giai điệu của một bản thu mà bạn có quyền dùng thì dùng AI cover, không dùng hát theo beat. AI cover nghe bản thu có giọng hát nên giữ giai điệu, chỉ đổi giọng. Hát theo beat là công cụ sáng tác: nó cho lời của bạn một giai điệu mới.
5. Cần ballad ngân nhiều mà chỉ dùng một đoạn thì đưa lời của đúng đoạn ấy: lượt khoảng 100 giây ngân nhiều hơn rõ so với lượt 244 giây. Bài mới bắt đầu ở trang tạo nhạc.