AI cover nghe rè vì đâu? Những gì chúng tôi đo được

Đổi giọng một bài hát sang giọng của bạn (AI cover) đôi khi cho ra bản nghe rè, khực, như bị băm vụn. Chúng tôi đo hiện tượng này qua nhiều vòng và làm gãy ít nhất chín cái thước đo trên đường đi. Kết luận ngắn: phần rè còn lại sau mọi bản vá nằm ở mẫu giọng bạn đưa vào. Bộ đổi giọng chép cả độ lạo xạo của mẫu, lọc sau không gỡ được, nên mẫu tốt hơn là thứ duy nhất chữa được.

Cái thước đầu tiên bảo «hát sai nốt», và nó sai

Đường ống có ba khâu: bộ tách giọng tách lời hát khỏi nhạc, bộ đổi giọng đổi âm sắc sang giọng mẫu, rồi trộn lại trên beat gốc. Phần lớn số đo dưới đây lấy trên bộ đổi giọng thế hệ đầu, không cần huấn luyện; với «giọng của tôi», site nay học tạm một mô hình giọng nhỏ cho mỗi lần cover và xoá nó trong vòng 24 giờ.

Phép kiểm đầu tiên là tương quan cao độ giữa giọng gốc và giọng mới: 0,722, đọc thẳng là «máy hát sai nốt». Soi kỹ thì lệch trung vị 0,00 nửa cung, MAD 0,10, và 33 trên 1.197 khung (2,8%) nhảy đúng một quãng tám, lỗi kinh điển của bộ bám cao độ, không phải của giọng hát. Bỏ những khung ấy: 0,994. Từ đó cao độ được báo bằng lệch trung vị, MAD và tỉ lệ khung nằm trong ±1 nửa cung (92,6% ở bài thử đầu).

Bài học thứ hai: bộ đổi giọng là mô hình ngẫu nhiên. Cùng một cấu hình chạy năm lần dao động trong biên độ 0,064, lớn hơn khoảng cách 0,046 giữa năm giọng ứng viên. Nên mọi phép so muốn kết luận đều chạy ít nhất 5 lần mỗi nhánh; «σ» dưới đây là mức chênh tính bằng bội số độ lệch chuẩn.

«Rè» là gì khi đem đi đo

Tai nghe rõ tiếng băm, nhưng ba thước cũ đều nói «không có gì»: 0,0% khung mất tiếng, độ sâu biên độ 3,17 dB (giọng người 3,13), không có cú nhảy cao độ nào. Âm vẫn đủ to, đúng nốt, nhưng hoà âm vỡ thành nhiễu, và thứ đo được nó là độ tuần hoàn:

Một phần là tiếng xì: bộ sinh sóng đắp thêm 5-7 dB trên 8 kHz. Với tệp nguồn cắt ở 16 kHz, dải 16-20 kHz của bản ra ở −23,2 dB trong khi giọng người thật là −38,7, tức máy bịa 100%. Phần bịa ấy thì gỡ được.

Nhưng tiếng «khực» vẫn còn. Ngữ âm học đo giọng lạo xạo bằng jitter (độ dài các chu kỳ rung dây thanh lệch nhau) và shimmer (biên độ các chu kỳ lệch nhau); ngưỡng giọng bình thường của công cụ chúng tôi dùng là jitter 1,04%. Mọi thước trước đó đều mù với nó.

Mẫu rè có truyền sang bản ra không?

Lần đầu chúng tôi nói «có» rồi rút lại: mẫu thu bằng điện thoại của chính người làm site rung vụn gấp 2,8 lần một mẫu hát sạch, nhưng giữ nguyên bài, chỉ đổi mẫu, thước dao động đường bao chỉ thấy bản ra tệ hơn 10%. Thước ấy đo độ to nhỏ, không đo độ lệch chu kỳ.

Đo lại bằng jitter: mẫu hát sạch cho bản ra 0,92%, mẫu điện thoại cho 1,67% (+81%, 18,3σ). Chính tệp mẫu ấy có jitter 2,27%, shimmer 11,0%, nằm ngay trong bản thu (giọng nửa nói, cuối câu lạo xạo, micrô điện thoại). Không do nén: nén 30 kbps chỉ đẩy mẫu sạch từ 1,03% lên 1,10%. Không do khâu tách (độ vụn +4%, 1,3σ) hay tiếng vang (+5%, 2,3σ). Bộ đổi giọng chép chất giọng của mẫu.

Cùng ngày, hai kết luận khác cũng sai vì thước sai loại: tham số dẫn hướng bị đặt về 0 cho mọi mẫu vì bớt xì 43% với mẫu sạch, nhưng nó làm jitter tăng 15% (6,5σ); bản vá lỗ cao độ bị loại vì thước «mất tiếng» bảo trong nhiễu, trong khi jitter cho nó thắng 3,7σ. Luật rút ra: thước đúng cho bệnh A không có quyền phán bản vá của bệnh B.

Bản đã lên site: ghép mẫu 24 giây từ những đoạn 1 giây ít rè nhất (bản ra 1,718 → 1,580%, 3,6σ), vá lỗ cao độ, dẫn hướng 0,7 cho mẫu người dùng. Chạy trọn với mẫu điện thoại: jitter 1,50 → 1,26%, shimmer 7,89 → 5,29, HNR 17,8 → 19,4 dB; khâu đổi giọng chậm hơn khoảng 50%.

Và đây là trần: mẫu ấy chỉ có 29 giây tiếng hát mà cần 24, nên bộ chọn chỉ bỏ được 5 đoạn rè nhất (2,14 → 1,96%). Đoạn tốt nhất vẫn 1,37%, rè hơn trung vị một giọng hát sạch (0,94%). Máy không bịa ra được độ trong mà mẫu không có. Nên site đo độ rè của mẫu ngay khi tải lên và cảnh báo từ 1,5%: mẫu điện thoại báo 2,13% sau khoảng 11 giây, mẫu hát sạch 24 giây báo 0,96%, không cảnh báo.

Mẫu 12 giây hay 24 giây

Ban đầu site gọt mẫu còn 12 giây vì mẫu dài làm chậm: cùng bài 247 giây, mẫu 20 giây mất 253 giây đổi giọng, mẫu gọt 12 giây chỉ 162 giây (−36%). Câu «mẫu dài hơn không giống hơn» được suy từ kiến trúc, chưa từng đo. Đo thật, 5 lần mỗi nhánh, chấm trên một đoạn giọng không mẫu nào chứa (0,750 là chưa đổi giọng, 0,866 là cùng người, đoạn khác):

Mọi cửa sổ 24 giây thắng mọi cửa sổ 12 giây về độ giống, và vị trí quan trọng ngang độ dài. Trên mẫu điện thoại, 12 → 24 giây đưa độ giống từ 0,684 lên 0,747 (6,8σ) nhưng độ vụn không đổi. Mẫu dài sửa «có giống mình không», không sửa tiếng khực. Bộ chấm điểm mẫu tự dựng của chúng tôi xếp ngược hẳn kết quả thật, nên đã bị bỏ.

Giới hạn và điều chưa biết

• Tiếng Việt tệ hơn tiếng Anh gấp ba: 2,9% khung mất tiếng so với 1,0% (biên độ nhiễu 0,7 điểm phần trăm). Phụ âm bị đổi: «Gà gáy vang trời» thành «cáo kẽ vang trời», «hỏi» thành «khỏi». Chưa sửa được.
• Lọc sau không cứu được: khử nhiễu bản ra làm độ phẳng xấu hơn; tách karaoke và khử vang làm độ giống tụt 0,028. Phần không trong nằm ngay trong hoà âm máy sinh.
• Bài nguồn cũng quyết định: bản ra bẩn gấp 2-3,6 lần nguồn. Nguồn độ phẳng 0,0047 ra khoảng 0,011; bản rip cắt 16 kHz (0,0070) ra khoảng 0,025.
• Ngưỡng cảnh báo 1,5% dựa trên ba điểm đo (2,14%, 0,94-1,03%, 0,79%). Trình thu âm tắt khử vọng, khử ồn, tự chỉnh mức thu: cách làm chuẩn nhưng chưa đo với micrô thật.
• Tinh chỉnh theo từng giọng của bộ đổi giọng ấy nâng một điểm giống giọng từ 0,64 lên 0,73 trong một phép thử, nhưng điểm đó do chính bộ mã hoá giọng bên trong bộ đổi giọng chấm, nên thiên vị bản ra của nó. Một lần kiểm sau bằng bộ so giọng độc lập cho thấy không có lợi ích (0,647 cả hai). Site từ đó chuyển sang một cách học riêng theo giọng khác, nên các số «không huấn luyện» trong bài này mô tả đường ống trước đó.

Áp dụng thế nào khi tự tạo bản cover

1. Hát, đừng nói. Giọng nửa nói, cuối câu lạo xạo bị chép nguyên vào bản ra.
2. Thu 20-40 giây tiếng hát ở chỗ yên tĩnh. Site dùng 24 giây hát; dưới 15 giây sẽ có cảnh báo.
3. Xem hộp cảnh báo vài giây sau khi tải lên. Từ 1,5% trở lên thì thu lại mẫu.
4. Dùng tệp bài chất lượng cao. Bản rip cắt ở 16 kHz thì beat cũng cắt ở đó; site báo khi nguồn dưới 17 kHz.
5. Chọn mẫu gần tầm giọng của bài. Hạ một quãng tám (bài nữ, mẫu nam), đo một lượt: jitter 1,28% so với 0,75% khi giữ tông, đổi lại độ giống mẫu 0,74 so với 0,52.
6. Bài tiếng Việt: nghe lại các chữ dễ bị đổi phụ âm như h/kh, g/c.