AI cover nhạc bằng chính giọng của bạn

Ba khâu: tách, đổi âm sắc, trộn lại

Một bản AI cover trên MuziAI đi qua ba khâu nối tiếp. Khâu một tách bài hát thành beat và giọng hát bằng bộ tách giọng, đúng bộ tách mà công cụ tách nhạc đang dùng. Khâu hai đưa riêng phần giọng qua bộ đổi giọng: cao độ, nhịp và cách ngắt câu giữ nguyên, chỉ âm sắc được thay bằng âm sắc trong mẫu của bạn. Khâu ba trộn giọng mới trở lại đúng beat gốc rồi cân âm lượng cả bài.

Vì sao không cho máy hát lại cả bài từ đầu? Vì beat là thứ người nghe nhận ra trước tiên. Khi chạy cùng một tệp qua công cụ tách và qua đường cover, hai bản beat ra giống hệt nhau và đúng bằng băng thông của tệp nguồn, tức phần nhạc không bị làm hỏng thêm. Phần trình diễn cũng là của bản gốc: to nhỏ lúc nào, luyến chỗ nào đều theo người hát gốc. Trong lần chấm đầu tiên, giai điệu của giọng mới lệch so với giọng gốc trung vị 0,00 nửa cung, với 92,6% khung nằm trong khoảng một nửa cung.

Sau khâu đổi giọng còn vài bước hậu kỳ, mỗi bước chỉ bỏ đi thứ mà bản gốc không có:

• Cổng im theo giọng gốc: bộ đổi giọng không bao giờ ra im lặng thật, nền của nó ở khoảng −48 dB. Chỗ nào ca sĩ gốc im thì giọng mới cũng được tắt, nền xuống còn −93,6 dB.
• Khớp đường bao: to nhỏ bám theo người hát gốc, bớt những chỗ mất tiếng lẻ tẻ giữa chữ.
• Chặn rít ở ba dải 2-4, 4-8 và 8-16 kHz khi một khung vượt hẳn mức thường của chính nó.
• Vang stereo: giọng ra là mono, nên máy phủ vang và dò lượng vang tới khi độ rộng bằng giọng gốc.
• Master theo bài gốc: cân bằng tần số bám theo chính bài bạn tải lên (lệch còn 0,24 dB thay vì 0,47 dB), độ to chuẩn −14 LUFS.

Mẫu giọng thế nào thì bản cover tốt

Mẫu giọng quyết định hai chuyện khác nhau: bản cover có giống bạn không, và có trong không. Mỗi chuyện chịu ảnh hưởng của một yếu tố riêng.

Độ dài: 24 giây hơn 12 giây

Máy dùng khoảng 24 giây tiếng hát sau khi đã bỏ chỗ lấy hơi. Ban đầu chúng tôi chỉ dùng 12 giây vì cho rằng mẫu dài không giống hơn. Đo lại, năm lượt mỗi nhánh, thì mọi đoạn 24 giây đều cho giọng giống hơn mọi đoạn 12 giây, ở mọi vị trí trong bản thu. Mẫu dài bền hơn vì nó trung bình được cả chỗ hát hay lẫn chỗ hát dở. Vì vậy hãy thu 20 đến 40 giây: máy cần phần dư để còn chỗ chọn.

Vị trí đoạn quan trọng ngang độ dài

Cùng 12 giây, lấy ở đầu bản thu hay lấy ở giữa cho kết quả khác hẳn: độ nhiễu phổ của bản ra giảm gần ba lần khi lấy đúng chỗ. Nên máy không cắt đoạn đầu tiên mà ghép 24 giây từ những mẩu 1 giây ít rè nhất trong mẫu, sau khi bỏ khoảng lặng bằng một ngưỡng tự chỉnh theo nền ồn của bản thu. Trên một bản thu điện thoại dài 37,2 giây, ngưỡng này bỏ được 5,6 giây quãng nghỉ, trong khi ngưỡng cố định không bỏ được giây nào.

Mẫu rè thì bản cover rè

Bộ đổi giọng chép luôn chất giọng của mẫu. Cùng một bài, chỉ đổi mẫu: mẫu hát sạch cho bản ra có độ rè 0,92%, mẫu thu điện thoại rè cho bản ra 1,67%, tức tệ hơn 81%. Mẫu dài hơn sửa được chuyện «nghe có giống mình không», nhưng không sửa được tiếng lạo xạo. Chỉ mẫu sạch hơn mới sửa được.

Vì thế máy đo độ rè của mẫu ngay đầu lượt chạy, khoảng 11 giây sau khi bắt đầu, và hiện cảnh báo khi độ rè từ 1,5% trở lên. Mốc ấy nằm giữa các giọng hát sạch chúng tôi đo được (0,94 đến 1,03%) và mẫu rè đầu tiên gặp phải (2,14%). Trang cũng báo khi mẫu có dưới 15 giây tiếng hát, hoặc gần như không có tiếng hát rõ. Thu lại thì nhớ: hát chứ đừng nói, giữ giọng thẳng tới cuối câu, một mình, không nhạc nền, phòng yên, điện thoại cách miệng một gang tay.

Mất bao lâu

Đây là thời gian máy chạy, chưa kể xếp hàng. Lần đầu lâu hơn vì máy phải học giọng bạn ngay trong lượt chạy; lượt sau dùng lại mô hình ấy. Bạn có thể đóng tab, trang kết quả tự cập nhật theo từng bước.

Đổi ngôn ngữ và chọn giới giọng AI

Khi hát bài sang ngôn ngữ khác, máy nghe lời gốc, dịch giữ số dòng và số âm tiết, cho mô hình hát hát lời mới theo giai điệu cũ rồi đặt lên beat gốc. Một bài 189 giây chạy hết 580 giây. Hiện có 8 ngôn ngữ đích; tiếng Nhật tạm chưa mở vì lời hát ra còn khó nghe.

Bạn chọn Cùng giới ca sĩ gốc, Giọng nữ hoặc Giọng nam. Lựa chọn giới chỉ đổi âm sắc; mô hình hát vẫn hát ở cao độ bài gốc. Nếu giọng ra lệch hẳn tầm của giới đã chọn (giọng nam trên 320 Hz, giọng nữ dưới 244 Hz), máy dời cả giọng tròn một quãng tám để vẫn đúng hoà âm với beat. Cái giá: giọng nam bị hạ quãng tám nghe có độ ráp. Muốn giọng sạch nhất, hãy chọn cùng giới với ca sĩ gốc.

Giới hạn

• Tiếng Việt kém tiếng Anh. Đo trên cùng bộ đổi giọng, tỉ lệ khung mất tiếng là 2,9% với tiếng Việt và 1,0% với tiếng Anh. Đây là giới hạn của mô hình, không phải lỗi tệp của bạn.
• Phụ âm có thể bị đổi. Trong bản thử, «Gà gáy vang trời» thành «cáo kẽ vang trời», «hỏi» thành «khỏi». Giai điệu giữ được, phụ âm thì không phải lúc nào cũng giữ được.
• Nguồn chất lượng thấp. Tệp đã bị nén nhiều lần thường đã bị cắt ở khoảng 16 kHz. Giọng ra thường nhiễu gấp 2 đến 3,6 lần giọng đã tách, nên nguồn bẩn kéo bản cover bẩn theo. Trang kết quả báo thẳng khi nguồn dưới 17 kHz.
• Phần chưa trong nằm trong hoà âm. Nó không phải một lớp nhiễu phủ lên trên mà nằm ngay trong hoà âm máy sinh ra, nên lọc nhiễu sau đó không cứu được. Chúng tôi đã thử lọc lại bản ra theo ba cách, không cách nào tốt hơn.
• Lệch tầm giọng. Bài giọng nữ cao mà mẫu là giọng nam: giữ tông thì giọng bạn bị ép lên tầm nữ và nghe giống ca sĩ gốc hơn; hạ một quãng tám thì giống bạn hơn nhưng ồm hơn. Đây là giới hạn vật lý, không riêng mô hình nào.
• Cách hát vẫn là của ca sĩ gốc. Luyến láy, ngắt câu, lấy hơi giữ nguyên, chỉ chất giọng đổi.

Quyền riêng tư

Bài hát và mẫu giọng bị xoá ngay khi làm xong. Mô hình giọng máy học từ mẫu của bạn được giữ riêng 24 giờ kể từ lần dùng cuối, chỉ để lượt cover tiếp bằng cùng mẫu nhanh hơn, rồi tự xoá; nó không dùng cho ai khác. Bản cover giữ 24 giờ, chỉ ai có đường dẫn mới nghe được, và tệp nhạc bị chặn lập chỉ mục trên công cụ tìm kiếm.

Khi nào không nên dùng

• Bạn muốn cover bằng giọng ca sĩ hay người khác: công cụ chỉ nhận giọng của chính bạn.
• Bạn muốn bản cover nghe như chính bạn tự hát bài ấy theo cách của mình.
• Bạn chỉ có tệp chất lượng thấp, hoặc bài nhiều bè, hợp xướng.
• Bạn cần phát âm tiếng Việt chuẩn từng phụ âm để phát hành.
• Bạn chỉ cần beat để hát karaoke: tách nhạc nhanh hơn nhiều.
• Bạn muốn một bài hoàn toàn mới: tạo bài hát bằng AI rồi quay lại đây.

Câu hỏi thường gặp

Thu mẫu bằng điện thoại có được không?

Được. Điều cần tránh là tiếng lạo xạo: nói thay vì hát, hạ giọng cuối câu, phòng ồn. Nếu trang báo mẫu rè từ 1,5% trở lên, thu lại một lần thường đáng hơn mọi chỉnh sửa khác.

Vì sao lần đầu lâu hơn lần sau?

Lần đầu máy học giọng bạn từ mẫu, nên một bài 4 phút mất khoảng 10 phút. Mô hình ấy được giữ 24 giờ kể từ lần dùng cuối, nên cover tiếp bằng đúng mẫu đó chỉ còn khoảng 6 phút.

Tôi nên dùng tệp nào, và có giới hạn gì?

Chỉ dùng bản ghi bạn sở hữu hoặc có quyền sử dụng; MuziAI không tải nhạc từ YouTube hay bất kỳ nền tảng nào và không hỗ trợ việc sao chép bài có bản quyền. Về chất lượng: tệp đã bị nén nhiều lần thường bị cắt ở khoảng 16 kHz nên nghe đục, vì beat và giọng không thể sạch hơn tệp nguồn. MP3 320 kbps, M4A, WAV hoặc FLAC gốc cho kết quả tốt hơn hẳn.

Vì sao có câu nghe ồm hoặc vỡ ở nốt thấp?

Thường là câu ấy rơi xuống dưới tầm giọng trong mẫu của bạn. Máy tự tìm những câu như vậy, đổi lại chúng ở quãng tám cao hơn rồi ghép lại ở chỗ không có tiếng hát gần nhất. Nếu cả bài vẫn ồm, hãy chạy lại với Giữ nguyên tông bài.

Nghiên cứu liên quan

• AI cover nghe rè vì đâu? Những gì chúng tôi đo được
• Tiếng Việt qua AI hát: nghe lại được bao nhiêu lời?