내 목소리로 AI 커버 노래 만들기

세 단계: 분리하고, 음색을 바꾸고, 다시 믹스합니다

MuziAI의 AI 커버는 세 단계를 차례로 거칩니다. 첫 번째 단계에서는 보컬 분리에 쓰는 것과 같은 보컬 분리기로 노래를 비트와 보컬로 나눕니다. 두 번째 단계에서는 보컬만 음성 변환기에 넣습니다. 음높이, 타이밍, 프레이징은 그대로 두고 음색만 샘플 속 음색으로 바꿉니다. 세 번째 단계에서는 새 보컬을 원래 비트 위에 다시 믹스하고 곡 전체의 음량 균형을 맞춥니다.

왜 처음부터 기계가 곡 전체를 새로 부르게 하지 않을까요? 듣는 사람이 가장 먼저 알아보는 것이 비트이기 때문입니다. 같은 파일을 보컬 분리와 커버 파이프라인에 각각 넣어 보니 두 비트가 똑같이 나왔고 원본 파일의 대역폭과도 일치했습니다. 즉 음악이 더 손상되지 않습니다. 가창도 원곡의 것입니다. 어디서 커지고 작아지는지, 음과 음 사이를 어디서 미끄러지듯 잇는지는 원래 가수를 따릅니다. 첫 평가에서 새 보컬의 멜로디는 원곡과 중앙값 0.00 반음 차이였고, 프레임의 92.6%가 반음 하나 이내에 들었습니다.

음색을 바꾼 뒤에는 몇 가지 후처리를 거치며, 각 단계는 원곡에 없는 것만 걷어 냅니다.

• 원래 보컬이 여닫는 게이트: 음성 변환기는 완전한 무음을 내지 못하고 노이즈 바닥이 −48 dB 안팎에 머뭅니다. 원래 가수가 쉬는 곳에서는 새 보컬도 묵음으로 만들어 바닥을 −93.6 dB까지 내립니다.
• 엔벨로프 맞추기: 음량이 원래 가수를 따라가므로 단어 사이에 소리가 살짝 끊기는 현상이 줄어듭니다.
• 휘파람 소리 제거: 2-4, 4-8, 8-16 kHz 세 대역에서, 한 프레임이 평소 자기 수준보다 크게 튀어 오를 때 작동합니다.
• 스테레오 리버브: 변환된 보컬은 모노이므로, 리버브를 더하고 그 폭이 원래 보컬과 같아질 때까지 조정합니다.
• 원곡 기준 마스터링: 음색 균형이 업로드한 곡을 따르며(편차 0.47 dB에서 0.24 dB로 감소), 표준 −14 LUFS에 맞춥니다.

좋은 목소리 샘플의 조건

샘플은 서로 다른 두 가지를 결정합니다. 커버가 내 목소리처럼 들리는지, 그리고 깨끗하게 들리는지입니다. 둘은 각각 다른 요인에 달려 있습니다.

길이: 24초가 12초보다 낫습니다

시스템은 숨소리와 쉼을 뺀 노래 약 24초를 사용합니다. 처음에는 샘플이 길어도 더 닮게 들리지는 않으리라 보고 12초만 썼습니다. 그런데 갈래마다 다섯 번씩 측정해 보니, 녹음의 어느 위치에서 잘라도 모든 24초 구간이 모든 12초 구간보다 가수와 더 닮게 들렸습니다. 긴 샘플은 좋은 구간과 약한 구간을 평균 내므로 더 안정적입니다. 그러니 20초에서 40초를 녹음하세요. 시스템이 고를 여유가 조금 필요합니다.

길이만큼 위치도 중요합니다

같은 12초라도 녹음 앞부분에서 가져오느냐 중간에서 가져오느냐에 따라 결과가 크게 다릅니다. 알맞은 구간을 쓰자 출력의 스펙트럼 잡음이 거의 3분의 1로 줄었습니다. 그래서 시스템은 앞부분을 그냥 잘라 쓰지 않습니다. 녹음의 배경 소음에 맞춰 바뀌는 임계값으로 무음을 다듬은 뒤, 샘플에서 가장 덜 거친 초 단위 조각들을 모아 24초를 만듭니다. 휴대폰으로 녹음한 37.2초짜리 샘플에서 이 임계값은 쉼 5.6초를 걸러 냈지만, 고정 임계값은 하나도 걸러 내지 못했습니다.

거친 샘플은 거친 커버를 만듭니다

음성 변환기는 샘플의 음질까지 그대로 베낍니다. 같은 곡에서 샘플만 바꿨을 때, 깨끗하게 부른 샘플은 거칠기 0.92%의 결과를, 거친 휴대폰 녹음은 1.67%의 결과를 냈습니다. 81% 더 나쁜 수치입니다. 샘플을 길게 하면 내 목소리처럼 들리는 문제는 해결되지만, 자글자글한 질감은 해결되지 않습니다. 그것은 더 깨끗한 샘플로만 고칠 수 있습니다.

그래서 시스템은 작업이 시작되자마자, 약 11초 시점에 샘플의 거칠기를 측정하고 1.5% 이상이면 경고를 띄웁니다. 이 기준은 저희가 측정한 깨끗한 노래 목소리(0.94~1.03%)와 처음 만난 거친 샘플(2.14%) 사이에 있습니다. 노래 부분이 15초 미만이거나 또렷하게 부른 부분이 거의 없을 때도 경고합니다. 다시 녹음할 때는 말하지 말고 노래하세요. 프레이즈 끝까지 목소리를 일정하게 유지하고, 혼자, 반주 없이, 조용한 방에서, 휴대폰을 입에서 손바닥 너비 정도 떨어뜨려 녹음하세요.

걸리는 시간

대기 시간을 뺀 처리 시간입니다. 처음 실행할 때는 그 과정에서 시스템이 목소리를 학습하므로 더 오래 걸리고, 이후에는 그 모델을 다시 씁니다. 탭을 닫아도 되며, 결과 페이지가 단계별로 알아서 업데이트됩니다.

언어 바꾸기와 AI 목소리 성별 선택

다른 언어로 부른 노래가 있으면 시스템이 원래 가사를 받아 적고, 줄 수와 음절 수를 그대로 유지하며 번역한 뒤, 노래 모델이 새 가사를 기존 멜로디에 맞춰 부르게 하고, 그 결과를 원래 비트 위에 올립니다. 189초짜리 곡에 580초가 걸렸습니다. 대상 언어는 여덟 가지이며, 일본어는 부른 가사가 아직 알아듣기 어려워 열지 않았습니다.

원곡 가수와 같은 성별, 여성 목소리, 남성 목소리 가운데 하나를 고릅니다. 성별 선택은 음색만 바꾸며, 노래 모델은 여전히 원곡의 음높이로 부릅니다. 결과가 고른 음역에서 크게 벗어나면(남성 보컬이 320 Hz 위, 여성 보컬이 244 Hz 아래) 비트와 화음이 어긋나지 않도록 보컬 전체를 정확히 한 옥타브 옮깁니다. 대가도 있습니다. 한 옥타브 내린 남성 보컬은 다소 거칠게 들립니다. 가장 깨끗한 보컬을 원한다면 원래 가수와 같은 성별을 고르세요.

한계

• 베트남어는 영어보다 약합니다. 같은 음성 변환기로 측정했을 때 소리가 빠지는 프레임 비율이 베트남어 2.9%, 영어 1.0%였습니다. 모델의 한계이지 파일 문제가 아닙니다.
• 자음이 바뀔 수 있습니다. 테스트에서 «Gà gáy vang trời»는 «cáo kẽ vang trời»가 되었고, «hỏi»는 «khỏi»가 되었습니다. 멜로디는 유지되지만 자음은 늘 유지되지는 않습니다.
• 음질이 낮은 원본. 여러 번 압축된 파일은 대개 16 kHz 부근에서 이미 잘려 있습니다. 출력 보컬은 보통 분리된 보컬보다 2~3.6배 잡음이 많으므로, 원본이 지저분하면 커버도 함께 나빠집니다. 원본이 17 kHz 미만이면 결과 페이지에서 분명히 알려 드립니다.
• 남는 흐릿함은 배음 안에 있습니다. 위에 덮인 잡음층이 아니라 모델이 만들어 내는 배음의 일부라서, 나중에 잡음을 제거해도 고칠 수 없습니다. 출력에 세 가지 방식으로 필터를 걸어 봤지만 어느 것도 낫지 않았습니다.
• 음역 불일치. 높은 여성 곡에 남성 샘플을 쓰는 경우, 키를 유지하면 목소리가 여성 음역으로 끌려 올라가 원래 가수와 더 비슷하게 들리고, 한 옥타브 내리면 내 목소리에 더 가깝지만 웅웅거립니다. 특정 모델의 문제가 아닌 물리적 한계입니다.
• 프레이징은 원래 가수의 것입니다. 미끄러지듯 잇는 음, 프레이징, 숨은 그대로 남고 목소리의 색깔만 바뀝니다.

개인정보

노래와 목소리 샘플은 작업이 끝나자마자 삭제됩니다. 샘플로 학습한 목소리 모델은 같은 샘플로 다음 커버를 더 빨리 만들기 위해서만 마지막 사용 후 24시간 동안 비공개로 보관되고, 그 뒤 스스로 삭제되며, 다른 누구를 위해서도 쓰이지 않습니다. 커버는 24시간 보관되고 링크가 있는 사람만 들을 수 있으며, 오디오 파일은 검색 엔진 색인이 차단됩니다.

이럴 때는 쓰지 마세요

• 가수나 다른 사람의 목소리로 커버하고 싶을 때: 이 도구는 본인 목소리만 받습니다.
• 내가 나만의 방식으로 그 노래를 부른 것처럼 들리는 커버를 원할 때.
• 음질 낮은 파일밖에 없거나, 곡에 화음이나 합창이 많이 들어갈 때.
• 발매를 위해 베트남어 자음 하나하나가 정확히 발음되어야 할 때.
• 노래방용 비트만 필요할 때: 보컬 분리가 훨씬 빠릅니다.
• 완전히 새로운 노래를 원할 때: AI로 만든 뒤 여기로 돌아오세요.

자주 묻는 질문

샘플을 휴대폰으로 녹음해도 되나요?

네, 됩니다. 피해야 할 것은 자글자글한 질감입니다. 노래 대신 말하기, 프레이즈 끝에서 목소리 떨어뜨리기, 시끄러운 방이 그 원인입니다. 페이지에서 샘플 거칠기가 1.5% 이상이라고 나오면, 다른 어떤 조정보다 한 번 다시 녹음하는 편이 대개 더 효과적입니다.

왜 첫 실행이 다음 실행보다 느린가요?

첫 실행에서는 시스템이 샘플로 목소리를 학습하므로 4분짜리 곡에 약 10분이 걸립니다. 그 모델은 마지막 사용 후 24시간 동안 보관되므로, 같은 샘플로 다시 커버하면 약 6분이면 됩니다.

어떤 파일을 써야 하고, 제한은 무엇인가요?

직접 소유했거나 사용할 권리가 있는 녹음만 쓰세요. MuziAI는 YouTube나 다른 플랫폼에서 음악을 내려받지 않으며, 저작권이 있는 노래를 복제하는 일을 돕지 않습니다. 음질 면에서는, 여러 번 압축된 파일은 대개 16 kHz 부근에서 잘려 있어 답답하게 들립니다. 비트와 보컬이 원본보다 깨끗할 수는 없기 때문입니다. 320 kbps 원본 MP3, M4A, WAV, FLAC을 쓰면 결과가 확실히 좋아집니다.

왜 어떤 소절은 낮은 음에서 웅웅거리거나 끊기나요?

대개 그 소절이 샘플의 음역보다 낮게 내려가기 때문입니다. 시스템은 그런 소절을 자동으로 찾아 한 옥타브 높여 다시 변환하고, 가장 가까운 무성음 지점에서 이어 붙입니다. 그래도 곡 전체가 웅웅거리면 원곡 음역 유지로 다시 실행하세요.

관련 연구

• AI 커버가 거칠게 들리는 이유와 측정 방법
• AI가 부른 베트남어, 가사는 얼마나 들릴까?