노래와 악기 분리: 비트와 보컬을 따로 추출

보컬 분리기는 어떻게 작동하나요

노래를 업로드하면 GPU 서버가 곡 전체에 보컬 분리기를 돌리고, MP3 파일 두 개를 돌려드립니다. 비트(보컬을 뺀 모든 소리)와 보컬(목소리만)입니다. 보컬 분리기는 노래를 주파수 대역별, 순간별로 살펴보면서 어떤 에너지가 사람 목소리에 속하고 어떤 에너지가 악기에 속하는지 판단합니다.

사람들이 잘 눈치채지 못하는 점이 하나 있습니다. 분리된 보컬은 완전한 무음을 그대로 유지합니다. 저희가 측정한 곡들에서 분리된 보컬 길이의 23~39%가 완전한 무음이었고, 정확히 가수가 쉬는 자리였습니다. 그래서 분리된 보컬로 리믹스할 때 곡 전체에 배경 잡음층을 끌고 다니지 않습니다.

MuziAI는 AI 커버의 첫 단계에도 이 분리기를 쓰기 때문에 두 도구의 비트 품질이 같습니다. 같은 파일을 두 경로로 돌리면 똑같은 비트가 나옵니다.

걸리는 시간

분리는 곡당 처리 시간 약 60~75초가 걸립니다. 업로드와 다운로드를 포함하면 페이지에서는 1~2분으로 안내합니다. 아래 측정값처럼 곡이 길수록 더 오래 걸립니다.

한 사람이 한 번에 한 곡씩 분리할 수 있습니다. GPU가 다른 작업으로 바쁘면 작업은 메모리가 충분해질 때까지 기다렸다가 시작하고, 메모리 부족으로 실패하면 스스로 다시 시도하므로 가끔 대기열이 생깁니다. MuziAI에서 만든 노래는 업로드 없이 노래 페이지에서 바로 분리할 수 있습니다.

분리 품질: 측정된 수치

분리기가 얼마나 잘 작동하는지 알려면 정답이 알려진 사례가 필요합니다. 저희는 깨끗한 보컬을 실제 곡의 비트에 섞은 뒤 분리기로 다시 뽑아냈습니다. 분리된 보컬은 원래의 깨끗한 보컬과 19.9 dB SDR로 일치했습니다. 쉽게 말해 오차가 에너지 기준으로 실제 보컬보다 약 백 배 작습니다.

반대 방향도 측정했습니다. 테스트 곡의 비트를 다시 분리했을 때 비트에 남은 원래 보컬은 −70 LUFS에 불과해 사실상 들리지 않는 수준이었습니다.

노래방 전용 분리기, 그리고 분리기에 디리버브를 결합한 방식으로 바꿔 보기도 했습니다. 둘 다 보컬이 더 지저분하게 나왔습니다(스펙트럼 잡음 0.0085, 현재 분리기는 0.0070). 그래서 지금의 분리기가 저희가 측정한 것 중 여전히 가장 좋은 선택입니다.

한계: 분리가 잘 안 되는 경우

• 빽빽한 화음과 합창. 여러 목소리가 겹치면 메인 보컬과 백킹의 경계가 흐려져, 비트에 화음의 메아리가 남을 수 있습니다.
• 목소리와 같은 음역의 전자 음악. 신스나 리드 사운드가 보컬 음역에 딱 걸쳐 있으면 엉뚱한 쪽으로 분류되기 쉬워 희미하게 새어 나오는 소리가 들릴 수 있습니다.
• 대역폭이 잘린 파일. 여러 번 압축된 파일 중 상당수는 여러분 손에 오기 전에 이미 16 kHz 부근에서 잘려 있습니다. 분리기는 원본에 없는 것을 만들어 낼 수 없습니다. 한 테스트 파일은 원본과 정확히 같은 18.0 kHz까지 닿는 비트를 냈고, 심하게 압축된 파일은 16.0 kHz에서 잘린 비트를 냈습니다. 비트가 답답하게 들린다면 원본 파일이 원인입니다.
• 스피커로 재녹음했거나 심하게 압축된 파일. 방 울림과 압축 잡음이 보컬과 음악 양쪽에 달라붙어 분리해 낼 수 없습니다.
• 완벽한 분리는 없습니다. 목소리와 음악은 같은 주파수 대역에서 겹치므로, 군데군데 비트에 보컬의 흔적이, 보컬에 음악의 흔적이 남을 수 있습니다.

팁: 고음질 원본 파일(320 kbps MP3, M4A, WAV, FLAC)을 쓰세요. 기타, 피아노, 목소리 하나로 된 어쿠스틱 녹음이 보통 가장 깨끗하게 분리됩니다.

결과물 활용하기

• 자동 믹스. 비트와 보컬 녹음을 자동 믹스 페이지에 넣으면 필터, EQ, 압축, 리버브를 적용하고 보컬과 음악의 균형을 맞춘 뒤 −14 LUFS로 마스터링합니다. 보컬 균형 기준은 실제로 트랙이 나뉜 144곡에서 가져왔습니다. 모든 처리가 브라우저에서 이루어지며, 4분짜리 곡은 약 12초면 끝나고 파일은 기기 밖으로 나가지 않습니다.
• 음악 믹서. «믹서에서 열기» 버튼을 누르면 방금 분리한 비트와 보컬이 미리 불러와집니다. 트랙마다 볼륨, 팬, 음소거, 솔로를 정하고 WAV로 내보낼 수 있으며, 이것도 브라우저 안에서 바로 됩니다.
• 다시 부르기. 비트로 노래방을 하거나, 곡을 AI 커버로 가져가 원래 비트 위에 내 목소리로 부르게 하세요.
• 음악이 새어 들어간 보컬 트랙 정리. MuziAI도 분리기를 직접 이렇게 씁니다. 기타와 드럼 소리가 섞인 보컬 트랙의 비트 고정 점수가 0.736이었는데, 분리기를 거친 뒤 0.257로 떨어져 실제 사람 가수(0.254)와 비슷해졌습니다.
• 보컬 연습과 편곡 공부. 보컬만 들으며 호흡과 프레이징을 익히고, 비트만 들으며 베이스, 드럼, 화성이 어떻게 짜였는지 들어 보세요.

개인정보

업로드한 파일은 분리가 끝나자마자 삭제됩니다. 분리된 두 파일은 24시간 후 스스로 삭제됩니다. 비공개 링크에만 존재하고, 이를 가리키는 공개 페이지가 없으며, 검색 엔진이 색인하지 않도록 표시되어 있습니다. 업로드하는 녹음에 대한 권리를 갖추는 것은 이용자의 책임입니다.

자주 묻는 질문

분리한 비트로 바로 노래방을 할 수 있나요?

네. 비트는 원곡과 길이가 같은 MP3라서 내려받아 바로 따라 부를 수 있습니다. 팝, 발라드, 어쿠스틱 곡은 대개 깨끗하고, 화음이 많은 곡은 후렴에 희미한 메아리가 남을 수 있습니다.

왜 비트가 답답하게 들리나요?

거의 항상 원본 파일 때문입니다. 여러 번 압축된 파일은 대개 이미 16 kHz 부근에서 잘려 있고, 분리된 비트도 같은 지점에서 잘립니다. 고음질 원본으로 다시 분리하면 확실히 달라집니다.

드럼, 베이스, 피아노만 따로 분리할 수 있나요?

아직은 안 됩니다. 이 도구는 비트와 보컬, 두 부분으로 돌려드립니다. 비트 안의 파트를 조정하려면 다른 트랙과 함께 믹서에 넣어 보세요.

분리된 파일은 얼마 동안 보관되나요?

24시간 보관된 뒤 스스로 삭제됩니다. 보관하려면 내려받으세요. 다시 분리하려면 노래를 한 번 더 업로드하면 되고, 매번 한두 분 정도 걸립니다. 더 많은 가이드는 블로그에 있습니다.

관련 연구

• 브라우저에서 보컬 믹싱: 목표값은 어디서 왔나
• AI 커버가 거칠게 들리는 이유와 측정 방법