AI가 내 비트에 부른 노래가 랩처럼 들리는 이유

완성된 비트를 올리고 가사를 붙여 넣은 뒤 “발라드”를 골랐는데, 돌아온 것은 말하는 랩에 가깝고 가사가 음악과 어울리지 않는 듯한 결과입니다. MuziAI 사용자 한 분이 정확히 이런 말로 불만을 남겼습니다. “랩으로 잘못 들은 줄 알았다”, 음악과 가사가 “따로 논다”, AI가 “가사를 지어냈다”, “계속 울부짖었다”. 저희는 무엇이든 고치기 전에 그분이 생성한 세 곡을 모두 측정했습니다. 짧게 답하면, 보컬은 한 번도 키가 틀리지 않았습니다. 그분이 들은 것은 네 마디 늦은 진입, 노래보다 말에 가까운 창법, 그리고 도구가 처음부터 새로 쓴 멜로디였습니다. 앞의 두 가지는 일부 고칠 수 있습니다. 세 번째는 고칠 수 없습니다.

불만: 수정 전에 측정한 세 번의 실행

사용자는 리드 보컬 파트가 32.5초에 들어오는 276.5초 길이, 60 BPM 반주 위에 가사 48줄을 붙여 넣었습니다.

실행 1에서는 빈 줄 없이 이어진 마흔여덟 줄이 하나의 벌스로 읽혔습니다. 모델은 정확히 네 마디 늦게 들어와 반쯤 말하듯 끝까지 불렀습니다. 실행 2와 3은 제때 시작했지만 11초 동안 “후 후 후”가 들어 있었는데, 이는 사용자가 가사에 적어 넣은 허밍만으로 된 구간이었습니다.

세 번의 실행 모두 보컬의 키를 비트와 대조해 보았습니다. 세 번 모두 키가 맞았습니다. “따로 논다”는 느낌은 다른 데서 옵니다. 반주에는 반주만 있고 보컬 멜로디는 없으니, 도구는 가사에 맞춰 완전히 새로운 멜로디를 작곡합니다. 그 가사를 다른 선율로 알고 있는 사람은 익숙한 가사를 낯선 선율로 듣게 되고, 그 어긋남을 “키가 틀렸다”로 받아들입니다. 원래 멜로디가 입력에 없으니, AI 비트 보컬 도구의 어떤 알고리즘으로도 이것은 고칠 수 없습니다.

서스테인: 노래와 말을 가르는 숫자

“말하는 것처럼 들린다”는 불만을 시험하려고 측정값을 하나 만들었습니다. 목소리가 나는 시간 중 0.6초 이상 일정하게 유지된 음 안에 있는 비율입니다. 사이트의 완성곡에서 분리한 보컬로, 곡마다 가운데 90초를 써서 기준을 맞췄습니다.

실행 1은 0.139로 정확히 랩의 영역입니다. 서스테인이 0.2 미만인 “발라드”는 정말로 랩처럼 들리니, 그 불만은 까다로운 트집이 아니라 정확한 묘사였습니다. 실행 2와 3의 0.262와 0.283은 울부짖는 소리 때문에 부풀려진 값입니다. 가사가 있는 부분만 세면 0.22-0.25로 떨어져 발라드 범위의 아래 끝에 걸칩니다.

도구가 진입점, 키, 구조를 찾는 방법

보컬이 들어오는 지점

모델이 0초부터 부르게 두면 79%의 곡에서 인트로 위로 노래를 덮어 버립니다. 정답을 아는 57곡(사이트의 비트와 분리한 보컬)으로 측정한 값입니다. 처음 만든 규칙 “음악이 가장 크게 바뀌는 곳에서 들어온다”는 예상대로 실패했습니다. 다른 사용자의 비트에서 16.5초를 골랐는데, 바로 큰 악기 리프가 시작되는 지점이었습니다. 지금 규칙은 조건을 하나 더합니다. 음악이 커지는 곳에서는 절대 들어오지 않는다. 처음 40초 안의 네 마디 경계를 살펴, 음악이 2 dB 넘게 커지는 곳은 빼고, 그다음에 가장 큰 변화를 고릅니다. 결과: 64.9%의 곡에서 ±1마디 안에 들고, 오차 중앙값은 0.5마디이며, 여전히 인트로 위로 노래하는 곡은 1.8%뿐입니다. 그 다른 사용자의 비트도 이제 정확히 32.0초에 들어옵니다.

노래 모델에 특정 구간 안에서만 생성하라고 지시할 수는 있지만, 그 구간 밖에서는 모델이 비트 전체를 보컬 트랙에 복사합니다. 그래서 도구는 진입점에서 비트를 자르고, 나머지 위에 노래를 부른 뒤, 보컬을 원래 시점에 정확히 되돌려 놓고, 보컬 분리기에 통과시켜 새어 들어온 드럼과 기타 소리를 걷어 냅니다.

키와 가사 구조

예전 키 감지기는 방법 하나만 써서 키를 아는 48곡 중 40곡을 맞혔습니다. 새 감지기는 세 가지 방법이 투표하게 하고, 과반이 없으면 아무 말도 하지 않습니다. 틀린 힌트보다는 힌트가 없는 편이 낫기 때문입니다. 결과는 46/48입니다. C# minor로 읽히던 샘플 비트 하나는 이제 3표 중 3표로 B major입니다.

도구는 반복되는 줄의 묶음도 찾아 구간을 나누고, 가장 많이 반복되는 묶음을 후렴으로 봅니다. 구간 표시가 된 300곡에서 구조를 찾아낸 비율은 96%, 후렴 줄을 맞힌 비율은 87%, 벌스를 후렴으로 잘못 판정하지 않은 비율은 92%였습니다. 이 사용자의 가사에서는 그분이 직접 단 구간 표시를 그대로 재현했습니다. 허밍만 있는 구간은 간주가 됩니다. 테이크마다 채점하고(CPU로 약 15초), 진입이 늦으면 최대 두 번까지 다시 부릅니다. 사용자의 입력을 그대로 다시 돌린 결과, 늦은 진입은 1.1초와 0.0초, 가사 커버리지는 0.906과 0.921이었습니다.

긴 테이크 하나, 아니면 구간마다 테이크 하나

말하듯 부르는 창법은 더 어렵습니다. 보컬 설명을 바꿔 써도 도움이 되지 않았습니다. 설명 세 가지를 각각 시드 세 개로 돌린 결과, 기본값 0.203, 0.150, 0.200, “soft breathy” 0.217, 0.183, 0.180, “slow ballad, long sustained notes, legato” 0.189, 0.201, 0.174였습니다. 실제로 효과가 있는 변수는 한 번 생성하는 길이입니다. 같은 비트, 가사, 설명으로 244초짜리 한 테이크로 부르거나, 구간마다 약 100초씩 나눠 불렀습니다.

구간별로 부르면 발라드가 랩 범위에서 발라드 범위로 옮겨 갑니다. 문제는 따로 생성한 두 구간이 서로 다른 두 가수라는 점입니다. 한 테이크의 두 절반은 목소리 유사도가 0.89-0.97이지만, 같은 시드로 따로 생성한 구간 A와 B는 0.57, 0.68, 0.84에 그쳤습니다. 곡 전체 테이크를 음색 참고로 다시 넣으면 목소리는 하나로 유지되지만(0.886, 기준 0.80), 그 테이크의 창법까지 끌려옵니다. 서스테인이 약 0.30이 아니라 0.181에서 0.202로만 오릅니다. 작업마다 오 분 넘게 더 걸리기 때문에 이 단계는 꺼 두었습니다.

한계와 열린 질문

• 시도했다가 같은 날 뺀 것: 서스테인이 0.2 미만인 발라드를 다른 시드로 다시 부르기. 시드 7개로 13테이크를 돌렸더니 서스테인이 0.093과 0.217 사이에서 무작위로 나왔고, 작업마다 약 오 분이 더 걸렸습니다. 늦은 진입 재시도는 남겨 두었습니다. 늦은 진입은 시드를 따라가기 때문입니다(대략 3테이크에 1번).
• 진입 감지기는 64.9%의 곡에서 ±1마디 안에 드니, 대략 셋 중 하나에서는 그보다 더 빗나갑니다.
• 키 감지기는 나란한조를 보고할 수 있습니다. 샘플 비트 하나가 F로 나왔는데 악보에는 D minor로 적혀 있었습니다(72 BPM 템포는 정확했습니다).
• 긴 곡에서 말하듯 부르는 창법은 아직 실제 서비스에서 해결책이 없습니다. 이미 있는 길게 끈 노래 소절을 음색 참고로 쓰는 방법은 시험하지 않았습니다.
• 기존 곡의 원래 멜로디는 노래방 반주에서 되살려 낼 수 없습니다.

노래를 만들 때 이것이 의미하는 것

1. 구간 사이에 빈 줄을 두거나, [Verse]와 [Chorus]로 표시하세요. 한 덩어리로 붙여 넣은 가사가 16.1초 늦은 진입을 일으켰습니다.
2. 듣고 싶은 게 아니라면 가사에 허밍을 적지 마세요. 허밍만 있던 구간이 11초 동안의 울부짖음이 되었습니다.
3. 결과 페이지에서 도구가 보고한 BPM과 키를 확인하세요. BPM이 확실히 틀렸다면 비트의 템포가 바뀌거나 박자가 자유로운 인트로로 시작한다는 뜻일 수 있습니다.
4. 사용할 권리가 있는 녹음의 멜로디를 살리고 싶다면 AI 비트 보컬이 아니라 AI 커버를 쓰세요. AI 커버는 가수의 목소리가 담긴 녹음을 듣기 때문에 멜로디는 그대로 두고 목소리만 바꿉니다. AI 비트 보컬은 작곡 도구로, 가사에 새 멜로디를 붙여 줍니다.
5. 길게 끄는 발라드가 필요하고 한 구간만 쓸 거라면, 그 구간의 가사만 도구에 주세요. 약 100초짜리 테이크가 244초짜리보다 확실히 더 길게 끕니다. 새 노래는 MuziAI 홈페이지에서 시작합니다.