AI 커버가 거칠게 들리는 이유와 측정 방법

노래를 내 목소리로 바꾸면(AI 커버) 결과가 가끔 거칠고 지글거리며 잘게 끊어진 것처럼 들립니다. 저희는 여러 차례 시험하며 이 문제를 쫓았고, 그 과정에서 저희 측정 도구를 적어도 아홉 개는 망가뜨렸습니다. 짧게 답하면, 모든 수정 뒤에도 살아남는 지글거림은 업로드한 목소리 샘플 안에 있습니다. 변환기는 샘플의 거친 결을 복사하고, 필터로는 지울 수 없으며, 유일한 해결책은 더 좋은 샘플입니다.

첫 측정은 “음정이 틀렸다”고 했지만, 틀린 건 측정이었다

파이프라인은 세 단계입니다. 보컬 분리기가 믹스에서 노래를 뽑아내고, 음성 변환기가 샘플의 음색으로 바꾸고, 새 보컬을 원래 반주 위에 다시 얹습니다. 아래 측정의 대부분은 학습이 필요 없던 이전의 제로샷 변환기로 한 것입니다. “내 목소리”의 경우 지금은 사이트가 작업마다 작은 임시 음성 모델을 학습시키고 24시간 안에 삭제합니다.

처음 확인한 것은 원래 보컬과 새 보컬의 음높이 상관계수였습니다. 0.722로, “기계가 틀린 음을 부른다”처럼 읽힙니다. 자세히 보니 편차 중앙값은 0.00반음, MAD는 0.10이었고, 1,197개 프레임 중 33개(2.8%)가 정확히 한 옥타브씩 튀어 있었습니다. 노래 실수가 아니라 음높이 추적기의 전형적인 오류입니다. 그 프레임을 빼면 상관계수는 0.994입니다. 그 뒤로 음높이는 편차 중앙값, MAD, ±1반음 안에 드는 프레임 비율(첫 시험곡에서 92.6%)로 보고합니다.

두 번째 교훈: 변환기는 무작위입니다. 같은 설정으로 다섯 번 돌리면 0.064 폭으로 흔들리는데, 이는 저희가 비교하던 후보 목소리 다섯 개 사이의 차이 0.046보다 큽니다. 그래서 지금은 결론을 내리는 비교라면 갈래마다 최소 다섯 번씩 돌립니다. 아래의 “σ” 수치는 표준편차 단위의 차이입니다.

측정해 보면 “거칠다”는 어떤 모습인가

끊기는 소리는 귀로 들렸는데, 앞서 쓴 측정 세 가지는 모두 “문제없음”이라고 했습니다. 목소리가 끊긴 프레임 0.0%, 진폭 깊이 3.17 dB(사람 가수는 3.13), 음높이 튐 없음. 소리는 충분히 컸고 음정도 맞았지만, 배음이 잡음으로 부서져 있었습니다. 주기성 측정은 이것을 잡아냅니다.

일부는 히스 잡음입니다. 파형 생성기가 8 kHz 이상에 5~7 dB를 더합니다. 16 kHz에서 잘린 원본의 경우, 출력의 16~20 kHz 대역은 −23.2 dB로 실제 사람 목소리의 −38.7보다 높았습니다. 100% 지어낸 소리이고, 지울 수 있습니다.

하지만 지글거림은 남았습니다. 음성학에서는 거칠고 걸걸한 목소리를 지터(연이은 성대 진동 주기의 길이가 얼마나 다른지)와 시머(진폭이 얼마나 다른지)로 측정합니다. 저희가 쓰는 분석 도구에서 정상 목소리의 기준은 지터 1.04%입니다. 앞서 쓴 측정은 어느 것도 이것을 보지 못했습니다.

거친 샘플은 커버로 옮아갈까?

처음에는 그렇다고 했다가 말을 거둬들였습니다. 이 사이트를 만든 사람이 휴대폰으로 녹음한 샘플은 깨끗하게 부른 샘플보다 엔벨로프 떨림이 2.8배였지만, 곡은 그대로 두고 샘플만 바꿨더니 엔벨로프 측정으로는 출력이 10%만 나빠졌습니다. 그 측정은 주기 사이의 변화가 아니라 음량의 흔들림을 따라가기 때문입니다.

지터로 측정하자 그림이 뒤집혔습니다. 깨끗한 샘플의 출력은 0.92%, 휴대폰 샘플은 1.67%(+81%, 18.3σ)였습니다. 휴대폰 샘플 자체가 지터 2.27%, 시머 11.0%였고, 이는 녹음에 박혀 있었습니다(반쯤 말하듯 부르기, 걸걸하게 갈라지는 프레이즈 끝, 휴대폰 마이크). 압축 탓은 아니었습니다. 30 kbps로 인코딩해도 깨끗한 샘플은 1.03%에서 1.10%로만 움직였습니다. 분리(떨림 +4%, 1.3σ)나 리버브(+5%, 2.3σ) 탓도 아니었습니다. 변환기는 샘플의 음성 품질을 복사합니다.

같은 날 다른 두 결론도 같은 방식으로 틀렸습니다. 가이던스 설정은 깨끗한 샘플에서 히스를 43% 줄인다는 이유로 모든 샘플에 0으로 정해졌지만, 지터를 15% 올렸습니다(6.5σ). 음높이 빈틈 패치는 끊김 측정이 잡음으로 판정해 버려졌지만, 지터로 보면 3.7σ 차이로 이기고 있었습니다. 규칙: 문제 A를 위해 만든 측정 도구에는 문제 B의 해결책을 판정할 자격이 없습니다.

실제로 적용한 것: 가장 덜 거친 일 초 단위 조각들로 24초 샘플을 만들고(출력 1.718 → 1.580%, 3.6σ), 음높이 빈틈을 패치하고, 사용자 샘플에는 가이던스 0.7을 씁니다. 휴대폰 샘플로 전체를 돌리자 지터는 1.50%에서 1.26%로, 시머는 7.89에서 5.29로, HNR은 17.8에서 19.4 dB로 좋아졌고, 대신 변환 단계가 약 50% 느려졌습니다.

그리고 여기가 천장입니다. 그 샘플에는 노래 부분이 29초뿐이었고 파이프라인은 24초가 필요하니, 선별기가 버릴 수 있는 것은 가장 나쁜 조각 5개뿐이었습니다(2.14 → 1.96%). 가장 좋은 조각도 1.37%로, 깨끗한 노래 목소리의 중앙값(0.94%)보다 거칠었습니다. 샘플에 처음부터 없던 맑음을 기계가 지어낼 수는 없습니다. 그래서 이제 사이트는 업로드할 때 샘플의 거칠기를 측정하고 1.5%부터 경고합니다. 휴대폰 샘플은 약 11초 만에 2.13%로 보고되었고, 깨끗하게 부른 24초 샘플은 0.96%로 경고가 뜨지 않았습니다.

샘플은 12초일까, 24초일까?

사이트는 원래 샘플을 12초로 잘랐습니다. 샘플이 길수록 느리기 때문입니다. 같은 247초짜리 곡에서 20초 샘플은 변환에 253초, 12초로 자른 샘플은 162초가 걸렸습니다(−36%). “샘플이 길어도 더 닮지 않는다”는 주장은 구조에서 추론했을 뿐 측정한 적이 없었습니다. 그래서 갈래마다 다섯 번씩 돌려 측정했고, 어떤 샘플에도 들어 있지 않은 가수의 목소리 구간에서 유사도를 채점했습니다(0.750은 변환 안 됨, 0.866은 같은 사람의 다른 구간).

유사도에서는 모든 24초 구간이 모든 12초 구간을 이겼고, 시작 지점도 길이만큼 중요했습니다. 휴대폰 샘플에서는 12초에서 24초로 늘리자 유사도가 0.684에서 0.747로 올랐지만(6.8σ) 지글거림은 그대로였습니다. 긴 샘플은 “내 목소리처럼 들리는가”를 고치지, 지글거림을 고치지는 않습니다. 저희가 만들었던 샘플 채점 규칙은 24초 구간들의 순위를 실제 결과와 정반대로 매겨서 버렸습니다.

한계와 열린 질문

• 베트남어는 영어보다 약 세 배 나쁘게 나옵니다. 목소리가 끊긴 프레임이 2.9% 대 1.0%입니다(잡음 범위 0.7%포인트). 자음이 바뀝니다. «Gà gáy vang trời»가 «cáo kẽ vang trời»가 되고, «hỏi»가 «khỏi»가 되었습니다. 아직 고치지 못했습니다.
• 나중에 필터를 거는 것은 도움이 안 됩니다. 출력의 잡음을 제거하자 평탄도가 오히려 나빠졌고, 노래방식 분리와 리버브 제거를 더하자 유사도가 0.028 떨어졌습니다. 거친 결은 기계가 생성하는 배음 위가 아니라 그 안에 있습니다.
• 원곡도 중요합니다. 출력은 원본보다 2~3.6배 지저분합니다. 평탄도 0.0047인 원본은 약 0.011로 나오고, 16 kHz에서 잘린 추출본(0.0070)은 약 0.025로 나옵니다.
• 1.5% 경고 기준은 데이터 세 점에 기대고 있습니다(2.14%, 0.94~1.03%, 0.79%). 브라우저 녹음기는 에코 제거, 잡음 억제, 자동 게인을 끄는데, 표준적인 방식이지만 실제 마이크로는 시험하지 않았습니다.
• 그 변환기의 목소리별 미세 조정은 한 시험에서 유사도 점수를 0.64에서 0.73으로 올렸지만, 이 점수는 변환기 자체의 음성 인코더에서 나온 것이어서 자기 출력을 후하게 평가합니다. 나중에 독립적인 음성 비교 모델로 확인하자 개선이 없었습니다(둘 다 0.647). 사이트는 그 뒤 다른 목소리별 방식으로 옮겼으므로, 이 글의 제로샷 수치는 이전 파이프라인에 해당합니다.

커버를 만들 때 활용하는 방법

1. 말하지 말고 노래하세요. 반쯤 말하듯 부른 줄과 걸걸하게 갈라지는 프레이즈 끝은 출력에 그대로 복사됩니다.
2. 조용한 곳에서 실제로 노래한 20~40초를 녹음하세요. 사이트는 노래 부분 24초를 쓰며, 15초 미만이면 경고가 뜹니다.
3. 업로드하고 몇 초 뒤 경고 상자를 확인하세요. 1.5% 이상이면 샘플을 다시 녹음하세요.
4. 음질이 좋은 노래 파일을 쓰세요. 16 kHz에서 잘린 추출본을 쓰면 반주도 거기서 잘립니다. 원본이 17 kHz 미만이면 사이트가 알려 줍니다.
5. 곡의 음역에 가까운 샘플을 고르세요. 단 한 번 측정한 결과, 한 옥타브를 내리면(여성 곡, 남성 샘플) 지터가 1.28%로 키를 유지할 때의 0.75%보다 높았지만, 샘플과의 유사도는 0.74 대 0.52였습니다.
6. 베트남어 노래라면 h/kh, g/c처럼 바뀐 자음이 없는지 다시 들어 보세요.