스타일 태그로 AI 가수 목소리가 바뀔까? 14개 실험

MuziAI에서 노래를 부르는 모델 안에는 가수 목록이 없습니다. 목소리는 스타일 프롬프트의 몇 단어, 보통 “female vocal”이나 “male vocal”에서만 나옵니다. 그렇다면 거기에 “husky”, “deep”, “kid singer”라고 쓰면 목소리가 정말 바뀔까요? 태그 문구 14개를 각각 두 번씩 생성해 분리한 보컬을 측정했습니다. 짧게 답하면, 태그로 맑기, 밝기, 거칠기는 움직일 수 있지만 음높이는 거의 조절하지 못하고, 저희가 시도한 어떤 태그도 아이 목소리를 만들지 못했습니다. 기본값 두 개를 뺀 변형 12개 중 8개는 사이트의 목소리 유형이 되었고 4개는 버렸습니다.

모델에는 내장된 목소리가 없다

노래 모델에 보내는 요청에는 정확히 두 가지만 들어갑니다. 스타일을 설명하는 텍스트와 가사입니다. 가수 ID도 없고, 참고 녹음을 넘길 방법도 없습니다. 목소리는 모델이 단어에서 읽어 내는 그대로입니다. 그래서 “목소리를 고른다”는 것은 사실 “female vocal”이나 “male vocal”을 다른 태그 문구로 바꾸는 일이고, 질문은 측정 가능한 형태가 됩니다. 어떤 문구가 목소리를 바꾸고, 어떤 문구는 그냥 단어일 뿐일까요?

실험 구성: 태그 문구 14개(기본값 2개와 변형 12개)를 각각 시드 두 개(11과 22)로 생성했고, 가사 8줄과 반주 설명 “Pop ballad, piano, acoustic guitar, 84 BPM”은 모두 같게 해서 40~60초 길이의 곡을 만들었습니다. 보컬 분리기로 보컬을 뽑아낸 뒤, 분리한 목소리에서 네 가지를 측정했습니다.

• 음높이: 중앙값, Hz 단위.
• HNR(dB): 배음 대 잡음비. 높을수록 소리가 깨끗하고, 낮을수록 숨소리나 거친 결이 많습니다.
• 4 kHz 이상 에너지(dB): 0에 가까울수록 밝고, 음수로 내려갈수록 어둡습니다.
• 지터(%): 연이은 성대 진동 주기의 길이가 얼마나 다른지. 높을수록 거칠게 들립니다.

태그를 남기는 규칙: 기본값과 두 시드 모두에서 같은 방향으로 달라야 합니다. 남긴 유형마다 태그에 쓰인 단어가 아니라 측정된 특성을 따라 이름을 붙였습니다.

태그 14개의 측정 결과

각 칸에는 숫자 두 개가 있습니다. 시드 11 · 시드 22.

예상하지 못했던 점:

• 단어가 반대 방향을 가리킬 수 있습니다. “airy breathy whispery”는 여성 세트에서 가장 어둡고 깨끗한 목소리를 냈습니다(HNR 23.2와 26.5 dB, 두 시드 모두 기본값보다 높음). 그래서 사이트에서는 “매끄러운”이라고 부릅니다. 남성 태그 “soft gentle breathy”도 마찬가지였습니다. 어둡고 깨끗하며 숨소리가 섞이지 않았습니다.
• 실제로 숨소리를 더하는 태그는 “soft sweet gentle”입니다. HNR이 기본값보다 2.3, 2.1 dB 낮고 더 밝습니다.
• “husky smoky”는 정말 허스키합니다. 지터가 두 시드 모두 1.01%(기본값 0.84와 0.66)이고, HNR도 두 시드 모두 기본값보다 낮습니다.
• “powerful belting diva”는 기본값보다 고음역 에너지가 많고(+4.1, +0.7 dB) 526 Hz까지 올라갔습니다.
• 버린 태그 네 개는 저마다 다른 식으로 실패했습니다. “warm low alto”는 기본값보다 낮지 않았고 HNR은 시드마다 반대 방향으로 움직였습니다. “deep low bass”는 “warm baritone”과 똑같이 작동했을 뿐 더 낮아지지 않았습니다. “raspy gritty rough”는 기본값보다 거칠지 않았습니다(지터 0.74와 0.61, 기본값 0.72). “powerful rock”은 한 시드에서는 이쪽, 다른 시드에서는 저쪽으로 갔습니다.

목소리 유형은 가수가 아니라 범주다

독립적인 화자 일치 모델로 같은 유형으로 생성한 두 곡의 화자 유사도를 채점했습니다. 점수는 0.49에서 0.82 사이로, 다른 유형의 두 곡과 비슷한 수준이었습니다. 허스키를 두 번 고르면 익숙한 한 명의 가수가 아니라 서로 다른 허스키 가수 두 명이 나옵니다. 사이트에도 이 점을 분명히 적어 두었습니다. 곡마다 선택한 유형의 새 목소리가 나오며, 미리 듣기와 비슷하지만 똑같지는 않습니다.

두 번째 발견: 태그는 음높이를 믿을 만하게 조절하지 못합니다. 같은 소프라노 태그가 한 시드에서는 266 Hz, 다른 시드에서는 351 Hz에 자리 잡았습니다. 더 낮아야 할 알토 태그는 294와 329 Hz로, 기본값 291과 294보다 낮지 않았습니다. 음역은 단어가 아니라 모델이 쓰는 멜로디를 따릅니다. 남성 세트만 높음과 낮음으로 깔끔하게 갈렸습니다. 하이 테너는 263과 292 Hz, 따뜻한 바리톤은 163과 205 Hz였습니다.

아이 목소리: 태그 네 개, 모두 실패

동요를 아이 목소리로 부르게 하고 싶어 하는 분이 많습니다. 동요 반주 위에서 태그 문구 네 개를 각각 시드 두 개로 시험했고, 같은 측정에 목소리 공명(목소리의 색을 만드는 포먼트 F2, F3, F4)을 더해 “female vocal”과 비교했습니다.

실제 아이 목소리는 성인 여성 목소리보다 공명이 15~25% 높습니다. 여기서는 변화가 대략 ±6% 안에 머물렀고, 두 시드의 방향도 서로 달랐습니다. “female vocal”과의 유사도(0.66~0.76)는 같은 유형으로 두 번 생성했을 때의 유사도(0.59~0.77)와 다르지 않았습니다. 329~393 Hz의 음높이는 그럴듯해 보이지만, 첫 번째 표에서 보았듯이 음높이는 태그가 아니라 멜로디를 따릅니다. 결론: 텍스트 태그로는 목소리를 아이 목소리로 바꿀 수 없습니다. 그래서 사이트에는 아이 목소리 유형이 없습니다. 대신 동요 템플릿은 동요 장르에 «맑은» 목소리 유형을 씁니다.

한계와 열린 질문

• 표본이 작습니다. 유형마다 시드 두 개, 곡마다 노래 부분이 10~30초입니다. 두 방향으로 갈리는 태그를 버리기에는 충분하지만, 어떤 태그가 “항상” 특정 소리를 낸다고 약속하기에는 부족합니다.
• 남성 쪽 근거가 더 약합니다. 시드 11에서 기본값 “male vocal”은 거의 노래하지 않았기 때문에(3.7초), 남성 비교는 대부분 시드 하나에 기대고 있습니다.
• 반주 하나, 가사 한 세트: 여기 나온 모든 숫자는 84 BPM 팝 발라드 한 곡에서 나왔습니다. 다른 장르는 다시 측정하지 않았습니다.
• 취향이 아니라 음향 측정입니다. “더 깨끗하다”는 HNR이 더 높다는 뜻일 뿐, 내 노래에 자동으로 더 좋다는 뜻은 아닙니다.

노래를 만들 때 활용하는 방법

1. 고르기 전에 들어 보세요. 유형마다 자기 시험곡에서 보컬이 가장 촘촘한 부분을 잘라 낸 12초 미리 듣기가 있습니다. 미리 듣기를 재생해도 선택되지는 않습니다.
2. 측정된 특성으로 고르세요. 깨끗한 소리는 “맑은”이나 “매끄러운”, 숨소리와 밝음은 “달콤하고 부드러운”, 거친 결은 “허스키”, 시원한 고음은 “파워풀”입니다. 남성 보컬은 “높고 밝은”, “낮고 따뜻한”, “부드러운”이 있습니다.
3. 여성 목소리 유형으로 키를 정하려 하지 마세요. 더 높거나 낮은 노래를 원한다면 목소리 유형은 믿을 만한 수단이 아닙니다.
4. 곡마다 같은 가수를 기대하지 마세요. 곡마다 그 범주 안의 새 가수가 부릅니다. 몇 가지 버전을 생성해 마음에 드는 것을 남기세요.
5. 동요를 만든다면 동요 장르와 «맑은» 유형을 고르세요. 스타일 칸에 “child vocal”이라고 써도 아이 목소리는 나오지 않습니다.
6. 태그를 직접 쓰나요? 실패한 네 개를 기억하세요. “raspy”는 목소리를 더 거칠게 만들지 않았고 “alto”는 더 낮게 만들지 않았습니다.