ब्राउज़र में वोकल मिक्सिंग: लक्ष्य कहाँ से आते हैं

ऑटो मिक्स टूल को संख्याओं से जवाब देना होता है: आवाज़ संगीत के मुक़ाबले कितनी तेज़ हो, EQ किन बैंड को छुए, सुर को स्वर पर खींचा जाए या नहीं। ये लक्ष्य कहाँ से आएँ? छोटा जवाब: MuziAI का आवाज़-से-संगीत लक्ष्य साइट के ख़ुद बनाए गानों पर नहीं, बल्कि असली स्टेम वाली 144 रिकॉर्डिंग पर मापा गया, जहाँ माध्यिका पर आवाज़ संगीत से 2.2 LU नीचे रहती है। हमारे टेस्ट बेंच ने चार गड़बड़ियाँ पकड़ीं जिनके रहते मुख्य आँकड़े बिल्कुल ठीक-ठाक दिख रहे थे। और दो स्वतंत्र मीटरों से मापने पर पता चला कि ऑटो-ट्यून आवाज़ की स्पष्टता के रूप में असली क़ीमत वसूलता है, इसलिए वह डिफ़ॉल्ट रूप से बंद है।

लक्ष्य अपने गानों से क्यों नहीं लिए

आसान रास्ता होता सर्वर पर पहले से पड़ी बीट और आवाज़ की जोड़ियाँ मापना। ऐसी 57 जोड़ियाँ हैं, पर हर एक साइट का बनाया AI गाना है। उपयोगकर्ता जो रिकॉर्डिंग अलग करने के लिए अपलोड करते हैं वे 24 घंटे बाद मिट जाती हैं, इसलिए इंसानों की मिक्स की हुई बची जोड़ियों की संख्या शून्य है। उन 57 को मापने से हमें पता चलता कि AI कैसे मिक्स करता है, न कि लोग कैसे।

इसलिए हमने अलग किए गए स्टेम वाली मल्टीट्रैक रिकॉर्डिंग का एक सार्वजनिक डेटासेट इस्तेमाल किया: 144 गाने, हर एक 7 सेकंड का प्रीव्यू, जिनमें आवाज़ और संगत सच में अलग-अलग रिकॉर्ड किए गए ट्रैक हैं, किसी सेपरेटर का आउटपुट नहीं।

लक्ष्य के आँकड़े, और पेज कौन सा इस्तेमाल करता है

दो स्वतंत्र मीटर सहमत हैं (−2.2 और −2.25), इसलिए माध्यिका पक्की है। पर यह एक पश्चिमी डेटासेट का वर्णन करती है जिसमें ज़्यादातर rock है। साइट के AI गाने आवाज़ को संगीत से 1.9 LU ऊपर रखते हैं, और हमने जो एक असली वियतनामी गाना मापा वह +2.3 LU पर आया। इसीलिए पेज का डिफ़ॉल्ट +2 है, ±4 के स्लाइडर और −2.2 पर एक निशान के साथ ताकि आप देख सकें कि दूसरा चलन कहाँ है। पेज यह भी साफ़ कहता है कि हमारा वियतनामी नमूना एक ही गाना है।

EQ भी यही सोच अपनाता है। हर ऑक्टेव बैंड के लिए 144 गानों में q1-q3 रेंज 4-5 dB चौड़ी है। टूल सिर्फ़ उन बैंड को सुधारता है जो उस रेंज से बाहर हैं, और उन्हें सिर्फ़ किनारे तक खींचता है, कभी माध्यिका तक नहीं: हर आवाज़ को माध्यिका पर धकेलना रंग पोतना है, और इससे वह मिट जाता है जो किसी आवाज़ को अलग बनाता है। रीवर्ब को तब तक ट्यून किया जाता है जब तक side-to-mid अनुपात −11.8 dB न हो जाए। सिर्फ़-बीट मोड में टूल जान-बूझकर कोई ऑटो EQ नहीं करता, क्योंकि बीट शैली के हिसाब से अलग होती हैं। बीट का टोन सँवारने के लिए उसे एक रेफ़रेंस ट्रैक दें: ऑक्टेव स्पेक्ट्रम हर पास में 70% मिलाया जाता है, दो पास, ±4 dB तक सीमित, और लाउडनेस कॉपी नहीं होती (वह −14 LUFS पर रहती है)।

टेस्ट बेंच की पकड़ी चार गड़बड़ियाँ, जबकि सबके आँकड़े ठीक-ठाक दिख रहे थे

टूल का लाउडनेस और ट्रू-पीक मीटर एक मानक संदर्भ टूल से 10 में से 10 फ़ाइलों पर 0.05 के भीतर मेल खाता है। जान-बूझकर बिगाड़ी गई आवाज़ों वाले 21 गानों पर 42 मामलों की जाँच 42/42 पास होती है। फिर भी लॉन्च से पहले बेंच ने चार गड़बड़ियाँ पकड़ीं जिन्हें मुख्य नतीजों की तालिका से कोई नहीं देख पाता:

1. लिमिटर ने पहले 5 ms में +15.3 dBFS पर एक उछाल निकल जाने दिया। पहले सैंपल से पहले के आभासी हिस्से को 1 माना गया, जिससे मूविंग एवरेज ऊपर खिंच गया। मास्टर लूप छत नीचे करता रहा और फिर गेन वापस जोड़ता रहा, और अंत −20 LUFS और +1.2 dBTP पर हुआ।
2. कंप्रेसर ने आवाज़ को लगभग 30 dB कुचल दिया, फिर मेक-अप गेन ने +46 dB जोड़ा। लगातार बैकग्राउंड शोर वाली रिकॉर्डिंग में “noise floor + 12 dB” ख़ुद गायकी से ऊपर बैठा, इसलिए कोई भी फ़्रेम आवाज़ वाला नहीं गिना गया और थ्रेशोल्ड −120 तक गिर गया। आउटपुट फिर भी सही आवाज़-से-संगीत अनुपात के साथ −14 LUFS पर पहुँचा। सिर्फ़ उस जाँच ने इसे उजागर किया जो पूछती है कि मेक-अप गेन मोटे तौर पर हुए नुकसान के बराबर है या नहीं। अब थ्रेशोल्ड कभी पीक माइनस 10 dB से नीचे नहीं जाता।
3. पर्सेंटाइल फ़ंक्शन हर कॉल पर 10 मिलियन संख्याएँ सॉर्ट करता था, और ऑक्टेव स्पेक्ट्रम पूरे गाने को चार बार फ़िल्टर करता था। चुनिंदा (sparse) पर्सेंटाइल, 3 सेकंड के 10 हिस्सों पर विश्लेषण, और गाने पर एक ही फ़िल्टर पास से प्रोसेसिंग 30 सेकंड से घटकर 9.5 पर आ गई।
4. टेस्ट मशीन पर घड़ी ने ऋणात्मक समय (−50 सेकंड) लौटाया। अब यह ब्राउज़र की monotonic घड़ी इस्तेमाल करता है।

गड़बड़ी 2 का सबक़: जो बेंच सिर्फ़ यह पूछता है कि आउटपुट की लाउडनेस सही है या नहीं, वह आवाज़ बर्बाद करने वाले कंप्रेसर को भी पास कर देगा, क्योंकि मास्टर चरण उसे छिपा देता है। सुधारों के बाद बैकिंग वोकल्स वाला चार मिनट का गाना ब्राउज़र में 11.8 सेकंड में प्रोसेस होता है।

ऑटो-ट्यून: दो मीटर और असली क़ीमत

टूल का ऑटो-ट्यून 10 ms के फ़्रेम में सुर ट्रैक करता है और आवाज़ के हर चक्र को लक्ष्य स्वर की ओर खिसकाता है। «हल्का» सेटिंग हर स्वर का केंद्र ±70 ms के भीतर खिसकाती है और वाइब्रेटो बनाए रखती है; «तेज़» हर फ़्रेम को सुर पर खींचती है। हमने इसे अपने मीटर से और एक स्वतंत्र ध्वनि-विज्ञान टूल से मापा, पहले से पता जवाब वाली कृत्रिम आवाज़ पर और +30 सेंट बेसुरी की गई एक असली आवाज़ पर:

ऑटो-ट्यून अपना काम करता है: स्वतंत्र मीटर पर असली आवाज़ लगभग 30 सेंट बेसुरी से लगभग 12 पर आ जाती है। आख़िरी दो कॉलम क़ीमत हैं। जिटर (हर कंपन की लंबाई में चक्र-दर-चक्र बदलाव, जो खुरदरेपन की तरह सुनाई देता है) लगभग 0.2 प्रतिशत अंक बढ़ता है, और HNR (हार्मोनिक्स और शोर का अनुपात, ज़्यादा मतलब साफ़) 0.5 से 0.8 dB घटता है। इसीलिए ऑटो-ट्यून डिफ़ॉल्ट रूप से बंद है, और पेज इसकी वजह बताता है।

ऑटो-ट्यून बेंच ने एक बहुत सादे मामले से दो और गड़बड़ियाँ पकड़ीं: अगर कुछ सुधारने की ज़रूरत नहीं, तो आउटपुट इनपुट के बराबर होना चाहिए। आवाज़ वाले हिस्से में दाख़िल होते समय synthesis निशान analysis निशानों से नहीं जुड़े थे, और synthesis चरण निशानों के बीच की असली दूरी की जगह अनुमानित पिच पीरियड इस्तेमाल करता था, इसलिए ग़लतियाँ जमा होती गईं और पूरे-पूरे हिस्से फ़ेज़ से बाहर खिसक गए। सुधार से पहले आउटपुट और इनपुट का मेल (SNR) सिर्फ़ −2.6 dB था; बाद में 150 dB, यानी हूबहू मेल। सुर की सटीकता वाला हर मामला शुरू से पास हो रहा था; सिर्फ़ «कुछ न बदले» वाले (identity) मामले ने इन गड़बड़ियों को उजागर किया।

सीमाएँ और खुले सवाल

• स्टेम वाला हमारा वियतनामी नमूना एक गाना है (+2.3 LU)। +2 का डिफ़ॉल्ट उस गाने और साइट के AI गानों पर टिका है, किसी बड़े माप पर नहीं।
• 144 गानों वाला डेटासेट 7 सेकंड के प्रीव्यू से बना है और उसमें ज़्यादातर rock है। यह आवाज़-से-संगीत संतुलन के लिए अच्छा मार्गदर्शक है, हर शैली का विकल्प नहीं।
• ऑटो-ट्यून एक कृत्रिम आवाज़ और एक असली आवाज़ पर परखा गया; आपकी आवाज़ अलग क़ीमत चुका सकती है।
• T-Pain मोड में स्वरों की सटीकता को मापी गई आदर्श छत (89%) के सामने आँका जाता है, और टूल 87% तक पहुँचता है; कोई हाथ से चुनी गई 90% सीमा नहीं है।
• AI आवाज़ें पहले से सुर में होती हैं (8-9 सेंट), इसलिए AI गाने पर «हल्का» ऑटो-ट्यून लगभग कुछ नहीं बदलता।

गाना बनाते समय इसका क्या मतलब है

1. +2 के डिफ़ॉल्ट से शुरू करें। पश्चिमी pop या rock जैसे संतुलन के लिए −2.2 वाले निशान की ओर खिसकाएँ; हमारे मापे असली वियतनामी गाने (+2.3) के क़रीब रहने के लिए इसे लगभग +2 पर रखें।
2. पहले और बाद की तुलना उसी −14 LUFS लाउडनेस पर करें। तेज़ संस्करण “बेहतर” लगने लगता है, इसलिए अलग-अलग स्तर पर तुलना आपको धोखा देती है।
3. AI से बने गानों के लिए ऑटो-ट्यून बंद रखें। आवाज़ पहले से सुर में है, और इसे चालू करने से सिर्फ़ स्पष्टता घटती है।
4. सुर की दिक़्क़त वाली अपनी रिकॉर्डिंग के लिए पहले «हल्का» आज़माएँ और लंबे स्वरों को ध्यान से सुनें। अगर खुरदरापन सुनाई दे, तो वही ऊपर मापी गई जिटर की क़ीमत है।
5. अगर आप चाहते हैं कि बीट किसी ख़ास गाने का रंग ले, तो ऑटो बीट EQ की उम्मीद करने के बजाय उस गाने को रेफ़रेंस के रूप में दें।
6. मिक्स करने के लिए अभी कोई गाना नहीं? MuziAI होम पेज पर एक बनाएँ, फिर आवाज़ और बीट को ऑटो मिक्स टूल में ले जाएँ।