AI कवर खरखरे क्यों लगते हैं, और हमने कैसे मापा

जब आप किसी गाने को अपनी आवाज़ में बदलते हैं (AI कवर), तो नतीजा कभी-कभी खरखरा, चटचटाता, छोटे-छोटे टुकड़ों में कटा लगता है। हमने कई दौर के टेस्ट में इसका पीछा किया और रास्ते में अपने ही कम से कम नौ पैमाने तोड़े। छोटा जवाब: हर सुधार के बाद बची चटचटाहट आपके अपलोड किए आवाज़ सैंपल में रहती है। कन्वर्टर उसकी खुरदराहट की नकल करता है, फ़िल्टर उसे नहीं हटा सकता, और बेहतर सैंपल ही एकमात्र इलाज है।

पहले माप ने कहा “बेसुरा”, और वह ग़लत था

पाइपलाइन के तीन चरण हैं: वोकल सेपरेटर मिक्स से गायकी को अलग निकालता है, वॉइस कन्वर्टर उसमें आपके सैंपल की आवाज़ का रंग (timbre) डालता है, और नई आवाज़ मूल बैकिंग ट्रैक पर वापस बैठा दी जाती है। नीचे के ज़्यादातर माप पहले वाले zero-shot कन्वर्टर पर लिए गए थे, जिसे किसी ट्रेनिंग की ज़रूरत नहीं थी; “मेरी आवाज़” के लिए साइट अब हर काम के लिए एक छोटा, अस्थायी आवाज़ मॉडल ट्रेन करती है और उसे 24 घंटे के भीतर मिटा देती है।

हमारी पहली जाँच मूल आवाज़ और नई आवाज़ के बीच सुर का सहसंबंध (correlation) था: 0.722, जो “मशीन ग़लत स्वर गाती है” जैसा लगता है। ध्यान से देखने पर माध्यिका विचलन 0.00 सेमीटोन था, MAD 0.10, और 1,197 में से 33 फ़्रेम (2.8%) ठीक एक ऑक्टेव उछले थे, जो गायकी की नहीं बल्कि पिच-ट्रैकर की क्लासिक ग़लती है। उन फ़्रेम को हटाएँ तो सहसंबंध 0.994 है। तब से हम सुर को माध्यिका विचलन, MAD और ±1 सेमीटोन के भीतर फ़्रेम के हिस्से (पहले टेस्ट गाने पर 92.6%) के रूप में बताते हैं।

दूसरा सबक़: कन्वर्टर यादृच्छिक है। वही सेटिंग्स पाँच बार चलाने पर 0.064 की रेंज में झूलती हैं, जो उन पाँच उम्मीदवार आवाज़ों के बीच के 0.046 के अंतर से बड़ी है जिनकी हम तुलना कर रहे थे। इसलिए अब हर वह तुलना जिससे हम निष्कर्ष निकालते हैं, हर विकल्प (branch) पर कम से कम पाँच बार चलती है। नीचे के “σ” आँकड़े मानक विचलन में अंतर हैं।

मापने पर “खरखरा” कैसा दिखता है

कटाव सुनाई देता था, फिर भी पहले के तीन माप कहते थे “कुछ ग़लत नहीं”: 0.0% फ़्रेम ने आवाज़ खोई, आयाम-गहराई (amplitude depth) 3.17 dB (एक इंसानी गायक: 3.13), सुर में कोई उछाल नहीं। आवाज़ पर्याप्त तेज़ और सुर में थी, पर हार्मोनिक्स टूटकर शोर बन गए थे। आवर्तिता इसे पकड़ती है:

इसका एक हिस्सा सरसराहट (hiss) है: वेवफ़ॉर्म जनरेटर 8 kHz से ऊपर 5 से 7 dB जोड़ता है। 16 kHz पर कटे स्रोत पर आउटपुट का 16 से 20 kHz बैंड −23.2 dB पर था, जबकि असली इंसानी आवाज़ में −38.7: 100% गढ़ा हुआ, और हटाया जा सकने वाला।

पर चटचटाहट बनी रही। ध्वनि-विज्ञान खुरदरी, कर्कश आवाज़ को जिटर (स्वर-तंतुओं के लगातार कंपन-चक्रों की लंबाई में कितना अंतर है) और शिमर (उनके आयाम में कितना अंतर है) से मापता है। हम जो विश्लेषण टूल इस्तेमाल करते हैं उसमें सामान्य आवाज़ की सीमा 1.04% जिटर है। हमारे पहले का कोई भी माप इसे नहीं देख पाया।

क्या खुरदरा सैंपल कवर में आगे जाता है?

पहले हमने हाँ कहा, फिर वापस लिया। साइट बनाने वाले की अपनी एक फ़ोन रिकॉर्डिंग में साफ़ गाए गए सैंपल से 2.8 गुना एनवेलप में फड़फड़ाहट (flutter) था, फिर भी गाना वही रखकर सिर्फ़ सैंपल बदलने पर एनवेलप माप ने आउटपुट को सिर्फ़ 10% ख़राब दिखाया। वह माप लाउडनेस की डगमगाहट पकड़ता है, चक्र-दर-चक्र बदलाव नहीं।

जिटर से मापने पर तस्वीर पलट गई: साफ़ सैंपल से आउटपुट 0.92%, फ़ोन सैंपल से 1.67% (+81%, 18.3σ)। फ़ोन सैंपल में ख़ुद 2.27% जिटर और 11.0% शिमर था, जो रिकॉर्डिंग में ही बसा था (आधा-बोलकर गाना, कर्कश पंक्ति-अंत, फ़ोन का माइक)। कंप्रेशन ज़िम्मेदार नहीं था: 30 kbps एन्कोडिंग से साफ़ सैंपल का जिटर सिर्फ़ 1.03% से 1.10% हुआ। न आवाज़ अलग करना ज़िम्मेदार था (+4% flutter, 1.3σ), न रीवर्ब (+5%, 2.3σ)। कन्वर्टर सैंपल की आवाज़ की गुणवत्ता की नकल करता है।

उसी दिन दो और निष्कर्ष इसी तरह ग़लत निकले। एक guidance सेटिंग हर सैंपल के लिए 0 कर दी गई क्योंकि उसने साफ़ सैंपल पर सरसराहट 43% घटाई, फिर भी उसने जिटर 15% बढ़ाया (6.5σ)। सुर के गैप भरने वाला एक पैच ठुकरा दिया गया क्योंकि dropout माप ने उसे शोर बताया, जबकि जिटर ने दिखाया कि वह 3.7σ से जीत रहा था। नियम: समस्या A के लिए बने माप को समस्या B के सुधार को आँकने का कोई हक़ नहीं।

जो लागू हुआ: सबसे कम खरखरे एक-एक सेकंड के टुकड़ों से 24 सेकंड का सैंपल बनाना (आउटपुट 1.718 → 1.580%, 3.6σ), सुर के गैप भरना, और उपयोगकर्ता के सैंपल के लिए guidance 0.7। फ़ोन सैंपल वाला पूरा रन 1.50% से 1.26% जिटर पर आया, शिमर 7.89 से 5.29, HNR 17.8 से 19.4 dB, इसकी क़ीमत: आवाज़ बदलने का चरण लगभग 50% धीमा हो गया।

और यहीं इसकी सीमा है। उस सैंपल में सिर्फ़ 29 सेकंड की गायकी थी और पाइपलाइन को 24 चाहिए, इसलिए टुकड़े चुनने वाला सिस्टम सिर्फ़ 5 सबसे ख़राब टुकड़े हटा सका (2.14 → 1.96%)। उसका सबसे अच्छा टुकड़ा भी 1.37% मापा गया, साफ़ गायकी वाली आवाज़ की माध्यिका (0.94%) से ज़्यादा खुरदरा। मशीन वह स्पष्टता नहीं गढ़ सकती जो सैंपल में कभी थी ही नहीं। इसीलिए साइट अब अपलोड होते ही सैंपल का खुरदरापन मापती है और 1.5% से चेतावनी देती है: फ़ोन सैंपल ने लगभग 11 सेकंड में 2.13% बताया, जबकि 24 सेकंड के साफ़ गाए सैंपल ने 0.96% बताया और कोई चेतावनी नहीं आई।

12 सेकंड का सैंपल या 24 सेकंड का?

साइट शुरू में सैंपल को 12 सेकंड तक काटती थी क्योंकि लंबे सैंपल धीमे होते हैं: उसी 247 सेकंड के गाने पर 20 सेकंड के सैंपल को बदलने में 253 सेकंड लगे, 12 सेकंड तक कटे सैंपल को 162 सेकंड (−36%)। “लंबा सैंपल ज़्यादा मिलता-जुलता नहीं होता” वाला दावा मॉडल के ढाँचे (architecture) से अनुमानित था और कभी मापा नहीं गया था। तो हमने मापा, हर विकल्प के पाँच रन, गायक की आवाज़ के ऐसे हिस्से पर समानता स्कोर करके जो किसी सैंपल में नहीं था (0.750 मतलब बिना बदला, 0.866 मतलब वही व्यक्ति किसी दूसरे हिस्से में):

समानता में हर 24 सेकंड वाली खिड़की ने हर 12 सेकंड वाली खिड़की को हराया, और शुरुआती बिंदु उतना ही मायने रखता है जितनी लंबाई। फ़ोन सैंपल पर 12 से 24 सेकंड करने से समानता 0.684 से 0.747 हुई (6.8σ), जबकि चटचटाहट वहीं रही। लंबा सैंपल “क्या यह मेरे जैसा लगता है” ठीक करता है, चटचटाहट नहीं। हमने सैंपल स्कोर करने का जो अनुमान-आधारित (heuristic) तरीक़ा बनाया था, उसने 24 सेकंड की खिड़कियों को असली नतीजों के उलटे क्रम में रखा, इसलिए हमने उसे फेंक दिया।

सीमाएँ और खुले सवाल

• वियतनामी में नतीजा अंग्रेज़ी से लगभग तीन गुना ख़राब निकलता है: 2.9% फ़्रेम आवाज़ खोते हैं, जबकि अंग्रेज़ी में 1.0% (शोर की रेंज 0.7 प्रतिशत अंक)। व्यंजन बदल जाते हैं: «Gà gáy vang trời» बन गया «cáo kẽ vang trời», «hỏi» बन गया «khỏi»। अभी ठीक नहीं हुआ।
• बाद में फ़िल्टर करने से मदद नहीं मिलती: आउटपुट को डीनॉइज़ करने से फ़्लैटनेस और बिगड़ी, और काराओके सेपरेशन के साथ डी-रीवर्ब ने समानता 0.028 घटा दी। खुरदरापन मशीन के बनाए हार्मोनिक्स के अंदर है, उनके ऊपर नहीं।
• स्रोत गाना भी मायने रखता है: आउटपुट अपने स्रोत से 2 से 3.6 गुना गंदा होता है। 0.0047 फ़्लैटनेस वाला स्रोत लगभग 0.011 पर निकलता है; 16 kHz पर कटी rip फ़ाइल (0.0070) लगभग 0.025 पर।
• 1.5% वाली चेतावनी की सीमा तीन डेटा बिंदुओं पर टिकी है (2.14%, 0.94 से 1.03%, 0.79%)। ब्राउज़र रिकॉर्डर echo cancellation, noise suppression और auto गेन बंद कर देता है, जो मानक तरीक़ा है पर असली माइक्रोफ़ोन से परखा नहीं गया।
• उस कन्वर्टर की हर आवाज़ के लिए अलग फ़ाइन-ट्यूनिंग ने एक टेस्ट में समानता स्कोर 0.64 से 0.73 तक बढ़ा दिया, लेकिन वह स्कोर कन्वर्टर के अपने वॉइस एनकोडर से आया था, जो अपने ही आउटपुट को बढ़-चढ़कर आँकता है। बाद में एक स्वतंत्र आवाज़-तुलना मॉडल से जाँच करने पर कोई सुधार नहीं दिखा (दोनों के लिए 0.647)। तब से साइट हर आवाज़ के लिए एक अलग तरीक़े पर चली गई है, इसलिए इस लेख के zero-shot आँकड़े पहले वाली पाइपलाइन के हैं।

कवर बनाते समय इसका इस्तेमाल कैसे करें

1. गाएँ, बोलें नहीं। आधा-बोलकर गाई पंक्तियाँ और कर्कश पंक्ति-अंत सीधे आउटपुट में कॉपी हो जाते हैं।
2. किसी शांत जगह पर 20 से 40 सेकंड की असली गायकी रिकॉर्ड करें। साइट 24 सेकंड की गायकी इस्तेमाल करती है; 15 सेकंड से कम पर चेतावनी आती है।
3. अपलोड के कुछ सेकंड बाद चेतावनी वाले बॉक्स पर नज़र रखें। 1.5% या उससे ज़्यादा पर सैंपल दोबारा रिकॉर्ड करें।
4. उच्च गुणवत्ता वाली गाने की फ़ाइल इस्तेमाल करें। 16 kHz पर कटी rip फ़ाइल आपको वहीं कटी संगत देती है; स्रोत 17 kHz से नीचे हो तो साइट आपको बताती है।
5. गाने की रेंज के क़रीब वाला सैंपल चुनें। एक ऑक्टेव नीचे जाने पर (महिला गाना, पुरुष सैंपल), एक ही रन में मापा गया, जिटर 1.28% रहा, जबकि key वही रखने पर 0.75%; पर सैंपल से समानता 0.74 रही, जबकि key वही रखने पर 0.52।
6. वियतनामी गानों के लिए h/kh और g/c जैसे बदले हुए व्यंजनों को ध्यान से सुनें।