AI कवर गाने अपनी आवाज़ में

तीन चरण: अलग करना, आवाज़ का रंग बदलना, फिर से मिक्स करना

MuziAI पर AI कवर एक के बाद एक तीन चरणों से गुज़रता है। पहला चरण वोकल सेपरेटर से गाने को बीट और आवाज़ में बाँटता है, वही सेपरेटर जो बीट और आवाज़ अलग करने वाला टूल इस्तेमाल करता है। दूसरा चरण सिर्फ़ आवाज़ को वॉइस कन्वर्टर से गुज़ारता है: सुर, टाइमिंग और गाने का अंदाज़ वैसे ही रहते हैं, सिर्फ़ आवाज़ का रंग (timbre) आपके सैंपल वाले रंग से बदल जाता है। तीसरा चरण नई आवाज़ को मूल बीट पर वापस मिक्स करता है और पूरे ट्रैक की लाउडनेस संतुलित करता है।

मशीन पूरा गाना शुरू से ही क्यों न गाए? क्योंकि सुनने वाले सबसे पहले बीट पहचानते हैं। जब हमने एक ही फ़ाइल को आवाज़ अलग करने वाले टूल और कवर पाइपलाइन, दोनों से चलाया, तो दोनों बीट हूबहू एक जैसी निकलीं और स्रोत फ़ाइल की बैंडविड्थ से मेल खाती थीं, यानी संगीत की गुणवत्ता और नहीं गिरती। परफ़ॉर्मेंस भी मूल गायक की ही रहती है: कहाँ आवाज़ ऊँची या धीमी होती है और कहाँ एक स्वर से दूसरे पर फिसलती है, यह सब मूल गायक के अनुसार चलता है। हमारे पहले मूल्यांकन में नई आवाज़ की धुन और मूल धुन के बीच अंतर की माध्यिका 0.00 सेमीटोन थी, और 92.6% फ़्रेम एक सेमीटोन के भीतर थे।

आवाज़ बदलने के बाद कुछ पोस्ट-प्रोसेसिंग चरण आते हैं, और हर चरण सिर्फ़ वही हटाता है जो मूल में नहीं है:

• मूल आवाज़ से चलने वाला गेट: वॉइस कन्वर्टर कभी पूरी ख़ामोशी नहीं देता, उसका नॉइज़ फ़्लोर लगभग −48 dB पर रहता है। जहाँ भी मूल गायक चुप है, वहाँ नई आवाज़ भी म्यूट कर दी जाती है, जिससे नॉइज़ फ़्लोर −93.6 dB तक नीचे आ जाता है।
• एनवेलप मिलान: लाउडनेस मूल गायक के अनुसार चलती है, जिससे शब्दों के बीच की छोटी-छोटी टूटन कम होती है।
• सीटी जैसी आवाज़ हटाना तीन बैंड (2-4, 4-8 और 8-16 kHz) में, जब कोई फ़्रेम अपने सामान्य स्तर से बहुत ऊपर उछल जाए।
• स्टीरियो रीवर्ब: बदली हुई आवाज़ मोनो होती है, इसलिए रीवर्ब जोड़ा जाता है और तब तक ट्यून किया जाता है जब तक उसकी चौड़ाई मूल आवाज़ से न मिल जाए।
• मूल गाने के हिसाब से मास्टरिंग: टोनल बैलेंस आपके अपलोड किए ट्रैक के अनुसार रहता है (विचलन 0.47 dB से घटकर 0.24 dB), मानक −14 LUFS पर।

अच्छा आवाज़ सैंपल कैसा हो

आपका सैंपल दो अलग बातें तय करता है: कवर आपकी आवाज़ जैसा लगता है या नहीं, और वह साफ़ लगता है या नहीं। दोनों अलग-अलग कारकों पर निर्भर हैं।

लंबाई: 24 सेकंड, 12 सेकंड से बेहतर

सिस्टम साँसें और ठहराव हटाने के बाद लगभग 24 सेकंड की गायकी इस्तेमाल करता है। शुरू में हम सिर्फ़ 12 सेकंड लेते थे, यह मानकर कि लंबा सैंपल आवाज़ को और ज़्यादा मिलता-जुलता नहीं बनाएगा। जब हमने मापा, हर विकल्प को पाँच बार चलाकर, तो रिकॉर्डिंग की हर जगह पर हर 24 सेकंड वाला हिस्सा हर 12 सेकंड वाले हिस्से से ज़्यादा गायक जैसा लगा। लंबा सैंपल ज़्यादा भरोसेमंद होता है क्योंकि वह अच्छे हिस्सों और कमज़ोर हिस्सों का औसत ले लेता है। इसलिए 20 से 40 सेकंड रिकॉर्ड करें: सिस्टम को चुनने के लिए थोड़ा अतिरिक्त चाहिए।

जगह भी उतनी ही मायने रखती है जितनी लंबाई

रिकॉर्डिंग की शुरुआत से या बीच से लिए गए वही 12 सेकंड बहुत अलग नतीजे देते हैं: सही हिस्सा लेने पर आउटपुट का स्पेक्ट्रल नॉइज़ लगभग तीन गुना कम हो गया। इसलिए सिस्टम सिर्फ़ शुरुआती हिस्सा नहीं काटता। वह आपके सैंपल के सबसे कम खुरदरे एक-एक सेकंड के टुकड़ों से 24 सेकंड जोड़ता है, और उससे पहले ऐसी थ्रेशोल्ड से ख़ामोशी हटाता है जो रिकॉर्डिंग के बैकग्राउंड शोर के अनुसार ख़ुद को ढाल लेती है। फ़ोन पर रिकॉर्ड किए गए 37.2 सेकंड के एक सैंपल पर इस थ्रेशोल्ड ने 5.6 सेकंड के ठहराव हटाए, जबकि स्थिर थ्रेशोल्ड ने एक भी नहीं हटाया।

खुरदरा सैंपल, खुरदरा कवर

वॉइस कन्वर्टर सैंपल की आवाज़ की गुणवत्ता की नकल करता है। वही गाना, सिर्फ़ सैंपल बदला: साफ़ गाए गए सैंपल से आउटपुट में 0.92% खुरदरापन आया, फ़ोन की खुरदरी रिकॉर्डिंग से 1.67%, यानी 81% ख़राब। लंबा सैंपल यह तो सुधार देता है कि आवाज़ आपके जैसी लगे, पर कर्कश बनावट नहीं। उसे सिर्फ़ ज़्यादा साफ़ सैंपल ही ठीक करता है।

इसीलिए सिस्टम काम की बिल्कुल शुरुआत में, लगभग 11 सेकंड पर, आपके सैंपल का खुरदरापन मापता है और 1.5% या उससे ज़्यादा होने पर चेतावनी दिखाता है। यह थ्रेशोल्ड हमारी मापी गई साफ़ गायकी वाली आवाज़ों (0.94 से 1.03%) और पहले मिले खुरदरे सैंपल (2.14%) के बीच रखी गई है। पेज तब भी चेतावनी देता है जब सैंपल में 15 सेकंड से कम गायकी हो, या साफ़ गायकी लगभग हो ही नहीं। दोबारा रिकॉर्ड करते समय: गाएँ, बोलें नहीं, हर पंक्ति के अंत तक आवाज़ स्थिर रखें, अकेले, बिना बैकग्राउंड संगीत के, शांत कमरे में, फ़ोन मुँह से लगभग एक हथेली की दूरी पर।

कितना समय लगता है

ये प्रोसेसिंग समय हैं, कतार का इंतज़ार इसमें शामिल नहीं है। पहली बार ज़्यादा समय लगता है क्योंकि उसी दौरान सिस्टम आपकी आवाज़ सीखता है; बाद में वही मॉडल दोबारा इस्तेमाल होता है। आप टैब बंद कर सकते हैं, नतीजे का पेज क़दम-दर-क़दम ख़ुद अपडेट होता रहता है।

भाषा बदलना और AI आवाज़ का लिंग चुनना

अगर आपके पास किसी दूसरी भाषा में गाया गया गाना है, तो सिस्टम मूल बोल सुनकर लिख लेता है, उनका अनुवाद पंक्तियों और अक्षरों (syllables) की उतनी ही संख्या रखते हुए करता है, गायन मॉडल से नए बोल पुरानी धुन पर गवाता है, फिर नतीजे को मूल बीट पर रखता है। 189 सेकंड के एक गाने में 580 सेकंड लगे। आठ लक्ष्य भाषाएँ उपलब्ध हैं; जापानी अभी उपलब्ध नहीं है, क्योंकि उसमें गाए गए बोल अभी भी ठीक से समझ नहीं आते।

आप मूल गायक जैसी, महिला आवाज़ या पुरुष आवाज़ चुनते हैं। लिंग का चुनाव सिर्फ़ आवाज़ का रंग बदलता है; गायन मॉडल फिर भी मूल गाने के सुर पर ही गाता है। अगर आउटपुट चुनी गई रेंज से बहुत बाहर चला जाए (पुरुष आवाज़ 320 Hz से ऊपर, महिला आवाज़ 244 Hz से नीचे), तो पूरी आवाज़ ठीक एक ऑक्टेव खिसका दी जाती है ताकि वह बीट के साथ सुर में रहे। इसकी क़ीमत: एक ऑक्टेव नीचे खिसकाई गई पुरुष आवाज़ कुछ खुरदरी लगती है। सबसे साफ़ आवाज़ के लिए वही लिंग चुनें जो मूल गायक का है।

सीमाएँ

• वियतनामी में नतीजे अंग्रेज़ी से कमज़ोर हैं। एक ही वॉइस कन्वर्टर पर मापने पर, जिन फ़्रेम की आवाज़ खो जाती है उनका हिस्सा वियतनामी में 2.9% और अंग्रेज़ी में 1.0% था। यह मॉडल की सीमा है, आपकी फ़ाइल की समस्या नहीं।
• व्यंजन बदल सकते हैं। हमारे टेस्ट में «Gà gáy vang trời» बदलकर «cáo kẽ vang trời» हो गया, और «hỏi» बन गया «khỏi»। धुन टिकी रहती है, व्यंजन हमेशा नहीं।
• कम गुणवत्ता वाले स्रोत। कई बार कंप्रेस की गई फ़ाइलें अक्सर पहले से लगभग 16 kHz पर कटी होती हैं। आउटपुट आवाज़ आम तौर पर अलग की गई आवाज़ से 2 से 3.6 गुना ज़्यादा शोर वाली होती है, इसलिए गंदा स्रोत कवर को भी अपने साथ नीचे खींच लेता है। स्रोत 17 kHz से नीचे हो तो नतीजे का पेज आपको साफ़-साफ़ बता देता है।
• बची हुई धुंध हार्मोनिक्स के अंदर है। यह ऊपर से पड़ी शोर की परत नहीं, बल्कि मॉडल द्वारा बनाए गए हार्मोनिक्स का हिस्सा है, इसलिए बाद में डीनॉइज़ करने से यह ठीक नहीं होती। हमने आउटपुट को तीन अलग तरीक़ों से फ़िल्टर करके देखा, कोई भी बेहतर नहीं निकला।
• रेंज का मेल न बैठना। ऊँचे सुर वाला महिला गाना और पुरुष सैंपल: सुर (key) वही रखने पर आपकी आवाज़ महिला रेंज तक ऊपर धकेली जाती है और मूल गायक जैसी ज़्यादा लगती है; एक ऑक्टेव नीचे करने पर आपके जैसी ज़्यादा लगती है पर ज़्यादा भारी और गूँजदार। यह भौतिक सीमा है, किसी ख़ास मॉडल की नहीं।
• गाने का अंदाज़ मूल गायक का ही रहता है। सुरों के बीच की फिसलन, फ़्रेज़िंग और साँसें वैसी ही रहती हैं; सिर्फ़ आवाज़ का रंग बदलता है।

गोपनीयता

गाना और आवाज़ का सैंपल काम पूरा होते ही मिटा दिए जाते हैं। आपके सैंपल से सीखा गया आवाज़ मॉडल आख़िरी इस्तेमाल के बाद 24 घंटे तक निजी रूप से रखा जाता है, सिर्फ़ इसलिए कि उसी सैंपल से अगला कवर जल्दी बने, फिर वह अपने आप मिट जाता है; उसे कभी किसी और के लिए इस्तेमाल नहीं किया जाता। कवर 24 घंटे तक रखा जाता है, सिर्फ़ लिंक वाले लोग उसे सुन सकते हैं, और ऑडियो फ़ाइलें सर्च इंजन की इंडेक्सिंग से रोकी जाती हैं।

कब इस्तेमाल न करें

• आप किसी गायक या किसी दूसरे व्यक्ति की आवाज़ में कवर चाहते हैं: यह टूल सिर्फ़ आपकी अपनी आवाज़ स्वीकार करता है।
• आप चाहते हैं कि कवर ऐसा लगे जैसे आप गाने को अपने अंदाज़ में गा रहे हों।
• आपके पास सिर्फ़ कम गुणवत्ता वाली फ़ाइल है, या गाने में भारी हार्मनी या कोरस-समूह (choir) है।
• रिलीज़ के लिए आपको हर वियतनामी व्यंजन का बिल्कुल सही उच्चारण चाहिए।
• आपको काराओके के लिए सिर्फ़ बीट चाहिए: बीट और आवाज़ अलग करने वाला टूल कहीं ज़्यादा तेज़ है।
• आप बिल्कुल नया गाना चाहते हैं: AI से एक गाना बनाएँ और फिर यहाँ लौटें।

अक्सर पूछे जाने वाले सवाल

क्या मैं सैंपल फ़ोन पर रिकॉर्ड कर सकता हूँ?

हाँ। बचना कर्कश बनावट से है: गाने की जगह बोलना, पंक्तियों के अंत में आवाज़ गिरा देना, शोर वाला कमरा। अगर पेज बताए कि आपका सैंपल 1.5% या उससे ज़्यादा खुरदरा है, तो एक बार दोबारा रिकॉर्ड करना आम तौर पर किसी भी दूसरे बदलाव से ज़्यादा फ़ायदेमंद होता है।

पहली बार अगली बार से धीमा क्यों चलता है?

पहली बार सिस्टम सैंपल से आपकी आवाज़ सीखता है, इसलिए 4 मिनट के गाने में लगभग 10 मिनट लगते हैं। वह मॉडल आख़िरी इस्तेमाल के बाद 24 घंटे तक रखा जाता है, इसलिए उसी सैंपल से दूसरा कवर सिर्फ़ लगभग 6 मिनट लेता है।

कौन सी फ़ाइल इस्तेमाल करूँ, और सीमाएँ क्या हैं?

सिर्फ़ वही रिकॉर्डिंग इस्तेमाल करें जो आपकी अपनी हो या जिसे इस्तेमाल करने का आपको अधिकार हो; MuziAI YouTube या किसी और प्लेटफ़ॉर्म से संगीत डाउनलोड नहीं करता और कॉपीराइट वाले गानों की नकल में मदद नहीं करता। गुणवत्ता के बारे में: कई बार कंप्रेस की गई फ़ाइल अक्सर लगभग 16 kHz पर कटी होती है और दबी-दबी लगती है, क्योंकि बीट और आवाज़ स्रोत से ज़्यादा साफ़ नहीं हो सकते। 320 kbps वाली मूल MP3, M4A, WAV या FLAC साफ़ तौर पर बेहतर नतीजा देती है।

कुछ पंक्तियाँ नीचे के सुरों पर भारी क्यों लगती हैं या टूट क्यों जाती हैं?

आम तौर पर वह पंक्ति आपके सैंपल की रेंज से नीचे चली जाती है। सिस्टम ऐसी पंक्तियाँ अपने आप ढूँढता है, उन्हें एक ऑक्टेव ऊपर दोबारा बदलता है और सबसे नज़दीकी बिना-स्वर वाली जगह पर वापस जोड़ देता है। अगर पूरा गाना फिर भी भारी और गूँजदार लगे, तो मूल आवाज़ जैसी रखें (यानी मूल key) विकल्प चुनकर फिर से चलाएँ।

संबंधित रिसर्च

• AI कवर खरखरे क्यों लगते हैं, और हमने कैसे मापा
• AI के गाए वियतनामी गाने: कितने शब्द बचते हैं?