आपकी बीट पर AI गायकी: यह rap जैसी क्यों लग सकती है

आप एक तैयार बीट अपलोड करते हैं, अपने बोल पेस्ट करते हैं, “ballad” चुनते हैं, और वापस कुछ ऐसा मिलता है जो बोले गए rap के ज़्यादा क़रीब है, ऐसे शब्दों के साथ जो संगीत के लगते ही नहीं। MuziAI के एक उपयोगकर्ता ने ठीक इन्हीं शब्दों में शिकायत की: उन्हें लगा कि उन्होंने “ग़लती से rap सुन लिया”, संगीत और शब्द “अलग-अलग रास्तों पर जा रहे थे”, AI ने “बोल गढ़ दिए” और “चीख़ता रहा”। कुछ भी बदलने से पहले हमने उनके तीनों रन मापे। छोटा जवाब: आवाज़ कभी बेसुरी नहीं थी। उन्होंने जो सुना वह था चार माप देर से हुई शुरुआत, गाने से ज़्यादा बोलने जैसी अदायगी, और एक धुन जो टूल ने बिल्कुल नए सिरे से लिखी। पहली दो बातें कुछ हद तक ठीक हो सकती हैं। तीसरी नहीं।

शिकायत: तीन रन, किसी सुधार से पहले मापे गए

एक उपयोगकर्ता ने 276.5 सेकंड, 60 BPM की एक संगत पर 48 पंक्तियों के बोल पेस्ट किए, जिसमें मुख्य आवाज़ का हिस्सा 32.5 सेकंड पर आता है।

रन 1 में बीच में बिना ख़ाली पंक्ति वाली अड़तालीस पंक्तियाँ एक ही वर्स की तरह पढ़ी गईं: मॉडल ठीक चार माप देर से आया और आधा-बोलकर आगे बढ़ा। रन 2 और 3 समय पर शुरू हुए पर उनमें 11 सेकंड का “हू हू हू” था, जो सिर्फ़ गुनगुनाहट वाला एक हिस्सा था जिसे उपयोगकर्ता ने ख़ुद बोलों में लिखा था।

हमने तीनों रन में आवाज़ की key को बीट से मिलाकर देखा: तीनों सुर में थे। “अलग रास्तों” वाला एहसास कहीं और से आता है। संगत में सिर्फ़ साथ का संगीत होता है, आवाज़ की धुन नहीं, इसलिए टूल बोलों के लिए बिल्कुल नई धुन रचता है। जो कोई उन शब्दों को किसी दूसरी धुन के साथ जानता है, वह जाने-पहचाने शब्द अनजानी धुन पर सुनता है और इस बेमेल को “ग़लत key” मान लेता है। बीट पर गवाने वाले किसी भी टूल का कोई एल्गोरिदम इसे ठीक नहीं कर सकता, क्योंकि पहले वाली धुन इनपुट में है ही नहीं।

Sustain: एक संख्या जो गाने को बोलने से अलग करती है

“यह बोलने जैसा लगता है” वाली शिकायत परखने के लिए हमने एक माप बनाया: आवाज़ वाले समय का वह हिस्सा जो 0.6 सेकंड या उससे लंबे स्थिर स्वरों के अंदर बैठता है। हमने इसे साइट के पूरे गानों से अलग की गई आवाज़ों पर हर एक के बीच के 90 सेकंड लेकर कैलिब्रेट किया:

रन 1 ने 0.139 स्कोर किया, ठीक rap के इलाक़े में। 0.2 से कम sustain वाला “ballad” सच में rap जैसा लगता है, इसलिए शिकायत एक सटीक वर्णन थी, नुक्ताचीनी नहीं। रन 2 और 3 के 0.262 और 0.283 चीख़-पुकार से फूले हुए थे; सिर्फ़ बोलों वाले हिस्से गिनें तो वे 0.22-0.25 पर आ जाते हैं, ballad रेंज के निचले किनारे पर।

टूल शुरुआत, key और ढाँचा कैसे ढूँढता है

आवाज़ कहाँ से शुरू होती है

मॉडल को सेकंड 0 से गाने दें तो वह 79% गानों में इंट्रो पर चढ़ जाता है, यह पहले से पता जवाब वाले 57 गानों (साइट की बीट और अलग की गई आवाज़ें) पर मापा गया। हमारा पहला नियम, “संगीत के सबसे बड़े बदलाव पर शुरू करें”, अनुमान के मुताबिक़ विफल हुआ: किसी और उपयोगकर्ता की बीट पर उसने 16.5 सेकंड चुना, ठीक वहाँ जहाँ एक ज़ोरदार इंस्ट्रुमेंटल रिफ़ शुरू होता है। मौजूदा नियम एक शर्त जोड़ता है: जहाँ संगीत की आवाज़ बढ़ती है, वहाँ कभी शुरू न करें। वह पहले 40 सेकंड में चार-चार माप की सीमाएँ देखता है, उन्हें हटाता है जहाँ संगीत 2 dB से ज़्यादा उठता है, और फिर सबसे बड़ा बदलाव लेता है। नतीजा: 64.9% गानों पर ±1 माप के भीतर, माध्यिका ग़लती 0.5 माप, और सिर्फ़ 1.8% गानों में अब भी इंट्रो पर गायकी। उस दूसरे उपयोगकर्ता की बीट को अब ठीक 32.0 सेकंड पर शुरुआत मिलती है।

गायन मॉडल को सिर्फ़ एक खिड़की के अंदर बनाने को कहा जा सकता है, पर उसके बाहर मॉडल पूरी बीट को वोकल ट्रैक में कॉपी कर देता है। इसलिए टूल बीट को शुरुआती बिंदु पर काटता है, बाक़ी पर गाता है, आवाज़ को सही सेकंड पर वापस रखता है, और ड्रम व गिटार का रिसाव हटाने के लिए उसे वोकल सेपरेटर से गुज़ारता है।

Key और बोलों का ढाँचा

पुराना key डिटेक्टर एक तरीक़ा इस्तेमाल करता था और पहले से पता key वाले 48 में से 40 गाने सही पकड़ता था। नया तीन तरीक़ों से वोट करवाता है और बहुमत न हो तो चुप रहता है, क्योंकि कोई इशारा न देना ग़लत इशारे से बेहतर है: 46/48। एक नमूना बीट पहले C# minor पढ़ी जाती थी; अब वह B major है, 3 में से 3 वोट।

टूल हिस्से बाँटने के लिए दोहराई गई पंक्तियों के ब्लॉक भी ढूँढता है और सबसे ज़्यादा दोहराए गए ब्लॉक को कोरस कहता है। लेबल किए गए 300 गानों पर वह 96% बार ढाँचा ढूँढता है, 87% बार कोरस की पंक्तियाँ पहचानता है और 92% बार वर्स को कोरस कहने से बचता है। इस उपयोगकर्ता के बोलों पर उसने उनके हाथ से लगाए लेबल हूबहू दोहरा दिए। सिर्फ़ गुनगुनाहट वाले हिस्से इंस्ट्रुमेंटल ब्रेक बन जाते हैं। हर टेक को स्कोर किया जाता है (CPU पर लगभग 15 सेकंड) और देर से शुरुआत होने पर दोबारा टेक लिया जाता है, ज़्यादा से ज़्यादा दो बार। उपयोगकर्ता का वही इनपुट दोबारा चलाने पर: देर से शुरुआत 1.1 s और 0.0 s, बोलों की कवरेज 0.906 और 0.921।

एक लंबा टेक या हर हिस्से का अलग टेक

बोलने जैसी अदायगी ज़्यादा कठिन है। आवाज़ का विवरण दोबारा लिखने से मदद नहीं मिलती: हमने तीन विवरण आज़माए, हर एक तीन सीड के साथ: डिफ़ॉल्ट से 0.203, 0.150, 0.200; “soft breathy” 0.217, 0.183, 0.180; “slow ballad, long sustained notes, legato” 0.189, 0.201, 0.174। असली लीवर है एक बार में बनने वाले हिस्से की लंबाई: वही बीट, बोल और विवरण, एक 244 सेकंड के टेक में गाया गया या लगभग 100 सेकंड के हिस्सों में अलग-अलग:

हिस्सा-दर-हिस्सा गाने से ballad, rap रेंज से ballad रेंज में आ जाता है। पेच यह है: अलग-अलग बने दो हिस्से दो अलग गायक होते हैं। एक ही टेक के दो आधे आवाज़ की समानता पर 0.89-0.97 स्कोर करते हैं; एक ही सीड से अलग-अलग बने हिस्से A और B सिर्फ़ 0.57, 0.68 और 0.84 स्कोर करते हैं। पूरे गाने वाले टेक को आवाज़ के रंग के संदर्भ की तरह वापस देने से एक आवाज़ बनी रहती है (0.886, जबकि सीमा 0.80 है), पर वह उस टेक की गायकी का अंदाज़ भी साथ घसीट लाता है: sustain लगभग 0.30 की जगह सिर्फ़ 0.181 से 0.202 तक बढ़ता है। इतने छोटे फ़ायदे के लिए हर काम में पाँच मिनट से ज़्यादा अतिरिक्त समय लगता, इसलिए यह क़दम बंद है।

सीमाएँ और खुले सवाल

• आज़माया और उसी दिन हटाया: 0.2 से कम sustain वाले हर ballad को दूसरे सीड से दोबारा गवाना। 7 सीड के साथ 13 टेक में sustain 0.093 और 0.217 के बीच बेतरतीब आया, हर काम में लगभग पाँच मिनट अतिरिक्त। देर से शुरुआत होने पर दोबारा टेक लेने का नियम बना रहता है, क्योंकि देर से शुरुआत सीड के साथ चलती है (लगभग 3 में से 1 टेक)।
• शुरुआत पहचानने वाला डिटेक्टर 64.9% गानों पर ±1 माप के भीतर है, यानी लगभग एक-तिहाई पर वह इससे ज़्यादा चूकता है।
• Key डिटेक्टर कभी-कभी जोड़ीदार (relative) key बता देता है: एक नमूना बीट F के रूप में आई जबकि उसकी स्वरलिपि D minor कहती है (72 BPM का टेम्पो बिल्कुल सही था)।
• लंबे गानों पर बोलने जैसी अदायगी का अभी कोई लाइव इलाज नहीं है; किसी मौजूदा खिंचे हुए गाए वाक्यांश को आवाज़ के रंग के संदर्भ की तरह इस्तेमाल करना परखा नहीं गया है।
• किसी मौजूदा गाने की मूल धुन काराओके ट्रैक से वापस नहीं पाई जा सकती।

गाना बनाते समय इसका क्या मतलब है

1. हिस्सों के बीच एक ख़ाली पंक्ति छोड़ें, या उन पर [Verse] और [Chorus] के लेबल लगाएँ। एक ब्लॉक की तरह पेस्ट किए बोलों से ही 16.1 सेकंड की देर हुई।
2. जब तक सुनना न चाहें, बोलों में गुनगुनाहट न लिखें: सिर्फ़ गुनगुनाहट वाला एक हिस्सा 11 सेकंड की चीख़-पुकार बन गया।
3. नतीजे वाले पेज पर टूल का बताया BPM और key जाँचें। साफ़ तौर पर ग़लत BPM का मतलब हो सकता है कि बीट का टेम्पो बदलता है या वह बिना ताल वाले इंट्रो से खुलती है।
4. अगर आप ऐसी रिकॉर्डिंग की धुन रखना चाहते हैं जिसे इस्तेमाल करने का आपको अधिकार है, तो बीट पर गवाने वाला टूल नहीं, AI कवर इस्तेमाल करें। AI कवर ऐसी रिकॉर्डिंग सुनता है जिसमें गायक है, इसलिए वह धुन रखता है और सिर्फ़ आवाज़ बदलता है। बीट पर गवाने वाला टूल गीत-रचना का टूल है: यह आपके शब्दों को नई धुन देता है।
5. अगर आपको खिंचे स्वरों वाला ballad चाहिए और आप सिर्फ़ एक हिस्सा इस्तेमाल करेंगे, तो टूल को सिर्फ़ उसी हिस्से के बोल दें: लगभग 100 सेकंड के टेक में sustain, 244 सेकंड वाले टेक से साफ़ तौर पर ज़्यादा रहता है। नए गाने MuziAI होम पेज से शुरू होते हैं।