क्या AI सच में आपके कॉर्ड पर गाता है? हमने मापा

गीतकार हमसे बार-बार पूछते हैं: अगर मेरे पास पहले से कॉर्ड प्रोग्रेशन और स्वरलिपि है, तो क्या AI सच में उस पर गाएगा, या उसे हल्का-सा इशारा मानकर किसी दूसरे गाने में भटक जाएगा? हमने अंदाज़ा लगाने के बजाय मापा। छोटा जवाब: हाँ, मॉडल आपकी दी गई स्वरलिपि के कॉर्ड और ढाँचे का पालन करता है। अंग्रेज़ी बोलों के साथ मूल से कॉर्ड का मेल 0.922 है; वियतनामी बोलों के साथ 0.809; बिना किसी स्वरलिपि के 0.546। हमने हार्मनी मापी है, गाई गई धुन नहीं, और यह लेख उस कमी के बारे में साफ़ बात करता है।

हमने कैसे मापा: 12 पिच क्लास, 2 सेकंड की खिड़कियाँ

जब आप MuziAI पर गाना बनाते हैं, तो सिस्टम आम तौर पर दो चरणों में काम करता है: एक मॉडल ABC नोटेशन में स्वरलिपि लिखता है (धुन, कॉर्ड, ताल), फिर गायन मॉडल उसे ऑडियो में बदलता है। 4:14 के एक गाने के लिए लिखने के चरण में लगभग 40 सेकंड और गाने में 179 सेकंड का मशीन समय लगता है। अपनी स्वरलिपि दें तो लिखने का चरण छूट जाता है। पहले से पता जवाब पाने के लिए हमने एक मौजूदा गाने की स्वरलिपि ली, उसे नए बोलों के साथ फिर से गवाया, और नतीजे की तुलना उस मूल गाने से की जिससे वह स्वरलिपि आई थी।

यह माप CPU पर चलता है और 12 स्वरों वाली क्रोमा प्रोफ़ाइल इस्तेमाल करता है: गाने को 2 सेकंड की खिड़कियों में काटा जाता है, और हर खिड़की में सारी ऊर्जा एक ऑक्टेव के 12 पिच क्लास (C, C sharp, D से लेकर B तक) पर मोड़ दी जाती है, स्वर चाहे किसी भी ऑक्टेव में बजें। हर 2 सेकंड एक हार्मोनिक फ़िंगरप्रिंट बन जाता है। हम दोनों गानों के फ़िंगरप्रिंट एक ही समय-बिंदुओं पर मिलाते हैं और पूरे ट्रैक का औसत लेते हैं। 1 स्कोर का मतलब है हूबहू एक जैसा।

0.8 जैसी संख्या तब तक कुछ नहीं कहती जब तक पता न हो कि “असंबंधित” कहाँ बैठता है। इसलिए हमने एक निचली सीमा मापी: मूल गाना लें, उसे 8 सेकंड खिसकाएँ, और बिना खिसके संस्करण से मिलाएँ। वही कॉर्ड, वही वाद्य, वही आवाज़, सिर्फ़ समय में आगे-पीछे, और स्कोर 0.656 पर गिर जाता है।

नतीजे: चार आँकड़े

अंग्रेज़ी बोलों के साथ 86% खिड़कियाँ 0.8 से ऊपर हैं और तीन मिनट से ज़्यादा के गाने में वह मूल से सिर्फ़ 0.7 सेकंड छोटा है: मॉडल ने वही हिस्से उसी लंबाई में रखे। बिना स्वरलिपि वह पूरी तरह अलग गाना लिखता है: 0.546, 0.656 की निचली सीमा से नीचे, और 189 की जगह 161 सेकंड लंबा। वियतनामी बोल बीच में आते हैं: 0.809 साफ़ तौर पर निचली सीमा से ऊपर है, पर सिर्फ़ 52% खिड़कियाँ 0.8 पार करती हैं।

स्वरलिपि के साथ भी यह क्यों भटकता है

सबसे अच्छे नतीजे में भी 14% खिड़कियाँ 0.8 से नीचे हैं। पहले दो कारण मापों से समर्थित हैं; आख़िरी दो अनुमान हैं।

• टाइमिंग की ग़लतियों की सज़ा भारी है। माप खिड़कियों को ठीक एक ही सेकंड पर मिलाता है, और 0.656 की निचली सीमा दिखाती है कि 8 सेकंड खिसका हुआ एक जैसा गाना भी बहुत कुछ खो देता है। कुछ बीट लंबा या छोटा गाया गया एक हिस्सा उसके बाद की हर खिड़की को नीचे खींचता है।
• हर बार गाना बनाना नए सिरे से पासा फेंकने जैसा है। वियतनामी वाले रन में अंग्रेज़ी वाले से अलग सीड इस्तेमाल हुआ, इसलिए 0.809 एक साथ दो बदलावों को दिखाता है। हमने यह अलग नहीं किया है कि कितना भाषा से आता है और कितना सीड से।
• माप पूरा मिक्स सुनता है। क्रोमा आवाज़ और वाद्यों को साथ में लेता है, इसलिए अलग स्वरों पर गाई गई पंक्ति उसी कॉर्ड पर भी 12 पिच क्लास को अलग रंग देती है (अनुमान)।
• नए बोलों की पंक्तियों की लंबाई अलग होती है। गायक को माप के भीतर पंक्तियाँ खींचनी या दबानी पड़ती हैं, और वियतनामी में हर अक्षर का अपना टोन भी होता है (अनुमान, अलग से नहीं मापा)।

सीमाएँ और जो हम अभी नहीं जानते

• गाई गई धुन नहीं मापी गई। इसके लिए आवाज़ अलग करनी पड़ती है और उसका सुर ट्रैक करना पड़ता है, जिसके लिए GPU चाहिए। इसीलिए गाना बनाने वाला पेज सिर्फ़ “कॉर्ड, सुर और गति” बनाए रखने का वादा करता है, आवाज़ के हर स्वर का नहीं।
• नमूना छोटा है। चारों आँकड़े एक ही स्वरलिपि से आते हैं, हर स्थिति में एक बार बनाकर। वे दिशा दिखाते हैं, पर यह नहीं बता सकते कि वियतनामी हमेशा अंग्रेज़ी से 0.113 नीचे रहेगा।
• सिर्फ़-धुन मोड को इस माप से स्कोर नहीं किया गया। एकमात्र निचला संदर्भ 0.546 है, बिल्कुल बिना स्वरलिपि के लिए।
• ऊँचा स्कोर अच्छा गाना नहीं है। यह माप अरेंजमेंट, आवाज़ की गुणवत्ता या शब्द कितने साफ़ सुनाई देते हैं, इसके बारे में कुछ नहीं कहता।

आज़माया और बंद किया: “Am F C G” जैसा कॉर्ड बॉक्स

बहुत से लोगों के पास प्रोग्रेशन होती है पर धुन नहीं। हमने एक बॉक्स बनाया जिसमें आप कॉर्ड टाइप करते हैं, जो ऐसी स्वरलिपि में बदल जाते थे जिसमें सिर्फ़ कॉर्ड और विरामों से बनी वोकल लाइन थी। नतीजा: कॉर्ड सही थे (0.858), पर गाना 189 की जगह 86 सेकंड चला और मॉडल ने सारे बोल नहीं गाए। बॉक्स बंद है। एक और माप बताता है क्यों: इंस्ट्रुमेंटल मोड बनाते समय, सिर्फ़ हिस्सों के लेबल वाली स्वरलिपि से लगभग एक मिनट का ट्रैक बना, चाहे उसमें 4 लेबल हों या 8, जबकि भराव वाली पंक्तियों ने मॉडल से असली धुन लिखवाई और ट्रैक पंक्तियों की संख्या के साथ बढ़ा। यानी गाने की लंबाई धुन की पंक्तियाँ तय करती हैं, कॉर्ड नहीं। कॉर्ड बॉक्स चलने के लिए मॉडल को दी गई प्रोग्रेशन के भीतर धुन रचनी होगी, और ऐसा अभी बनाया नहीं गया है।

धुन और कॉर्ड, या सिर्फ़ धुन?

“पहले से मौजूद स्वरलिपि” कार्ड आपको चुनने देता है कि क्या रखना है। धुन और कॉर्ड आपकी स्वरलिपि को बिना छुए आगे भेजता है, यही 0.922 और 0.809 वाली स्थिति है। सिर्फ़ धुन चुनने पर सेवा गाने से पहले हर कॉर्ड चिह्न हटा देती है, क्योंकि गायन मॉडल उन्हें अपने आप नज़रअंदाज़ नहीं करता। लाइव साइट पर शुरू से अंत तक के एक असली टेस्ट में भेजी गई स्वरलिपि में 68 कॉर्ड चिह्न थे, मॉडल ने जो स्वरलिपि इस्तेमाल की उसमें 0, और गाना 210 सेकंड का बना।

• धुन और कॉर्ड तब चुनें जब प्रोग्रेशन ही आपके लिए मायने रखती हो: संगत तैयार है, या आप किसी मौजूदा गाने के लिए नए शब्द लिख रहे हैं।
• सिर्फ़ धुन तब चुनें जब आपको कॉर्ड से ज़्यादा धुन पर भरोसा हो: हाथ से उतारी गई स्वरलिपि जिसकी हार्मनी जाँची नहीं गई, ग़ैर-मानक तरीक़े से लिखे कॉर्ड, या ऐसी धुन जिसे आप नई शैली में नई संगत देना चाहते हैं।
• अगर मूल कॉर्ड से मेल सबसे ज़रूरी है, तो सिर्फ़ धुन छोड़ दें: उसके लिए अभी हमारे पास कॉर्ड का कोई माप नहीं है।

गाना बनाते समय इसका इस्तेमाल कैसे करें

1. एक स्वरलिपि लें। हर नमूना गाने के पेज पर उसके “कॉर्ड और स्वरलिपि” ब्लॉक में “इसी स्वरलिपि पर नए बोल गवाएँ” बटन है। या AI song generator पर “पहले से मौजूद स्वरलिपि” कार्ड खोलें और 58 नमूना स्वरलिपियों में से एक चुनें (हर एक के साथ सुनने का बटन) या अपना ABC पेस्ट करें।
2. गाना बनाने से पहले सारांश कार्ड पढ़ें: key, BPM, ताल और प्रोग्रेशन, जैसे “F major · 100 BPM · 4/4 · F C/E Dm7 Bb…”। मॉडल इसी का पालन करेगा, इसलिए जो ग़लत हो उसे वहीं ठीक करें।
3. वियतनामी बोलों के साथ दो-तीन संस्करण बनाएँ और हर हिस्से की शुरुआत की तुलना मूल से करें: वियतनामी ने कॉर्ड का पालन अंग्रेज़ी से कम क़रीब से किया (0.809 बनाम 0.922), और हर बार बनाना नए सिरे से पासा फेंकने जैसा है।
4. यह उम्मीद न करें कि आवाज़ मूल धुन की स्वर-दर-स्वर नकल करेगी। वह हिस्सा मापा नहीं गया है, इसलिए हम उसका वादा नहीं करते।
5. सिर्फ़ कॉर्ड हैं? कॉर्ड बॉक्स बंद है; सबसे क़रीबी विकल्प है मिलती-जुलती प्रोग्रेशन वाला कोई नमूना गाना चुनकर उस पर नए बोल लिखना।