AI के गाए वियतनामी गाने: कितने शब्द बचते हैं?

MuziAI के पीछे वाला गायन मॉडल आधिकारिक रूप से सिर्फ़ अंग्रेज़ी और चीनी को सपोर्ट करता है। तो क्या होता है जब आप उसे वियतनामी देते हैं, एक ऐसी भाषा जिसमें छह टोन अक्षरों पर लगे डायक्रिटिक चिह्नों (diacritics) से लिखे जाते हैं, और जहाँ वही अक्षर अलग चिह्न के साथ अलग शब्द बन जाते हैं? हमने मापा कि एक स्पीच रिकग्नाइज़र बोलों का कितना हिस्सा वापस सुन पाता है और उसकी तुलना लिखे हुए से की। जवाब: शैली के हिसाब से 78.6% से 94.7% बोल हर डायक्रिटिक चिह्न सही रहते हुए वापस आते हैं, जबकि नियंत्रण (control) के तौर पर लिए गए एक अंग्रेज़ी गाने में 100%। जो खोता है उसमें ज़्यादातर शब्द नहीं बल्कि चिह्न हैं, और हमारे माप-लॉग के अनुसार मुख्य ग़लती खिसका हुआ टोन है: डायक्रिटिक चिह्न हटा दें तो आँकड़े 87.5% से 98.4% तक बढ़ जाते हैं।

भरोसेमंद संख्या मिलने से पहले तीन पैमाने टूटे

काम का माप मिलने से पहले हमसे तीन बार चूक हुई। हर बार ग़लती गाने में नहीं, पैमाने में थी, और यही हिस्सा बताने लायक है।

1. एक तेज़ स्पीच रिकग्नाइज़र, पूरे गाने पर कैरेक्टर एरर रेट से स्कोर। इंस्ट्रुमेंटल हिस्सों पर उसने वियतनामी में एक पंक्ति गढ़ दी, वीडियो चैनल वाली शैली में “हमारे चैनल को subscribe करें, हमारे शानदार वीडियो न चूकें”, और उस गढ़े हुए टेक्स्ट ने सिर्फ़ जुड़ने के बजाय असल गाए शब्दों की जगह ले ली। अंग्रेज़ी पर असर नहीं पड़ा, इसलिए तुलना पहले से झुकी हुई थी: अंग्रेज़ी के लिए 0.012 की एरर रेट, वियतनामी के लिए 0.32 से 0.48।
2. सुनना आसान बनाने के लिए गाने को 12 सेकंड की खिड़कियों में काटना। और बुरा: लगभग हर खिड़की ने वही गढ़ी हुई पंक्ति दी, उन हिस्सों में भी जहाँ पूरे गाने को एक साथ सुनने पर बोल पहचान लिए गए थे।
3. पहले आवाज़ को संगीत से अलग करना, फिर ट्रांसक्राइब करना। फिर भी गढ़ा हुआ टेक्स्ट, जबकि अंग्रेज़ी पर सब ठीक रहा। तब साफ़ हो गया: समस्या वियतनामी पर तेज़ रिकग्नाइज़र की थी, गायन मॉडल की नहीं।

सबक़: वियतनामी की ऐसी एरर रेट जिसे पहले से पता जवाब वाले मामलों पर जाँचा न गया हो, उद्धृत करने लायक नहीं है। जो बोलों का माप ख़ुद बोल गढ़ता है, वह ठीक उसी भाषा को अनुचित सज़ा देगा जिसे वह सबसे ख़राब सुनता है।

जो पैमाना काम करता है: पंक्तियों की कवरेज, पहले से पता जवाबों पर परखी गई

अंतिम व्यवस्था बड़ा रिकग्नाइज़र इस्तेमाल करती है, हर अनुमान को पिछले वाक्य पर टिकाने की उसकी आदत बंद करती है (वही तंत्र जिससे एक गढ़ी हुई पंक्ति अपने पीछे दूसरी पंक्तियों की ज़ंजीर खींच लाती है), और कम भरोसे वाले टुकड़े हटाने के लिए थ्रेशोल्ड जोड़ती है। पूरे गाने की एरर रेट के बजाय यह पंक्तियों की कवरेज स्कोर करती है: बोलों की हर अलग पंक्ति के लिए (हिस्सों के लेबल हटाकर, दोहराई गई पंक्तियाँ एक बार गिनकर) ट्रांसक्रिप्ट का सबसे मिलता-जुलता हिस्सा ढूँढा जाता है, फिर गिना जाता है कि उस पंक्ति के अक्षरों का कितना हिस्सा क्रम से आता है, और अंत में सभी पंक्तियों का औसत लिया जाता है। अतिरिक्त शब्दों पर कोई सज़ा नहीं, इसलिए बीच में घुसी गढ़ी हुई पंक्ति स्कोर नीचे नहीं खींचती।

हर गाने को दो बार स्कोर किया जाता है: डायक्रिटिक चिह्नों के साथ (हर चिह्न मेल खाना चाहिए) और डायक्रिटिक चिह्नों के बिना (सारे चिह्न हटाकर, सिर्फ़ अक्षरों का ढाँचा मेल खाना चाहिए)। दोनों कॉलम का अंतर “शब्द का आकार सही, चिह्न ग़लत” वाला हिस्सा है। इस्तेमाल से पहले हमने यह माप पहले से पता जवाब वाले चार मामलों पर चलाया:

तीसरा मामला ही अहम है: जिस ट्रांसक्रिप्ट ने हर डायक्रिटिक चिह्न खो दिया वह चिह्नों के साथ 0.19 पाता है, लेकिन बिना चिह्नों के 1.0। यानी यह माप “ग़लत शब्द” को “सही शब्द, ग़लत चिह्न” से अलग पहचान सकता है।

नतीजे: pop, ballad, bolero और नियंत्रण के लिए एक अंग्रेज़ी गाना

Ballad सबसे साफ़ था, bolero सबसे कम। तीनों में बिना-चिह्न वाला कॉलम चिह्न वाले कॉलम से ऊँचा है: शब्दों का एक अच्छा-ख़ासा हिस्सा सही आकार पर ग़लत चिह्न के साथ गाया गया। Bolero में सबसे बड़ा अंतर (0.089) भी था और बिना-चिह्न वाला सबसे कम स्कोर (0.875) भी, यानी उस गाने में मॉडल ने ज़्यादा चिह्न भी खिसकाए और ज़्यादा शब्द भी छोड़े। ऐसा क्यों, यह हमने नहीं मापा। टोन का खिसकना इसलिए मायने रखता है कि वह अक्षर बदले बिना अर्थ बदल देता है: ma, má, mà, mả, mã और mạ छह अलग शब्द हैं।

बीट पर गवाने वाले टूल में भी यही पैटर्न

किसी मौजूदा बीट पर बोल गवाने वाला साइट का टूल एक अलग गायन सिस्टम पर चलता है और उसे ख़ास तौर पर वियतनामी के लिए बने रिकग्नाइज़र से स्कोर किया जाता है, इसलिए उसके आँकड़े ऊपर की तालिका से सीधे तुलनीय नहीं हैं। फिर भी पैटर्न वही रहता है:

Pop ट्रैक बिना चिह्नों के 1.000 तक पहुँचता है: हर शब्द गाया गया, और नुकसान सिर्फ़ डायक्रिटिक चिह्नों का था। और ballad पर यही माप उस बीट पर मूल इंसानी आवाज़ को 0.979 देता है, यानी असली गायक भी पूरा 1 नहीं छूता। हर स्कोर का एक हिस्सा बस सुनने वाले की सीमा है।

सीमाएँ और जो हम अभी नहीं जानते

• मुख्य तालिका सिर्फ़ तीन वियतनामी गानों को कवर करती है (pop, ballad, bolero)। पैटर्न देखने के लिए काफ़ी, शैलियों को भरोसे से क्रम देने के लिए नहीं; गानों की लाइब्रेरी बढ़ने पर हम फिर से मापेंगे।
• यह वह मापता है जो मशीन सुनती है, इंसान नहीं। हमने असली लोगों के साथ सुनने का टेस्ट नहीं किया है, इसलिए हमें नहीं पता कि इंसानी कान संदर्भ से कितने खिसके टोन ठीक कर लेता है।
• अतिरिक्त शब्दों पर सज़ा नहीं। यह जान-बूझकर लिया गया फ़ैसला है ताकि माप पर गढ़ी हुई पंक्तियों का असर न हो, पर इसका मतलब यह भी है कि अगर गायक ऐसे शब्द जोड़ दे जो बोलों में नहीं हैं, तो माप उन्हें नहीं पकड़ेगा।
• बिना-चिह्न वाला कॉलम स्वरों के चिह्न भी हटाता है (ă, â, ê, ô, ơ, ư, đ), सिर्फ़ टोन के चिह्न नहीं। कॉलमों का अंतर आम तौर पर “ग़लत डायक्रिटिक चिह्न” है; हमारे पास अभी ऐसा कॉलम नहीं है जो सिर्फ़ टोन को अलग करे।
• जो पैमाना एक तरह के ऑडियो पर चलता है वह दूसरे पर विफल हो सकता है। वही बड़ा रिकग्नाइज़र, साइट के आवाज़ बदलने वाले टूल से गुज़री आवाज़ें सुनते हुए, 3 में से 3 फ़ाइलों पर वही “subscribe” वाली पंक्ति गढ़ बैठा। वहाँ हमें वियतनामी के लिए ख़ास रिकग्नाइज़र पर जाना पड़ा।

ऐसे वियतनामी बोल कैसे लिखें जो गाए जाने के बाद भी साफ़ समझ आएँ

1. शैली इस हिसाब से चुनें कि शब्द कितने अहम हैं। अगर बोल ही मुख्य बात हैं (कोई समर्पण, कहानी वाला गाना, दुकान के नाम वाला जिंगल), तो हमारे टेस्ट में ballad (0.947) और pop (0.909) ने bolero (0.786) से बेहतर शब्द बचाए।
2. हर पंक्ति में एक पूरा गाया जाने वाला वाक्यांश, हिस्सों के लेबल के साथ। [Verse] और [Chorus] अपनी अलग पंक्तियों पर रखें और हर वाक्यांश के बाद पंक्ति तोड़ें। बीट पर गवाने वाले टूल में एक ठोस ब्लॉक की तरह पेस्ट किए गए बोलों से सिस्टम ने पूरे गाने को एक हिस्सा मान लिया; वह 16 सेकंड देर से शुरू हुआ और बोलने जैसा गाया।
3. ज़रूरी जगहों पर वे शब्द जाँचें जहाँ टोन बदलने से अर्थ पलट जाता है। कोरस की पंक्ति, किसी व्यक्ति का नाम, दुकान का नाम, यहीं एक खिसका टोन सबसे ज़्यादा चुभता है। तैयार गाने में ठीक उन्हीं शब्दों को सुनें।
4. कुछ संस्करण बनाएँ और सबसे साफ़ वाला रखें। हर बार बनाना नए सिरे से पासा फेंकने जैसा है, इसलिए बोल दोबारा लिखने से पहले फिर से कोशिश करना फ़ायदेमंद है।
5. नतीजे को किसी आम स्पीच-टू-टेक्स्ट ऐप से न आँकें। हमारे पहले तीनों पैमानों ने गाई गई वियतनामी पर बोल गढ़ दिए। अगर ट्रांसक्रिप्ट में “subscribe cho kênh…” जैसा कुछ अजीब दिखे, तो ग़लती ट्रांसक्राइब करने वाले टूल की है, गाने की नहीं।