मिंग-3.0-टीटीएस ओपन-सोर्स टेक्स्ट-टू-स्पीच मॉडल परिवार 0.5बी और टर्नी एमओई वेरिएंट के साथ जारी

मिंग-3.0-टीटीएस (Ming-3.0-tts) को एक ओपन-सोर्स टेक्स्ट-टू-स्पीच (TTS) मॉडल परिवार के रूप में जारी किया गया है, जिसमें दो मुख्य वेरिएंट शामिल हैं: एक 0.5बी सघन मॉडल और एक 7.9बी-ए1.3बी मिक्सचर ऑफ एक्सपर्ट्स (MoE) टिनि मॉडल। यह प्रोजेक्ट इन्फेंस कोड, मूल्यांकन बेंचमार्क और बहुभाषी भाषण, आवाज़ क्लोनिंग, वॉयस डिज़ाइन और प्राकृतिक भाषा नियंत्रण के लिए समर्थन प्रदान करता है।

मॉडल आर्किटेक्चर और वेरिएंट

दोनों मॉडल एक एकीकृत जनरेशन फ्रेमवर्क साझा करते हैं जो टेक्स्ट और कंट्रोल टोकन, डीआईटी पैच हेड और एक ऑडियो टोकनाइज़र को जोड़ता है:

• मिंग-3.0-टीटीएस-0.5बी (Ming-3.0-tts-0.5b): एक सघन मॉडल जिसे NVIDIA H800 और H20 जैसे हार्डवेयर वातावरण पर परीक्षण किया गया है।
• मिंग-3.0-टीटीएस-टिनी (Ming-3.0-tts-tiny): लिंग वी3 पर आधारित एक MoE मॉडल (कुल 7.9B, सक्रिय 1.3B पैरामीटर), जिसके लिए एक समर्पित संदर्भ अनुमान वातावरण की आवश्यकता होती है।

मुख्य क्षमताएं और नियंत्रण विशेषताएं

मिंग-3.0-टीटीएस विशिष्ट जनरेशन आवश्यकताओं के लिए अलग-अलग कार्य मोड प्रदान करता है:

• आवाज़ निर्माण (Voice Creation): संदर्भ ऑडियो से ज़ीरो-शॉट वॉयस क्लोनिंग, टेक्स्ट विवरण के माध्यम से वॉयस डिज़ाइन और अंतर्निहित चरित्र आवाज़ों का समर्थन करता है।
• फ्री-फॉर्म और पैरालिंग्विस्तिक नियंत्रण: चीनी और अंग्रेजी में हंसी, आह और सांस लेने जैसी अभिव्यक्तियों के लिए प्राकृतिक भाषा के निर्देश और 14 इनलाइन टैग स्वीकार करता है।
• बहुभाषी और बोलियां: चीनी, अंग्रेजी, जर्मन, स्पेनिश, फ्रेंच, कोरियाई और जापानी के साथ-साथ सिचुआनी और कैंटोनीज़ बोलियों में भाषण का संश्लेषण करता है।
• विशेषताएं और संवाद: गति, पिच और वॉल्यूम के समायोजन की अनुमति देता है, जिसमें टिनि वेरिएंट द्वारा मल्टी-स्पीकर संवाद जनरेशन समर्थित है।

बेंचमार्क प्रदर्शन और मूल्यांकन

स्वतंत्र मूल्यांकन और प्रोजेक्ट बेंचमार्क विभिन्न मेट्रिक्स में ताकत को उजागर करते हैं:

• उच्चारण और पैरालिंग्विस्तिक: मॉडल एनवीबेंच जैसे बेंचमार्क पर उच्चारण मजबूती और सिंगल-टैग मेट्रिक्स में मजबूत परिणाम प्राप्त करते हैं।
• बहुभाषी और बोलियां: टिनि वेरिएंट जर्मन और स्पेनिश में प्रतिस्पर्धी प्रदर्शन दर्ज करता है, जबकि 0.5बी वेरिएंट कैंटोनीज़ मेट्रिक्स में उत्कृष्ट प्रदर्शन करता है।
• सीमाएं: भविष्य के सुधार के लिए लक्षित क्षेत्रों में बहुभाषी वक्ता समानता, कोरियाई सटीकता और रोल-प्ले निर्देश का पालन शामिल हैं।

व्यावहारिक निहितार्थ और सत्यापन

इस रिलीज़ में डेवलपर्स को प्रदर्शन सत्यापित करने और मॉडल को एकीकृत करने में मदद करने के लिए कुकबुक गाइड और वन-क्लिक उदाहरण स्क्रिप्ट शामिल हैं। उपयोगकर्ताओं को जिम्मेदार एआई दिशानिर्देशों का पालन करना चाहिए: उपकरणों का उपयोग सहमति के बिना व्यक्तियों का प्रतिरूपण करने के लिए नहीं किया जाना चाहिए।

मूल घोषणा को सत्यापित करने के लिए, कोडबेस, पर्यावरण कॉन्फ़िगरेशन फ़ाइलों और बेंचमार्क डेटासेट के लिए आधिकारिक गिटहब रिपॉजिटरी की समीक्षा करें।