टेनसेंट हनयुआन ने रियल-टाइम द्विभाषी भाषण अनुवाद और वॉयस क्लोनिंग के लिए Hy-SimulMT किया जारी

टेनसेंट हनयुआन ने Hy-SimulMT नामक एक रियल-टाइम समवर्ती अनुवाद मॉडल जारी किया है, जो चीनी और अंग्रेजी के बीच द्विभाषी स्पीच-टू-स्पीच अनुवाद और रियल-टाइम वॉयस क्लोनिंग का समर्थन करता है। बैठकों, भाषणों और साक्षात्कारों जैसे लाइव संचार सेटअप के लिए डिज़ाइन किया गया यह मॉडल आने वाले ऑडियो को संसाधित करता है और मूल वक्ता की आवाज की विशेषताओं को बनाए रखते हुए अनुवादित पाठ और भाषण दोनों उत्पन्न करता है।

प्रदर्शन और बेंचमार्क

अनुवाद गुणवत्ता और विलंबता के बीच संतुलन का मूल्यांकन करने के लिए डेवलपर्स ने सार्वजनिक बेंचमार्क और वास्तविक ऑडियो नमूनों पर परीक्षण किए:

• लॉन्ग-फॉर्म ऑडियो: RealSI मूल्यांकन में, Hy-SimulMT ने लगभग 3 सेकंड का StreamLAAL दर्ज किया, जो तुलना किए गए सिस्टम में सबसे कम था।
• गुणवत्ता स्कोर: इसका GEMBA अनुवाद गुणवत्ता स्कोर परीक्षण किए गए ओपन-सॉर्ट मॉडल और पांच में से चार वाणिज्यिक एपीआई से अधिक रहा।
• शॉर्ट-फॉर्म डेटासेट: मॉडल ने FLEURS, ACL6060 और RealSI-Sentence बेंचमार्क पर सूचीबद्ध अन्य ओपन-सोर्स मॉडल की तुलना में उच्च अंक प्राप्त किए।
• विशेषज्ञ तुलना: CATTI स्तर 1 और 2 प्रमाणपत्र धारक विशेषज्ञ दुभाषियों के साथ दस डोमेन में 18 ऑनलाइन ऑडियो रिकॉर्डिंग के मूल्यांकन में सिस्टम ने प्रतिस्पर्धी प्रदर्शन दिखाया।

परिनियोजन और उपकरण

यह प्रोजेक्ट अपनी रिपॉजिटरी के माध्यम से अनुमान सेवाएं और प्रशिक्षण उपकरण प्रदान करता है:

• SimulInfer: वेब इंटरफेस, ऑडियो फाइल अपलोड, रियल-टाइम वेबसॉकेट और इनपुट वॉयस क्लोनिंग के साथ वैकल्पिक टीटीएस एकीकरण प्रदान करता है।
• Llama.cpp एकीकरण: GGUF मॉडल अनुमान के लिए `llama-mtmd-cli` का उपयोग करके वास्तुकला-विशिष्ट समर्थन जोड़ने हेतु एक पुल अनुरोध (#31198) प्रस्तुत किया गया है।
• SGLang-Omni रनटाइम: OpenAI-संगत HTTP समापन बिंदुओं और रियल-टाइम वेबसॉकेट के माध्यम से `Hy-SimulMT-30B-A3B` चेकपॉइंट को सेवा प्रदान करता है।
• SimulTrain: अनुकूलित पर्यावरण कॉन्फ़िगरेशन का उपयोग करके डाउनलोड किए गए चेकपॉइंट से प्रशिक्षण जारी रखने की क्षमता प्रदान करता है।

सत्यापन और विशेषज्ञ प्रतिक्रिया

गुआंग्डोंग यूनिवर्सिटी ऑफ फॉरेन स्टडीज के प्रतिनिधियों सहित अकादमिक विशेषज्ञों ने उल्लेख किया कि सिस्टम की पुनरावृत्ति सुधार तंत्र मानव आत्म-सुधार जैसा दिखता है, जो कम जोखिम वाले सेटिंग्स में AI समवर्ती दुभाषिया के लिए एक मील का पत्थर है। उपयोगकर्ता टेनसेंट हनयुआन गिटहब रिपॉजिटरी, हगिंग फेस, मॉडलस्कोप के माध्यम से आधिकारिक घोषणा और संसाधनों को सत्यापित कर सकते हैं या Hy Translate ऐप का उपयोग कर सकते हैं।