OpenSenseNova ने SenseNova-Loop-9B-Preview मल्टीмоडल मॉडल जारी किया

OpenSenseNova ने SenseNova-Loop-9B-Preview लॉन्च किया है, जो लंबे संदर्भ (long-context) और एजेंटिक वर्कफ़्लो के लिए डिज़ाइन किया गया एक लूप्ड मल्टीмоडल भाषा मॉडल है। यह मॉडल टेक्स्ट और इमेज इनपुट स्वीकार करता है और टेक्स्ट जनरेट करता है, जिसका उद्देश्य दस्तावेज़ समझ, कोडिंग और बाहरी टूल के साथ इंटरैक्शन को संयोजित करने वाले एप्लिकेशन हैं।

दस्तावेज़ीकरण के अनुसार, इस रिलीज़ में लूप्ड डिकोडर को टू-स्ट्रीम मेनिफोल्ड-कन्स्ट्रेंड हाइपर-कनेक्शन (mHC) के साथ जोड़ा गया है। यह 32-परत वाले मल्टीмоडल डिकोडर आर्किटेक्चर पर बनाया गया है जहां परतों के एक सन्निहित ब्लॉक को साझा वजन (shared weights) के साथ दो बार निष्पादित किया जाता है।

वास्तुकला और मुख्य डिज़ाइन

मॉडल की वास्तुकला में विस्तारित संदर्भों को संभालने के लिए कई तकनीकी घटक शामिल हैं:

• साझा लूप्ड ब्लॉक: परत 4 से 27 (24 परतें) को क्रमानुसार दो बार लागू किया जाता है, जिससे 32 अलग-अलग परतों से 56 डिकोडर-परत निष्पादन उत्पन्न होते हैं।
• टू-स्ट्रीम mHC: सीखे गए मैपिंग लूप्ड अनुभाग के भीतर दो रेजिडूल स्ट्रीम में जानकारी को रूट और संयोजित करते हैं।
• हाइब्रिड अटेंशन: डिकोडर तीन लीनियर-अटेंशन परतों के बाद एक फुल-अटेंशन परत के दोहराए जाने वाले चार-परत पैटर्न का उपयोग करता है।
• लॉन्ग-कॉन्टेक्स्ट ट्रेनिंग: प्रलेखित प्रशिक्षण विधियों में 2,62,144 टोकन तक के अनुक्रम शामिल हैं।

अनुमान और व्यावहारिक कार्यान्वयन

व्या व्यावहारिक गति और प्रदर्शन विशिष्ट कार्यभार, हार्डवेयर और सर्विंग कॉन्फ़िगरेशन पर निर्भर करते हैं। विकास टीम की रिपोर्ट है कि त्वरित अनुमान के लिए MTP समर्थित है, जबकि Dspark और Dflash2 ड्राफ्ट मॉडल अभी विकास के अधीन हैं।

उपयोगकर्ता Transformers और PyTorch का उपयोग करके मॉडल को लोड कर सकते हैं। प्रलेखित संदर्भ वातावरण में Transformers 5.18.0 और PyTorch 2.11.0 with CUDA 13.0 का उपयोग किया गया है।

सत्यापन और अगले चरण

मूल घोषणा को सत्यापित करने के लिए, GitHub पर आधिकारिक OpenSenseNova/SenseNova-Loop रिपॉजिटरी की जाँच करें। उपयोगकर्ताओं को उत्पादन कार्यभार चलाने से पहले कॉन्फ़िगरेशन और परिनियोजन गाइड की समीक्षा करनी चाहिए।