लोकल और होस्टेड वीडियो-ऑडियो जनरेशन के लिए Pika H3 Flex जारी

पिका (Pika) ने Pika H3 Flex पेश किया है, जो छह सैंपलिंग चरणों में सिंक्रनाइज़ ऑडियो के साथ वीडियो जनरेट करने के लिए डिज़ाइन किया गया एक पोस्ट-ट्रेन मॉडल है। यह रिपॉजिटरी लोकल ओपन-वेट इन्फेरेंस के साथ-साथ होस्टेड API क्षमताएं प्रदान करती है।

कोर आर्किटेक्चर और अडैप्टर

MiniMax-H3 घटकों पर आधारित, Pika H3 Flex दो टास्क अडैप्टर का उपयोग करता है:

• FL2VA: टेक्स्ट कंडीशनिंग और एंडपॉइंट फ्रेम को संभालता है।
• Ref2VA: मल्टीमॉडल संदर्भों (references) को प्रबंधित करता है।

पाइपलाइन MP4 आउटपुट में डिकोड करने से पहले वीडियो और ऑडियो लेटेंट उत्पन्न करने के लिए प्रॉम्प्ट और इनपुट मीडिया को एनकोड करती है। सॉफ्टवेयर स्वचालित रूप से पिन किए गए बेस घटकों और अडैप्टर को डाउनलोड करता है।

इनपुट सीमाएं और विनिर्देश

• रिज़ॉल्यूशन: लोकल इन्फेरेंस मिश्रित स्टीरियो ऑडियो के साथ मूल 480p और 768p का समर्थन करता है। होस्टेड Pika API इसे 1080p, 2K और 4K तक बढ़ाता है।
• अवधि: अनुरोध 5 से 15 पूर्ण सेकंड के होते हैं, जो 24fps पर 17n+5 फ्रेम ग्रिड पर मैप होते हैं (उदाहरण के लिए, 5 सेकंड के अनुरोध से 124 फ्रेम, या लगभग 5.17 सेकंड मिलते हैं)।
• संदर्भ (References): Ref2VA कुल 12 तक संदर्भ स्वीकार करता है (अधिकतम 9 इमेज, 3 वीडियो और 3 स्वतंत्र ऑडियो क्लिप)। व्यक्तिगत वीडियो या ऑडियो क्लिप 2 से 15 सेकंड के बीच होनी चाहिए, और प्रत्येक श्रेणी की संयुक्त अवधि 15 सेकंड तक सीमित है।

हार्डवेयर और इंस्टॉलेशन

लोकल इन्फेरेंस चलाने के लिए Python 3.12, एक संगत ड्राइवर के साथ NVIDIA GPU, और git, patch, ffmpeg और C कंपाइलर जैसी सिस्टम पूर्व-आवश्यकताओं की आवश्यकता होती है। इस डिस्ट्रीब्यूशन का नाम `pika-h3-pro` है।

परीक्षण किए गए मामले बताते हैं कि एक सिंगल NVIDIA H100 80GB GPU मानक कॉन्फ़िगरेशन को संभालता है। उपलब्ध VRAM से अधिक अनुरोधों के लिए, उपयोगकर्ता कम पीक VRAM उपयोग के लिए गति का आदान-प्रदान करते हुए ट्रांसफार्मर वजन को होस्ट RAM पर रखने के लिए `--cpu-offload` सक्षम कर सकते हैं। एक ही अनुरोध के भीतर मल्टी-GPU प्रोसेसिंग लागू नहीं है।

लाइसेंसिंग और सत्यापन

अडैप्टर MiniMax H3 कम्युनिटी लाइसेंस समझौते के अंतर्गत आते हैं, जबकि इन्फेरेंस और लोडर कोड Apache-2.0 के तहत लाइसेंस प्राप्त हैं। निर्माता संपूर्ण दस्तावेज़ीकरण, हार्डवेयर सत्यापन तालिकाओं और सेटअप निर्देशों के लिए आधिकारिक GitHub रिपॉजिटरी देख सकते हैं।