DeepSeek ने DeepInfer लॉन्च किया: बड़े पैमाने पर AI मॉडल के लिए उच्च-प्रदर्शन इन्फरेंस फ्रेमवर्क

विवरण

DeepSeek ने अपने 'DeepInfer' फ्रेमवर्क को ओपन-सोर्स कर दिया है, जिसे बड़े पैमाने पर AI सेवाओं की कठोर आवश्यकताओं को संभालने के लिए डिज़ाइन किया गया है। इसका मुख्य उद्देश्य डेवलपर्स को एक ऐसा इंफ्रास्ट्रक्चर प्रदान करना है जो ऑप्टिमाइज़्ड कर्नल्स और उन्नत समानांतर तकनीकों (parallelization techniques) के माध्यम से इन्फरेंस प्रक्रिया को गति दे सके।

मुख्य तकनीकी विशेषताएं

DeepInfer में प्रदर्शन को बेहतर बनाने के लिए कई विशेष अनुकूलन शामिल किए गए हैं:

• समानांतर रणनीतियाँ: इसमें अटेंशन डेटा पैरेललिज्म (DP), कॉन्टेक्स्ट पैरेललिज्म (CP) और मिक्सचर-ऑफ़-एक्सपर्ट्स एक्सपर्ट पैरेललिज्म (EP) के लिए समर्थन शामिल है।
• अनुकूलित कर्नल्स: यह FlashMLA, DeepGEMM, DeepEP और TileKernels जैसे कस्टम कर्नल्स का उपयोग करता है जो कम्प्यूटेशनल दक्षता बढ़ाते हैं।
• DSpark और सत्यापन: डिकोडिंग प्रक्रिया को तेज करने के लिए 'कॉन्फिडेंस-शेड्यूल्ड वेरिफिकेशन' और ड्राफ्ट टोकन का उपयोग करता है।
• एसिंक्रोनस शेड्यूलिंग: इसमें एक जीरो-ओवरहेड बैच शेड्यूलर है जो CPU शेड्यूलिंग और डिवाइस निष्पादन को ओवरलैप करके विलंबता (latency) को कम करता है।
• संरचित आउटपुट: यह JSON स्कीमा, रेगुलर एक्सप्रेशन या EBNF व्याकरण के माध्यम से आउटपुट को नियंत्रित करने की अनुमति देता है।

कार्यान्वयन और आवश्यकताएं

DeepInfer को Python 3.12 वातावरण के लिए बनाया गया है। हालांकि यह मुख्य इंजन कार्यक्षमता प्रदान करता है, लेकिन इसे चलाने के लिए लोड बैलेंसिंग और प्रीफिल/डिकोड कार्यों के पृथक्करण जैसी सेवाओं को उपयोगकर्ताओं द्वारा प्रबंधित करना आवश्यक है।

शुरुआत कैसे करें

• मॉडल अनुकूलता: यह फ्रेमवर्क DeepSeek-V4.1-Flash-1017 जैसे मॉडलों के साथ काम करने के लिए डिज़ाइन किया गया है।
• परीक्षण: डेवलपर्स प्रदान की गई `run_sweep.sh` स्क्रिप्ट का उपयोग करके प्रदर्शन के आँकड़ों को सत्यापित कर सकते हैं।
• लाइसेंस: यह सॉफ्टवेयर Apache License 2.0 के तहत उपलब्ध है।

इच्छुक उपयोगकर्ता विस्तृत दस्तावेज़ीकरण और कोड उदाहरणों के लिए आधिकारिक GitHub रिपॉजिटरी पर जा सकते हैं।