गूगल ने ऑन-डिवाइस दक्षता में सुधार के लिए Gemma 4 QAT मॉडल जारी किए
· GlobeWire Daily Editorial Desk · Source: blog.google

चित्र: Google · चित्र स्रोत · Resized and letterboxed to 16:9; no AI generation
गूगल डीपमाइंड (Google DeepMind) ने जेम्मा 4 (Gemma 4) परिवार के लिए नए क्वांटाइजेशन-अवेयर ट्रेनिंग (QAT) चेकपॉइंट्स जारी करने की घोषणा की है, जिसका उद्देश्य मेमोरी की आवश्यकताओं को कम करना और एज डिवाइस, मोबाइल फोन और कंज्यूमर जीपीयू पर प्रदर्शन को अधिकतम करना है।
जेम्मा 4 के दो महीने पहले रिलीज होने के बाद से, इसके दायरे को बढ़ाने के लिए मल्टी-टोकन प्रेडिक्शन (MTP) और 12B मॉडल जैसी क्षमताएं जोड़ी गई हैं। नए QAT चेकपॉइंट्स प्रशिक्षण के दौरान क्वांटाइजेशन का अनुकरण करते हैं ताकि मानक पोस्ट-प्रशिक्षण विधियों की तुलना में गुणवत्ता का नुकसान कम हो सके।
प्रमुख संपीड़न तकनीकें
- Q4_0 और मोबाइल फॉर्मेट: इसमें लोकप्रिय Q4_0 फॉर्मेट और मोबाइल उपयोग के लिए एक विशिष्ट स्कीमा शामिल है।
- कम मेमोरी फुटप्रिंट: जेम्मा 4 E2B टेक्स्ट-ओनली मॉडल को कुछ खास कॉन्फ़िगरेशन के तहत 1GB से कम मेमोरी की आवश्यकता होती है।
- स्टेटिक एक्टिवेशन और चैनल-वाइज क्वांटाइजेशन: मोबाइल चिप्स पर वर्कलोड को कम करने के लिए डिज़ाइन किया गया है।
- टार्गेटेड 2-बिट क्वांटाइजेशन: कोर रीज़निंग परतों में उच्च परिशुद्धता बनाए रखते हुए टोकन जनरेट करने वाले विशिष्ट हिस्सों को संपीड़ित करता है।
इकोसिस्टम एकीकरण और उपलब्धता
डेवलपर्स Hugging Face पर मॉडल वेट प्राप्त कर सकते हैं। यह रिलीज विभिन्न टूल के साथ एकीकरण का समर्थन करती है:
- डेस्कटॉप टूल: llama.cpp, Ollama, और LM Studio के साथ संगतता।
- रनटाइम: वेब डिप्लॉयमेंट के लिए Google के LiteRT-LM और Transformers.js का समर्थन।
- फ्रेमवर्क: SGLang, vLLM, Apple Silicon के लिए MLX, और Unsloth के माध्यम से फाइन-ट्यूनिंग।
उपयोगकर्ता आधिकारिक गूगल डेवलपर्स ब्लॉग और संबंधित रिपॉजिटरी लिंक के माध्यम से इन अपडेट को सत्यापित कर सकते हैं और तकनीकी दस्तावेज़ देख सकते हैं।
AI की सहायता से तैयार रिपोर्ट; मूल स्रोत के दावों की स्वतंत्र पुष्टि नहीं की गई है।



