जेडन टिओ ने 'मल्टी-टोकन प्रेडिक्शन डन राइट' के लिए आधिकारिक कोडबेस जारी किया

शोध पत्र "मल्टी-टोकन प्रेडिक्शन डन राइट" के लिए आधिकारिक कोडबेस रिपॉजिटरी मालिक जेडन टिओ द्वारा सॉफ्ट-एमटीपी (Soft-MTP) नाम से गिटहब पर प्रकाशित किया गया है। यह रिपॉजिटरी नेक्स्ट-टोकन प्रेडिक्शन (NTP), मानक मल्टी-टोकन प्रेडिक्शन (hard_mtp), और सॉफ्ट-एमटीपी उद्देश्यों के लिए कार्यान्वयन संसाधन प्रदान करती है, साथ ही Hugging Face पर उपलब्ध प्री-ट्रेन मॉडल चेकपॉइंट्स भी प्रदान करती है।

रिपॉजिटरी का विवरण और सिस्टम आवश्यकताएँ

सॉफ्टवेयर पैकेज में डेटा अधिग्रहण, मॉडल कॉन्फ़िगरेशन, प्रशिक्षण और मूल्यांकन के लिए स्क्रिप्ट शामिल हैं। दस्तावेज़ के अनुसार, उपयोगकर्ताओं को निष्पादन से पहले विशिष्ट निर्भरता और हार्डवेयर मापदंडों पर ध्यान देना चाहिए:

• निर्भरता: म्यूऑन (Muon) अनुकूलक का उपयोग करने के लिए PyTorch संस्करण 2.9 या बाद के संस्करण की आवश्यकता होती है।
• डेटा फेचिंग: सेटअप स्क्रिप्ट JaydenTeoh/fineweb-edu-100bt-gpt2 से प्री-टोकेनाइज्ड FineWeb-Edu टोकन प्राप्त करती है। `--shards N` तर्क का उपयोग करने से डेटा निर्देशिका में N गुना 10 बिलियन टोकन आते हैं।
• संग्रहण: कॉन्फ़िगरेशन 31.5 बिलियन टोकन पर प्रशिक्षित होते हैं, जिससे 4 शार्ड न्यूनतम आवश्यकता बन जाते हैं। 5 शार्ड की डिफ़ॉल्ट सेटिंग के लिए असेंबली के दौरान लगभग 120 जीबी डिस्क स्थान की आवश्यकता होती है।

प्रशिक्षण और उद्देश्य कॉन्फ़िगरेशन

रिपॉजिटरी `src/models/loss.py` में स्थित `combined_mtp_loss()` के माध्यम से लॉस फ़ंक्शन को लागू करती है, जो NTP, hard_mtp, और soft_mtp उद्देश्यों को संभालती है। मानक और सॉफ्ट MTP के बीच का अंतर `is_soft` स्थिति पर निर्भर करता है, जिसमें KL ग्रेडिएंट-रिकवरी तकनीक शामिल है।

• कमांड-लाइन टॉगल: उद्देश्यों को कमांड-लाइन तर्कों के माध्यम से बदला जा सकता है। प्रत्यक्ष KL कार्यान्वयन पूर्ण शब्दावली पर टीचर और स्टूडेंट सॉफ्टमैक्स को материализует (सामग्री रूप देता है), जिसके परिणामस्वरूप अधिक मेमोरी खपत होती है।
• मॉडल आकार: मूल शोध पत्र में उपयोग किए गए चार मॉडल आकार कॉन्फ़िगरेशन `configs/` निर्देशिका के भीतर प्रदान किए गए हैं।
• मेट्रिक ट्रैकिंग: प्रशिक्षण प्रगति Weights & Biases का उपयोग करती है, `eval_every=1000` द्वारा परिभाषित अंतराल पर प्रति-हेड क्रॉस-एन्ट्रॉपी और KL-टू-वेरिफ़ायर जैसे मेट्रिक्स को लॉग करती है।

मूल्यांकन और स्पेक्युलेटिव डिकोडिंग

डाउनस्ट्रीम बेंचमार्क प्रदर्शन का आकलन करने के लिए, रिपॉजिटरी `lm-evaluation-harness` को एकीकृत करती है। उपयोगकर्ता `accelerate launch --num_processes N` के साथ कमांड का उपसर्ग लगाकर कई ग्राफिक्स प्रोसेसिंग यूनिट्स में डेटा-पैरेलल मूल्यांकन निष्पादित कर सकते हैं।

• स्पेक्युलेटिव डिकोडिंग मेट्रिक्स: प्रशिक्षण के बाद के प्रदर्शन की स्क्रिप्ट में ट्रंक फॉरवर्ड पास प्रति उत्पन्न टोकन (`tok/fwd`), शुरुआती ड्राफ्ट स्वीकार होने पर प्रति-हेड स्वीकृति (`accept_h*`), और KV-कैश्ड ऑटोरेग्रेसिव बेसलाइन के मुकाबले वॉल-क्लॉक स्पीडअप जैसे मेट्रिक्स को मापा जाता है।
• प्रॉम्प्ट सेट: मूल्यांकन रन में स्थिरता सुनिश्चित करने के लिए पांच मानकीकृत प्रॉम्प्ट सेट—fineweb, wiki, books, science और math—को `src/data/prompts/` के तहत निश्चित 256 गुणा 512 टोकन सरणियों के रूप में तैयार किया गया है।

सत्यापन और पहुँच

डेवलपर्स और शोधकर्ता आधिकारिक JaydenTeoh/Soft-MTP GitHub Repository पर सीधे स्रोत फ़ाइलों तक पहुँच सकते हैं, सटीक KL ग्रेडिएंट-रिकवरी कार्यान्वयन कोड की जाँच कर सकते हैं, और उद्धरण दिशानिर्देशों की समीक्षा कर सकते हैं। हार्डवेयर-निर्भर वॉल-क्लॉक स्पीडअप के कारण प्रदर्शन तुलना समान हार्डवेयर मशीनों पर की जानी चाहिए।