एनवीआईडीआईए ने स्विचयार्ड लॉन्च किया: एलएलएम ट्रैफिक रूटिंग और लागत अनुकूलन के लिए ओपन-सोर्स लाइब्रेरी

एनवीआईडीआईए ने स्विचयार्ड पेश किया है, जो एक ओपन-सोर्स लाइब्रेरी है जिसे एआई अनुप्रयोगों और एजेंटों को विभिन्न बड़े भाषा मॉडल (एलएलएम) और प्रदाताओं में गतिशील रूप से ट्रैफिक रूट करने में मदद करने के लिए डिज़ाइन किया गया है। प्रोजेक्ट दस्तावेज़ के अनुसार, इस टूल का उद्देश्य कार्य की सफलता, परिचालन लागत और विलंबता को संतुलित करते हुए मूल ओपनएआई और एंथ्रोपिक एपीआई संगतता को बनाए रखना है।

मुख्य वास्तुकला और एकीकरण

स्विचयार्ड `libsy` नामक एक रस्ट कोर के आसपास काम करता है, जिसे सीधे कस्टम एजेंट हार्नेस या मौजूदा गेटवे जैसे LiteLLM और NeMo Relay में एम्बेड किया जा सकता है। यह लाइब्रेरी मॉडल रूटिंग के लिए निर्णय लेने की प्रक्रिया को संभालती है, जबकि डेवलपर्स के पास मॉडल क्लाइंट्स, क्रेडेंशियल्स और सर्विस इंफ्रास्ट्रक्चर पर पूरा नियंत्रण रहता है.

• रूटिंग तंत्र: एल्गोरिदम आने वाले अनुरोधों या हालिया टूल गतिविधियों का मूल्यांकन करके सबसे उपयुक्त मॉडल का निर्धारण करते हैं। एजेंट के काम जारी रखने पर रूटिंग विकल्प गतिशील रूप से बदल सकते हैं।
• डिप्लॉयमेंट विकल्प: उपयोगकर्ता `libsy` को अपनी सेवाओं में एकीकृत कर सकते हैं, समर्थित गेटवे एकीकरण का उपयोग कर सकते हैं, या प्रदान किए गए डेमो सर्वर का उपयोग करके स्थानीय रूप से रूटिंग का मूल्यांकन कर सकते हैं।
• एपीआई संगतता चेतावनी: दस्तावेज़ में उल्लेख किया गया है कि कुछ रिले संस्करण (0.8.x और 0.9.0) प्लगइन सक्षम होने पर अपस्ट्रीम त्रुटि स्थिति और विवरण खो सकते हैं। डेवलपर्स को उत्पादन परिनियोजन से पहले संगतता नोट्स की समीक्षा करने की सलाह दी जाती है।

रूटिंग एल्गोरिदम और कॉन्फ़िगरेशन

स्विचयार्ड मॉडल चयन को नियंत्रित करने के लिए कई रणनीतियाँ प्रदान करता है, जिसमें सरल प्रीसेट से लेकर उन्नत समग्र सेटअप शामिल हैं।

• ऑटो मोड: संस्करण 0.3.0 में एक निश्चित प्रीसेट के रूप में कार्य करता है, जो रस्ट में `PickerMode::EfficientFirst` जैसे विशिष्ट अंतर्निहित कॉन्फ़िगरेशन से मैप होता है।
• कस्टम रणनीतियाँ: इसमें टास्क, निष्पादन और कंपोजिट रूटिंग के विकल्प शामिल हैं, साथ ही प्रीफिल रूटिंग जैसे विशेष दृष्टिकोण भी शामिल हैं जो मॉडल प्रीफिल सक्रियण और कस्टम क्लासिफायरियर का उपयोग करते हैं।
• इकोसिस्टम समर्थन: हाल के अपडेट Claude Code, TypeScript वातावरण और विशिष्ट एजेंट प्लेटफार्मों जैसे वातावरण के लिए एकीकरण का संदर्भ देते हैं।

मूल्यांकन और स्थिति

चूंकि स्विचयार्ड वर्तमान में 1.0-पूर्व सॉफ्टवेयर है, इसलिए एपीआई, कॉन्फ़िगरेशन पैरामीटर और रूटिंग व्यवहार रिलीज के बीच बदल सकते हैं। दस्तावेज़ एकीकरण संस्करणों को पिन करने और गहन स्थानीय मूल्यांकन करने पर जोर देता है।

• प्रदर्शन परीक्षण: उपयोगकर्ताओं को सिंगल-मॉडल बेसलाइन के खिलाफ पूर्ण एजेंट पूल का मूल्यांकन करने के लिए प्रोत्साहित किया जाता है, यह ध्यान में रखते हुए कि कम लागत वाली मॉडल कॉल स्वचालित रूप से सस्ते सफल कार्य को पूरा करने की गारंटी नहीं देती हैं।
• सत्यापन: डेवलपर स्टैंडअलोन डेमो सर्वर का उपयोग करके सक्रिय रूटिंग कॉन्फ़िगरेशन को सत्यापित कर सकते हैं, हालांकि इस सर्वर को स्पष्ट रूप से समर्थित उत्पादन उपयोग के बजाय स्थानीय मूल्यांकन के लिए नामित किया गया है।

मूल घोषणा की समीक्षा करने, संपूर्ण दस्तावेज़ तक पहुँचने या कॉन्फ़िगरेशन स्कीमा की जाँच करने के लिए, GitHub पर आधिकारिक NVIDIA-NeMo/Switchyard रिपॉजिटरी पर जाएँ।