फ्रीएलएलएमएपीआई (FreeLLMAPI) मुफ्त एआई टियर को एक एकल ओपनएआई-संगत एंडपॉइंट में जोड़ता है

फ्रीएलएलएमएपीआई का परिचय

फ्रीएलएलएमएपीआई (FreeLLMAPI) एक ओपन-सोर्स, लोकल-फर्स्ट प्रोजेक्ट है जिसे व्यक्तिगत प्रयोग के लिए डिज़ाइन किया गया है। यह कई एआई प्रदाताओं के मुफ्त टियर को एक ही ओपनएआई-संगत `/v1` एंडपॉइंट के पीछे एकत्रित करता है। कई सेवाओं को मिलाकर, यह प्रोजेक्ट 474 मॉडल परिवारों और 635 मुफ्त एंडपॉइंट्स में प्रति माह लगभग 7.4 बिलियन टोकन की अनुमानित कार्यशील क्षमता प्रदान करने का दावा करता है।

मुख्य आर्किटेक्चर और विशेषताएं

• एकीकृत एंडपॉइंट: 34 अलग-अलग एसडीके और रेट लिमिट को प्रबंधित करने के बजाय, डेवलपर्स मानक ओपनएआई-संगत क्लाइंट्स को एक स्थानीय सर्वर पर इंगित कर सकते हैं।
• स्मार्ट रूटिंग और फेलओवर: राउटर गति और विश्वसनीयता स्कोर का आकलन करता है, और रेट लिमिट (`429`) या सर्वर त्रुटि (`5xx`) होने पर स्वचालित रूप से दूसरे प्रदाता पर स्विच हो जाता है।
• एक्रिप्टेड कुंजी संग्रहण: प्रदाता एपीआई कुंजियों को स्थानीय एसक्यूलाइट (SQLite) डेटाबेस में एईएस-256-जीसीएम (AES-256-GCM) का उपयोग करके एन्क्रिप्ट किया जाता है।
• स्व-अद्यतन कैटलॉग: एक हस्ताक्षरित मॉडल कैटलॉग नए मॉडल और कोटा परिवर्तनों को ट्रैक करने के लिए स्वचालित रूप से सिंक होता है।

व्यावहारिक निहितार्थ और सीमाएं

हालाँकि यह प्रोजेक्ट कई मुफ्त टियर में प्रोटोटाइपिंग को सरल बनाता है, यह केवल व्यक्तिगत प्रयोग और सीखने के लिए है, न कि प्रोडक्शन वर्कलोड के लिए। मुफ्त टियर का उपयोग करने में परिवर्तनीय विलंबता (latency) और सेवा स्तर समझौतों (SLAs) की कमी जैसी सीमाएं शामिल हैं।

उपयोगकर्ता आधिकारिक गिटहब रिपॉजिटरी और प्रलेखन के माध्यम से घोषणाओं और स्थापना चरणों को सत्यापित कर सकते हैं।