LEANN: स्थानीय आरएजी अनुप्रयोगों के लिए एक हल्का वेक्टर डेटाबेस

LEANN एक नवीन वेक्टर डेटाबेस है जिसे व्यक्तिगत AI को सुलभ बनाने के लिए डिज़ाइन किया गया है, जो एक मानक लैपटॉप को निजी रिट्रीवल-ऑग्मेंटेड जनरेशन (RAG) सिस्टम में बदल सकता है। इसे बर्कले स्काई कंप्यूटिंग लैब में मुख्य योगदानकर्ताओं विचुआन वांग (Yichuan Wang) और झिफी ली (Zhifei Li) द्वारा विकसित किया गया है, साथ ही इसमें गेब्रियल देहान (Gabriel Dehan) और आकाश सुरेश (Aakash Suresh) का सक्रिय योगदान है। इसका उद्देश्य शून्य क्लाउड टेलीमेट्री के साथ पूर्ण डेटा गोपनीयता प्रदान करना है।

मुख्य वास्तुकला और भंडारण दक्षता

पारंपरिक वेक्टर डेटाबेस अक्सर प्रत्येक एम्बेडिंग को अलग से संग्रहीत करते हैं, जिससे बहुत अधिक डिस्क स्थान की खपत होती है। LEANN उच्च-डिग्री संरक्षित छंटाई (high-degree preserving pruning) के साथ ग्राफ-आधारित चयनात्मक पुनर्गणना दृष्टिकोण का उपयोग करता है। सभी एम्बेडिंग को स्थायी रूप से संग्रहीत करने के बजाय, यह खोज पथों के दौरान मांग पर उनकी गणना करता है।

परियोजना के दस्तावेज़ों और बेंचमार्क के अनुसार:

• भंडारण में कमी: पारंपरिक समाधानों की तुलना में बिना किसी सटीकता हानि के 97% तक की बचत का दावा किया गया है।
• डेटा पैमाना: 60 मिलियन टेक्स्ट चंक को अनुक्रमित करना 201GB के बजाय लगभग 6GB में समा सकता है।
• खोज बैकएंड: अधिकतम भंडारण दक्षता के लिए डिफ़ॉल्ट रूप से HNSW का समर्थन करता है, साथ ही उन्नत खोज प्रदर्शन के लिए DiskANN का विकल्प भी उपलब्ध है।

समर्थित डेटा स्रोत और एकीकरण

LEANN मॉडल संदर्भ प्रोटोकॉल (MCP) सर्वर के माध्यम से व्यक्तिगत डेटा प्रकारों और लाइव डेटा स्ट्रीम की एक विस्तृत श्रृंखला का समर्थन करता है:

• व्यक्तिगत फ़ाइलें: PDF, TXT और Markdown सहित मानक दस्तावेज़।
• ब्राउज़र और चैट इतिहास: Google Chrome इतिहास, Apple Mail, WeChat, ChatGPT वार्तालाप निर्यात, Claude वार्तालाप निर्यात, और iMessage डेटाबेस के लिए एकीकरण।
• लाइव प्लेटफ़ॉर्म: MCP सर्वर के माध्यम से Slack और Twitter जैसे प्लेटफ़ॉर्म के लिए वास्तविक समय RAG समर्थन।
• डेवलपर टूल: Python, Java, C#, और TypeScript जैसी प्रोग्रामिंग भाषाओं के लिए AST-जागरूक चंकिंग का उपयोग करते हुए Claude Code के साथ मूल एकीकरण।

व्यावहारिक निहितार्थ और सत्यापन

जबकि LEANN स्थानीय गोपनीयता और कम भंडारण पदचिह्न प्रदान करता है, उपयोगकर्ताओं को स्थापना से पहले संगतता आवश्यकताओं को सत्यापित करना होगा। सेटअप प्रक्रिया ऑपरेटिंग सिस्टम और चुने गए बैकएंड पर निर्भर करती है, जैसे DiskANN के लिए विशिष्ट विकास टूल की आवश्यकता होना या Apple Mail या iMessage जैसे स्थानीय डेटाबेस को अनुक्रमित करने के लिए macOS पर पूर्ण डिस्क एक्सेस प्रदान करना। डेवलपर प्रोजेक्ट से जुड़े arXiv प्रीप्रिंट (arXiv:2506.08276) की जांच कर सकते हैं और संपूर्ण स्थापना चरणों के लिए आधिकारिक GitHub रिपॉजिटरी की समीक्षा कर सकते हैं।