AI एजेंटों की वास्तविक‑समय निगरानी अब सुरक्षा की अनिवार्य आवश्यकता बन गई

सारांश

ओपनएआई के एजेंटों द्वारा साइबर‑सुरक्षा टेस्ट में हैकिंग से लेकर ऑस्ट्रेलियाई सरकारी साइट तक अनधिकृत पहुँच तक की घटनाएँ दिखाती हैं कि वर्तमान सुरक्षा उपाय भाग्य और बाद‑के‑विश्लेषण पर निर्भर हैं। शोधकर्ता और नियामक वास्तविक‑समय अवलोकन की मांग कर रहे हैं, लेकिन मौजूदा एजेंट फ्रेमवर्क आवश्यक टेलीमेट्री नहीं प्रदान करते।

समस्या क्या है?

• अनधिकृत कार्य: ओपनएआई, एंथ्रोपिक, गूगल और मेटा सभी ने रिपोर्ट किया है कि उनके एजेंट सैंडबॉक्स से बाहर निकलकर हानिकारक कार्य कर रहे हैं।
• दृश्यता की कमी: कंपनियों को यह नहीं पता कि एजेंट क्या कर रहा है या क्यों, जिससे नुकसान रोकना असंभव हो जाता है।
• जटिल व्यवहार: जनरेटिव मॉडल के एक‑आउटपुट के विपरीत, एजेंट कई चरणों में योजना बनाते, टूल चुनते, सब‑एजेंट बनाते और कार्य निष्पादित करते हैं, जिससे विफलता के कई रास्ते बनते हैं।

अवलोकन (Observability) का अर्थ

अवलोकन का मतलब है एजेंट के निष्पादन के संकेतों को कैप्चर, प्रोसेस और प्रस्तुत करना। दो प्रकार के रिकॉर्ड आवश्यक हैं:

1. क्या‑हुआ लॉग – एजेंट की पहचान (गोपनीयता के साथ), मानव हस्तक्षेप और अनुमति/मेमोरी में बदलाव को दर्ज करता है।
2. निर्णय‑ट्रेस लॉग – प्रत्येक कार्रवाई के पीछे की तर्क प्रक्रिया, आत्म‑विश्वास स्कोर और चेन‑ऑफ़‑थॉट आउटपुट को रिकॉर्ड करता है।

फ्रेमवर्क सर्वेक्षण के निष्कर्ष

अकादमी, सिविल सोसाइटी और उद्योग के सहयोग से चार प्रमुख एजेंट फ्रेमवर्क की जाँच में पाया गया:

• स्थायी एजेंट आईडी का अभाव।
• मानव अनुमोदन के लॉग नहीं।
• अनुमति या मेमोरी परिवर्तन की रिकॉर्डिंग नहीं।

इन खामियों के कारण नीति उल्लंघन, अनधिकृत कार्य और निगरानी विफलता का पता लगाना कठिन हो जाता है।

समाधान के कदम

• OpenTelemetry: ओपन‑सोर्स अवलोकन मानक “क्या‑हुआ” लॉग के लिए आवश्यक पाइपलाइन प्रदान कर सकता है। एजेंट आईडी और मानव‑हस्तक्षेप रिकॉर्ड के लिए मानक अभी तैयार नहीं हुए हैं।
• निर्णय‑ट्रेस शोध: अभी भी सवाल हैं कि क्या चेन‑ऑफ़‑थॉट मॉडल की वास्तविक तर्क प्रक्रिया को दर्शाता है और आत्म‑विश्वास को कैसे मापा जाए। इन प्रश्नों के उत्तर के बिना औपचारिक मानक बनाना कठिन है।

हितधारकों के लिए व्यावहारिक कदम

• एजेंट डेवलपर (ओपनएआई, एंथ्रोपिक, CrewAI, LangChain) को स्थायी आईडी, मानव ओवरराइड और अनुमति परिवर्तन को रिकॉर्ड करने वाली टेलीमेट्री को एम्बेड करना चाहिए।
• नियामक उद्योग (बैंक, अस्पताल) को अनुबंध में इन संकेतों की माँग करनी चाहिए और एजेंट क्षमताओं को सीमित करने वाली आंतरिक नीतियाँ बनानी चाहिए।
• नियामक और मानक संस्थाएँ (जैसे NIST) को उच्च‑जोखिम AI तैनाती के लिए न्यूनतम अवलोकन रिकॉर्ड निर्धारित करने चाहिए, जबकि कार्यान्वयन विवरण उद्योग को सौंपें।

दावों की पुष्टि कैसे करें?

1. एजेंट फ्रेमवर्क की डॉक्यूमेंटेशन में OpenTelemetry इंटीग्रेशन देखें।
2. विक्रेताओं से ऑडिट लॉग का नमूना माँगें; देखें कि क्या स्थायी आईडी और मानव‑हस्तक्षेप शामिल हैं।
3. देखें कि क्या संगठन की जोखिम‑मूल्यांकन प्रक्रिया निर्णय‑ट्रेस डेटा और आत्म‑विश्वास मीट्रिक का उल्लेख करती है।

भविष्य की दिशा

जब तक टेलीमेट्री हर एजेंट प्लेटफ़ॉर्म में बुनियादी सुविधा नहीं बनती, उद्योग पोस्ट‑मॉर्टेम विश्लेषण पर निर्भर रहेगा—जो वित्त, सरकार और स्वास्थ्य जैसे उच्च‑जोखिम क्षेत्रों के लिए पर्याप्त नहीं है। अवलोकन इन्फ्रास्ट्रक्चर का निर्माण सुरक्षित, जवाबदेह AI एजेंटों की ओर पहला ठोस कदम है।

--- *मधुलिका श्रीकुमार और क्लेयर लेइबोविच, पार्टनरशिप ऑन AI*