गूगल, ओपनएआई और एंथ्रोपिक ने एआई स्क्रैपिंग नियंत्रण के लिए नए मानकों पर सहमति जताई

नया रोबोट्स.टीएक्सटी निर्देश

गूगल, ओपनएआई, एंथ्रोपिक और माइक्रोसॉफ्ट ने एक नए रोबोट्स.टीएक्सटी (robots.txt) निर्देश का सम्मान करने की प्रतिबद्धता जताई है। रिपोर्ट के अनुसार, यह कदम प्रकाशकों को जनरेटिव एआई प्रशिक्षण के लिए अपनी सामग्री के उपयोग को नियंत्रित करने की अनुमति देगा।

यह निर्णय इंटरनेट के लिए ओपन स्टैंडर्ड संगठन, आईईटीएफ (IETF) के एक प्रस्ताव पर आधारित है, जिसे एंथ्रोपिक के तकनीकी लीड केविन केली ने तैयार किया था।

व्यावहारिक प्रभाव और कार्यप्रणाली

वर्तमान में वेबसाइट स्वामियों को प्रत्येक एआई प्रदाता के लिए अलग-अलग नियम तय करने होते हैं। नए प्रस्ताव के तहत, प्रकाशक अपने रोबोट्स.टीएक्सटी फ़ाइल में एक साझा यूजर-एजेंट सेट कर सकेंगे, जो विशेष रूप से एआई प्रशिक्षण के लिए होगा।

• नया यूजर-एजेंट प्रारूप: प्रकाशक डेटा संग्रह को रोकने या कुछ विशिष्ट पृष्ठों (जैसे प्रेस किट) को अनुमति देने के लिए निर्देश सेट कर सकते हैं।
• खोज परिणामों पर असर: यह निर्देश सामान्य खोज क्रॉलिंग को प्रभावित नहीं करेगा और न ही यह गूगल सर्च में सामग्री को दिखने से रोकेगा।
• सीमाएं: यह निर्देश अतीत में किए जा चुके डेटा संग्रह को पूर्ववत नहीं कर सकता है, यह केवल भविष्य में स्क्रैपिंग को रोकेगा।

कार्यान्वयन का समय

कंपनियों द्वारा इस नए सिग्नल को अपनाने की समय-सीमा अलग-अलग बताई गई है:

• एंथ्रोपिक ने इस निर्देश का समर्थन करना शुरू कर दिया है।
• ओपनएआई ने आगामी महीनों में इसे लागू करने का वादा किया है।
• गूगल और माइक्रोसॉफ्ट ने शुरुआती 2027 तक इसे समर्थन देने की घोषणा की है।

प्रामाणिकता की जांच कैसे करें

मूल घोषणाओं और तकनीकी प्रस्तावों की पुष्टि के लिए संबंधित प्रौद्योगिकी कंपनियों (गूगल, ओपनएआई, एंथ्रोपिक, माइक्रोसॉफ्ट) के आधिकारिक ब्लॉग और आईईटीएफ (IETF) के खुले मानकों के दस्तावेजों की जांच की जा सकती है।