Microsoft ने एंटरप्राइज कोपायलट मूल्यांकन के लिए सिंथेटिक डेटा दृष्टिकोण का विवरण दिया

Microsoft ने संवेदनशील वास्तविक ग्राहक डेटा पर निर्भर हुए बिना Microsoft Copilot जैसे एंटरप्राइज-स्तरीय AI सिस्टम का मूल्यांकन करने के लिए अपने मूल्यांकन ढांचे की रूपरेखा प्रस्तुत की है। कंपनी बताती है कि इसका इंडस्ट्री इवैल्यूएशन डेटा जनरेशन प्लेटफॉर्म AI प्रदर्शन का सुरक्षित और मज़बूती से परीक्षण करने के लिए सार्वजनिक डेटा स्रोतों पर आधारित पूर्ण-स्तरीय सिंथेटिक एंटरप्राइज वातावरण कैसे तैयार करता है।

एंटरप्राइज AI मूल्यांकन की चुनौती

एंटरप्राइज AI के मूल्यांकन के लिए ऐसे परीक्षण डेटा की आवश्यकता होती है जो वास्तविक संगठनों की जटिलता को दर्शाता हो, जिसमें रिपोर्टिंग संरचनाएं, प्रोजेक्ट इतिहास, संचार पैटर्न और डोमेन-विशिष्ट कार्यप्रवाह शामिल हों। हालाँकि, वास्तविक एंटरप्राइज डेटा में संवेदनशील जानकारी होती है जिसका उपयोग मूल्यांकन के लिए नहीं किया जा सकता है। इस तनाव को हल करने के लिए, Microsoft ने "टेनेंट्स" के रूप में सिम्युलेटेड संगठनात्मक कार्यक्षेत्र विकसित किए जो वास्तविक व्यावसायिक कार्यप्रवाहों की नकल करते हैं।

सार्वजनिक डेटा स्रोतों पर आधार

सिंथेटिक वातावरण यथार्थवादी हैं यह सुनिश्चित करने के लिए, Microsoft सार्वजनिक रूप से उपलब्ध डेटा स्रोतों का उपयोग करता है जिनकी समीक्षा और अनुमोदन इसके कानूनी और नीतिगत संगठन द्वारा किया गया है:

• श्रम विभाग का O*NET व्यावसायिक डेटा कर्मचारी भूमिकाओं, जिम्मेदारियों और नैदानिक परीक्षण समीक्षाओं जैसे उद्योग-विशिष्ट कार्यप्रवाहों को मॉडल करने के लिए।
• यथार्थवादी भूमिका शीर्षकों, रिपोर्टिंग पदानुक्रमों और विभागीय संरचनाओं के लिए ऑनलाइन जॉब पोस्टिंग।
• संगठनात्मक पैमाने, व्यावसायिक इकाई संरचनाओं और वित्तीय संदर्भों को सूचित करने के लिए SEC फाइलिंग।

ये वातावरण स्थिर स्नैपशॉट के बजाय गतिशील हैं, जो बैठकों के इतिहास, प्रोजेक्ट समयसीमा और ईमेल थ्रेड्स के साथ समय के साथ विकसित होने वाले संगठनों का अनुकरण करते हैं।

स्वचालित पाइपलाइन और गुणवत्ता फ्रेमवर्क

हजारों उद्योग-विशिष्ट मूल्यांकन प्रश्नों को मैन्युअल रूप से लिखना धीमा और महंगा है। Microsoft ने एक स्वचालित पाइपलाइन बनाई है जो सामान्य कार्यस्थल कार्य विचारों को यथार्थवादी, डोमेन-विशिष्ट प्रश्नों में बदलती है। इसका सिमेंटिक मूल्यांकन फ्रेमवर्क चार प्रमुख आयामों में सिंथेटिक डेटा गुणवत्ता को मापता है:

• संरचनात्मक निष्ठा: रिपोर्टिंग पदानुक्रमों और टीम के आकारों का मूल्यांकन करना।
• प्रासंगिक प्रासंगिकता: यह सुनिश्चित करना कि कार्यप्रवाह वास्तविक एंटरप्राइज उपयोग पैटर्न का प्रतिनिधित्व करते हैं।
• व्यवहार संबंधी यथार्थवाद: मानव जैसी संचार और सहयोग गतिशीलता का आकलन करना।
• सामग्री सुरक्षा: उत्पन्न सामग्री को हानिकारक, आक्रामक या व्यक्तिगत रूप से पहचान योग्य जानकारी से मुक्त रखना।

Microsoft के अनुसार, इस प्रक्रिया को स्वचालित करने से डेटासेट निर्माण का समय कम हो गया और प्रारंभिक पीढ़ी के दृष्टिकोणों की तुलना में समग्र गुणवत्ता मेट्रिक्स में महत्वपूर्ण सुधार हुआ।

गोपनीयता और व्यावहारिक निहितार्थ

प्लेटफ़ॉर्म का एक मुख्य डिज़ाइन सिद्धांत यह है कि किसी भी चरण में वास्तविक ग्राहक डेटा का उपयोग नहीं किया जाता है। Microsoft की टीमें गोपनीयता समीक्षा ओवरहेड के बिना प्रयोग, बेंचमार्किंग और प्रतिगमन परीक्षण के लिए इन डेटासेट का उपयोग कर सकती हैं। इन पद्धतियों को सत्यापित करने या तलाशने की इच्छुक संगठन Microsoft के प्रकाशित शोध ब्लॉग पोस्ट और एंटरप्राइज AI मूल्यांकन मानकों पर तकनीकी दस्तावेज़ की समीक्षा कर सकते हैं।