ईयू एआई एक्ट चेकर बिग टेक के अनुपालन संबंधी कमियों का खुलासा करता है

कुछ सबसे प्रमुख कृत्रिम होशियारी रॉयटर्स द्वारा देखे गए आंकड़ों के अनुसार, साइबर सुरक्षा लचीलापन और भेदभावपूर्ण आउटपुट जैसे प्रमुख क्षेत्रों में मॉडल यूरोपीय नियमों से कम पड़ रहे हैं।

यूरोपीय संघ OpenAI जारी होने से पहले नए AI नियमों पर लंबे समय तक बहस हुई थी चैटजीपीटी 2022 के अंत में जनता के लिए। रिकॉर्ड-तोड़ लोकप्रियता और ऐसे मॉडलों के कथित अस्तित्व संबंधी जोखिमों पर सार्वजनिक बहस ने कानून निर्माताओं को “सामान्य-उद्देश्य” एआई (जीपीएआई) के आसपास विशिष्ट नियम बनाने के लिए प्रेरित किया।

अब स्विस स्टार्टअप द्वारा डिज़ाइन किया गया एक नया टूल जाली प्रवाह और साझेदारों और यूरोपीय संघ के अधिकारियों द्वारा समर्थित, ने ब्लॉक की व्यापक व्यापकता के अनुरूप दर्जनों श्रेणियों में मेटा और ओपनएआई जैसी बड़ी तकनीकी कंपनियों द्वारा विकसित जेनरेटिव एआई मॉडल का परीक्षण किया है। एआई अधिनियमजो अगले दो वर्षों में चरणों में लागू हो रहा है।

बुधवार को लैटिसफ्लो द्वारा प्रकाशित एक लीडरबोर्ड में प्रत्येक मॉडल को 0 और 1 के बीच का स्कोर देते हुए विकसित किए गए मॉडल दिखाए गए अलीबाबा, anthropic, ओपनएआई, मेटा और मिस्ट्राल सभी को 0.75 या उससे ऊपर के औसत अंक प्राप्त हुए।

हालाँकि, कंपनी के “लार्ज लैंग्वेज मॉडल (एलएलएम) चेकर” ने प्रमुख क्षेत्रों में कुछ मॉडलों की कमियों को उजागर किया, जहां अनुपालन सुनिश्चित करने के लिए कंपनियों को संसाधनों को हटाने की आवश्यकता हो सकती है।

एआई अधिनियम का अनुपालन करने में विफल रहने वाली कंपनियों को 35 मिलियन यूरो ($ 38 मिलियन) या वैश्विक वार्षिक कारोबार का 7% जुर्माना लगेगा।

मिश्रित परिणाम

वर्तमान में, ईयू अभी भी यह स्थापित करने की कोशिश कर रहा है कि चैटजीपीटी जैसे जेनरेटिव एआई टूल के आसपास एआई अधिनियम के नियमों को कैसे लागू किया जाएगा, वसंत 2025 तक प्रौद्योगिकी को नियंत्रित करने वाले अभ्यास कोड को तैयार करने के लिए विशेषज्ञों को बुलाया जाएगा।

लेकिन स्विस विश्वविद्यालय ईटीएच ज्यूरिख और बल्गेरियाई शोध संस्थान आईएनएसएआईटी के शोधकर्ताओं के सहयोग से विकसित लैटिसफ्लो का परीक्षण उन विशिष्ट क्षेत्रों का प्रारंभिक संकेतक प्रदान करता है जहां तकनीकी कंपनियां कानून से कम होने का जोखिम उठाती हैं।

उदाहरण के लिए, जेनेरिक एआई मॉडल के विकास में भेदभावपूर्ण आउटपुट एक लगातार मुद्दा रहा है, जो संकेत दिए जाने पर लिंग, नस्ल और अन्य क्षेत्रों के आसपास मानवीय पूर्वाग्रहों को दर्शाता है।

भेदभावपूर्ण आउटपुट के लिए परीक्षण करते समय, लैटिसफ्लो के एलएलएम चेकर ने ओपनएआई के “जीपीटी-3.5 टर्बो” को 0.46 का अपेक्षाकृत कम स्कोर दिया। उसी श्रेणी के लिए, अलीबाबा क्लाउड के “Qwen1.5 72B चैट” मॉडल को केवल 0.37 प्राप्त हुआ।

“प्रॉम्प्ट हाईजैकिंग” के लिए परीक्षण, एक प्रकार का साइबर हमला जिसमें हैकर्स संवेदनशील जानकारी निकालने के लिए एक दुर्भावनापूर्ण संकेत को वैध बताते हैं, एलएलएम चेकर ने मेटा के “लामा 2 13बी चैट” मॉडल को 0.42 का स्कोर दिया। इसी श्रेणी में, फ्रांसीसी स्टार्टअप मिस्ट्रल के “8x7B इंस्ट्रक्ट” मॉडल को 0.38 प्राप्त हुए।

“क्लाउड 3 ओपस”, द्वारा विकसित एक मॉडल Google समर्थित एंथ्रोपिक को उच्चतम औसत स्कोर 0.89 प्राप्त हुआ।

परीक्षण को एआई अधिनियम के पाठ के अनुरूप डिजाइन किया गया था, और आगे प्रवर्तन उपायों को शामिल करने के लिए उनका विस्तार किया जाएगा। लैटिसफ्लो ने कहा कि एलएलएम चेकर डेवलपर्स के लिए अपने मॉडलों के अनुपालन का ऑनलाइन परीक्षण करने के लिए स्वतंत्र रूप से उपलब्ध होगा।

फर्म के सीईओ और सह-संस्थापक, पेटार त्सानकोव ने रॉयटर्स को बताया कि परीक्षण के परिणाम कुल मिलाकर सकारात्मक थे और उन्होंने कंपनियों को एआई अधिनियम के अनुरूप अपने मॉडलों को बेहतर बनाने के लिए एक रोडमैप की पेशकश की।

उन्होंने कहा, “ईयू अभी भी सभी अनुपालन मानकों पर काम कर रहा है, लेकिन हम पहले से ही मॉडलों में कुछ कमियां देख सकते हैं।” “अनुपालन के अनुकूलन पर अधिक ध्यान देने के साथ, हमारा मानना ​​​​है कि मॉडल प्रदाता नियामक आवश्यकताओं को पूरा करने के लिए अच्छी तरह से तैयार हो सकते हैं।”

मेटा ने टिप्पणी करने से इनकार कर दिया। अलीबाबा, एंथ्रोपिक, मिस्ट्रल और ओपनएआई ने टिप्पणी के अनुरोधों का तुरंत जवाब नहीं दिया।

जब यूरोपीय आयोग बाहरी उपकरणों को सत्यापित नहीं कर सकता, निकाय को एलएलएम चेकर के विकास के दौरान सूचित किया गया है और इसे नए कानूनों को क्रियान्वित करने में “पहला कदम” बताया गया है।

यूरोपीय आयोग के एक प्रवक्ता ने कहा: “आयोग ईयू एआई अधिनियम को तकनीकी आवश्यकताओं में अनुवाद करने के पहले कदम के रूप में इस अध्ययन और एआई मॉडल मूल्यांकन मंच का स्वागत करता है।”

© थॉमसन रॉयटर्स 2024