ऑस्ट्रेलियाई सरकार के स्वतंत्र ऑनलाइन सुरक्षा नियामक, ईसेफ्टी द्वारा किए गए एक हालिया अध्ययन में पाया गया है कि कैरेक्टर.एआई, चाय, नोमी और चब एआई जैसे एआई साथी या चैटबॉट बच्चों को हानिकारक और यौन सामग्री से बचाने में विफल रहे हैं। यह शोध ऐसे समय में सामने आया है जब ये भारत में बिना किसी बड़े प्रतिबंध के आसानी से उपलब्ध हैं। वास्तव में, भारत इन प्लेटफार्मों के सबसे बड़े बाजारों में से एक है।
ऑस्ट्रेलियाई नियामकों द्वारा किए गए अध्ययन में बच्चों की सुरक्षा के बुनियादी उपायों में गंभीर कमियां पाई गईं। ऑस्ट्रेलियाई निगरानी संस्था के अनुसार, बच्चे चारों एआई ऐप्स में वयस्कों के लिए उपलब्ध सुविधाओं का उपयोग कर सकते थे।
"किसी भी सेवा प्रदाता के पास आयु सत्यापन के पुख्ता उपाय नहीं थे, वे इसके बजाय ऐप स्टोर रेटिंग या साइन अप के समय स्वयं-घोषणा पर निर्भर थे। चाई, चब एआई और नोमी ने उपयोगकर्ताओं को मानसिक स्वास्थ्य या संकटकालीन सहायता की ओर निर्देशित नहीं किया जब उपयोगकर्ता-संकेतों में आत्म-हानि का पता चला," ईसेफ्टी ने अपनी रिपोर्ट में कहा।
शोध के अनुसार, Chub AI, Nomi और Chai जैसे ऐप्स ने अपने प्लेटफॉर्म पर सुरक्षा व्यवस्था संभालने में गंभीर कमियां दिखाईं। उन्होंने टेक्स्ट, इमेज और वीडियो मॉडल में उपयोगकर्ता इनपुट या AI आउटपुट की ठीक से निगरानी नहीं की, जिससे हानिकारक या अवैध सामग्री उत्पन्न होने का खतरा बढ़ गया।
नोमी और चब एआई में भी समर्पित विश्वास और सुरक्षा टीमों का अभाव था। इसका मतलब यह है कि दुरुपयोग को रोकने या नियंत्रित करने के लिए कोई ठोस प्रयास नहीं किया गया। डेटा से यह भी पता चला कि चाय और नोमी उपयोगकर्ताओं को यह चेतावनी देने में विफल रहे कि बाल यौन शोषण सामग्री मांगना एक अपराध है।
ई-सेफ्टी कमिश्नर जूली इनमैन ग्रांट ने कहा कि दोस्ती, भावनात्मक समर्थन या रोमांटिक साथ के स्रोत के रूप में विपणन की जाने वाली एआई साथी सेवाएं ऑस्ट्रेलियाई बच्चों के बीच तेजी से लोकप्रिय हो रही हैं, लेकिन अगर सुरक्षा उपायों को लागू नहीं किया जाता है तो वे महत्वपूर्ण जोखिम पैदा करती हैं।
“हम कृत्रिम बुद्धिमत्ता (एआई) के ऐसे साथियों की एक नई लहर पर सवार हैं जो मासूम बच्चों के दिमाग को मानव-जैसी, चापलूसी भरी और अक्सर यौन रूप से स्पष्ट बातचीत से फंसा रहे हैं, कुछ तो आत्म-हानि और आत्महत्या को भी बढ़ावा दे रहे हैं। जैसा कि यह रिपोर्ट दिखाती है, इन चारों एआई साथियों में से किसी में भी बच्चों को उम्र के हिसाब से अनुपयुक्त सामग्री से बचाने के लिए कोई सार्थक आयु जांच प्रणाली नहीं थी, जो कि इनमें से कई चैटबॉट उत्पन्न करने में सक्षम हैं; इसके बजाय वे मुख्य रूप से पंजीकरण के समय स्वयं आयु की घोषणा पर निर्भर करते हैं,” उन्होंने कहा।
"हम अभी इसकी शुरुआत में ही हैं और हम यह भी देखना शुरू कर रहे हैं कि बच्चों के होमवर्क में मदद के लिए इस्तेमाल होने वाले एआई असिस्टेंट चैटबॉट और इन एआई साथियों के बीच की सीमाएं विशेषताओं और कार्यक्षमता के मामले में धुंधली होने लगी हैं। हालांकि एआई साथी व्यक्तिगत और सहायक महसूस करा सकते हैं, लेकिन वे वास्तव में बच्चों के लिए डिज़ाइन नहीं किए गए हैं और न ही वे मानसिक स्वास्थ्य विशेषज्ञ हैं," ग्रांट ने आगे कहा।
भारतीय माता-पिता को इस चेतावनी को क्यों नहीं नजरअंदाज करना चाहिए
आज भारत में स्कूली बच्चे और किशोर कृत्रिम बुद्धिमत्ता (एआई) के साथ बड़े हो रहे हैं। एआई ऐप्स और वेबसाइटें किशोरों के बीच लोकप्रिय हैं क्योंकि वे न केवल जवाब देते हैं, बल्कि इंसानों की तरह प्रतिक्रिया भी देते हैं। वे कभी-कभी दोस्तों की तरह व्यवहार भी करते हैं। अब, यही वह क्षेत्र है जो थोड़ा पेचीदा है।
परंपरागत सोशल मीडिया के विपरीत, ये एआई साथी आपको व्यस्त रखने के लिए डिज़ाइन किए गए हैं। किशोरों के लिए चैटबॉट को असली इंसान की तरह समझना आसान है। इसमें कोई आलोचना या डांट-फटकार नहीं होती – बस लगातार जवाब मिलते रहते हैं। लेकिन इस दोस्ताना लहजे के पीछे कई गंभीर कमियां हैं।
जैसा कि ऊपर बताया गया है, इनमें से अधिकांश ऐप्स में उम्र की उचित जाँच नहीं होती है। कोई बच्चा बस कोई भी जन्म वर्ष दर्ज करके पहुँच प्राप्त कर सकता है। यौन या वयस्क बातचीत को रोकने के लिए कोई मज़बूत फ़िल्टर भी नहीं हैं।
इसके अलावा, भारत इन ऐप्स के सबसे बड़े बाजारों में से एक है। इंटरनेट डेटा सस्ता है, स्मार्टफोन का व्यापक उपयोग होता है और आबादी युवा है। लेकिन सबसे बड़ी समस्या है इनकी दृश्यता। ये ऐप्स खतरनाक नहीं दिखते। इन्हें वयस्क प्लेटफॉर्म के रूप में चिह्नित नहीं किया जाता और अक्सर ये हानिरहित, यहां तक कि शैक्षिक भी प्रतीत होते हैं।
घबराहट के बजाय, माता-पिता को धैर्यपूर्वक और समझदारी से अपने बच्चों पर नज़र रखनी चाहिए। उन्हें बच्चों से सरल प्रश्न पूछने चाहिए, जैसे कि वे कौन से ऐप्स इस्तेमाल करते हैं, वे आमतौर पर किस तरह की बातचीत करते हैं, इत्यादि।