Chatbot Character.ai किशोरांना आभासी पात्रांशी संभाषण करण्यावर बंदी घालत आहे, तरुण लोक त्यांच्या मित्रांसोबत ऑनलाइन असलेल्या परस्परसंवादाच्या प्रकारांवर जोरदार टीका करत आहेत.
लाखो लोक AI-शक्तीवर चालणाऱ्या चॅटबॉट्सशी बोलण्यासाठी 2021 मध्ये स्थापन झालेल्या प्लॅटफॉर्मचा वापर करतात.
परंतु याला यूएसमध्ये पालकांकडून अनेक खटल्यांचा सामना करावा लागतो, ज्यात किशोरवयीन मुलाच्या मृत्यूचा समावेश आहे, काही जणांनी याला तरुण लोकांसाठी “स्पष्ट आणि सध्याचा धोका” म्हटले आहे.
आता, Character.ai म्हणते की 25 नोव्हेंबरपासून, 18 वर्षांखालील मुले सध्या त्यांच्याशी बोलण्याऐवजी त्यांच्या पात्रांसह व्हिडिओंसारखी सामग्री तयार करू शकतील.
कंपनीने सांगितले की ते “नियामक, सुरक्षा तज्ञ आणि पालकांकडून अहवाल आणि अभिप्राय” नंतर बदल करत आहेत, ज्याने किशोरवयीन मुलांशी चॅटबॉट्सच्या परस्परसंवादाबद्दल चिंता ठळक केली.
तज्ञांनी यापूर्वी चेतावणी दिली आहे की एआय चॅटबॉट्स गोष्टी बनवू शकतात, अधिक सक्षम करू शकतात आणि सहानुभूती दाखवू शकतात, ज्यामुळे तरुण आणि असुरक्षित लोकांसाठी धोका निर्माण होऊ शकतो.
“आजची घोषणा म्हणजे मनोरंजनाच्या उद्देशाने ग्रहावरील सर्वात सुरक्षित AI प्लॅटफॉर्म तयार करणे सुरू ठेवण्याची गरज असल्याच्या आमच्या एकूणच विश्वासाचे सातत्य आहे,” Character.ai चे प्रमुख करणदीप आनंद यांनी बीबीसी न्यूजला सांगितले.
ते म्हणाले की एआय सुरक्षा हे एक “हलणारे लक्ष्य” आहे परंतु कंपनीने पालक नियंत्रण आणि रेलिंगसह “आक्रमक” दृष्टीकोन घेतला.
इंटरनेट सेफ्टी ग्रुप इंटरनेट मॅटर्सने या घोषणेचे स्वागत केले, परंतु सुरक्षा उपाय सुरुवातीपासूनच करायला हवे होते.
“आमचे स्वतःचे संशोधन असे दर्शविते की मुले हानिकारक सामग्रीच्या संपर्कात येतात आणि चॅटबॉट्ससह कृत्रिम बुद्धिमत्तेशी संवाद साधताना त्यांना धोका असतो,” ती म्हणाली.
कृत्रिम बुद्धिमत्ता वापरून मुलांचे अनुभव सुरक्षित आहेत याची खात्री करण्यासाठी तिने “प्लॅटफॉर्म, पालक आणि धोरण निर्मात्यांना” आवाहन केले.
Character.ai वर भूतकाळात संभाव्य हानिकारक किंवा अपमानास्पद चॅटबॉट्स होस्ट केल्याबद्दल टीका केली गेली आहे ज्यावर मुले बोलू शकतात.
2023 मध्ये खून झालेल्या ब्रिटीश किशोरवयीन ब्रियाना गाय आणि 14 वर्षांच्या मॉली रसेल, ज्याने आत्महत्या साहित्य ऑनलाइन पाहिल्यानंतर आत्महत्या केली होती, 2024 मध्ये साइटवर काढले जाण्यापूर्वी शोधण्यात आले होते.
नंतर, 2025 मध्ये, ब्युरो ऑफ इन्व्हेस्टिगेटिव्ह जर्नलिझम (TBIJ) ला पेडोफाइल जेफ्री एपस्टाईनवर आधारित चॅटबॉट सापडला ज्याने वापरकर्त्यांशी 3,000 हून अधिक संभाषणे रेकॉर्ड केली.
आउटलेटने नोंदवले की “बेस्टी एपस्टाईनचा” अवतार तिच्या रिपोर्टरला मुले आहेत म्हटल्यानंतर त्यांच्याशी इश्कबाजी करत राहिला. TBIJ ने अहवाल दिलेल्या अनेक बॉट्सपैकी हा एक होता जो नंतर Character.ai ने काढला होता.
कंपनीचे नवीन लक्ष किशोरांसाठी “सखोल गेमप्ले आणि रोल-प्लेइंग स्टोरीटेलिंग” वैशिष्ट्ये प्रदान करण्यावर आहे, आनंद म्हणाले की, ही वैशिष्ट्ये “ओपन-एंडेड बॉटसह ते करू शकतील त्यापेक्षा जास्त सुरक्षित असतील.”
वय पडताळणीसाठी नवीन पद्धती देखील येणार आहेत आणि कंपनी नवीन AI सुरक्षा संशोधन प्रयोगशाळेसाठी निधी देईल.
मॅट नवरा, सोशल मीडिया तज्ञ, म्हणाले की हे एआय उद्योगासाठी “वेक-अप कॉल” आहे, जे “परवानगीहीन नवकल्पना पासून संकटानंतरच्या नियमनाकडे” जात आहे.
त्यांनी बीबीसी न्यूजला सांगितले: “जेव्हा किशोरवयीन मुलांसाठी अनुभव देणारे प्लॅटफॉर्म प्लग खेचते, याचा अर्थ जेव्हा तंत्रज्ञानाचा भावनिक खेच मजबूत असतो तेव्हा फिल्टर केलेल्या चॅट्स पुरेसे नसतात.”
“हे सामग्री कूपनबद्दल नाही. हे AI बॉट्स वास्तविक नातेसंबंधांचे अनुकरण कसे करतात आणि तरुण वापरकर्त्यांसाठी रेषा अस्पष्ट करतात याबद्दल आहे,” तो पुढे म्हणाला.
श्री. नवरा यांनी असेही सांगितले की Character.ai साठी एक आकर्षक AI प्लॅटफॉर्म तयार करणे हे एक मोठे आव्हान असेल जे किशोरवयीन मुलांना “कमी सुरक्षित पर्याय” कडे जाण्याऐवजी वापरायचे असेल.
दरम्यान, एआय सुरक्षेवर संशोधन करणाऱ्या डॉ. नोमिशा कुरियन म्हणाल्या की, किशोरवयीन मुलांचा चॅटबॉट्सचा वापर प्रतिबंधित करणे हे एक “वाजवी पाऊल” आहे.
“हे वैयक्तिक आणि भावनिकदृष्ट्या संवेदनशील देवाणघेवाण पासून सर्जनशील खेळ वेगळे करण्यास मदत करते,” ती म्हणाली.
“हे तरुण वापरकर्त्यांसाठी खूप महत्वाचे आहे जे अजूनही भावनिक आणि डिजिटल सीमा कसे नेव्हिगेट करायचे ते शिकत आहेत.
“Caracter.ai द्वारे घेतलेले नवीन उपाय AI उद्योगाची परिपक्वता प्रतिबिंबित करू शकतात – जिथे मुलांची सुरक्षितता ही जबाबदार नवनिर्मितीसाठी तातडीची प्राथमिकता म्हणून ओळखली जाते.”
