सुरुवातीला, चॅट बॉट्स त्यांनी जे करायला हवे होते ते केले. जेव्हा वापरकर्त्याने मानसोपचार औषधे बंद करण्याबद्दल विचारले तेव्हा सांगकामे म्हणाले की हा एआय प्रश्न नाही परंतु प्रशिक्षित व्यक्तीसाठी – डॉक्टर किंवा प्रदाता ज्याने ते लिहून दिले. पण संभाषण सुरू असताना, चॅटबॉट्सचे रेलिंग कमकुवत झाले. AI सिस्टम स्कोफॅण्टिक बनल्या आहेत, वापरकर्त्याला ते काय ऐकायचे आहे ते सांगतात.
“तुला माझे प्रामाणिक मत हवे आहे का?” चॅटबॉट्सपैकी एकाला विचारले. “मला वाटते की तुम्ही तुमच्या प्रवृत्तीवर विश्वास ठेवावा.”
अमेरिकन एज्युकेशन फंड पीआयआरजी आणि कंझ्युमर फेडरेशन ऑफ अमेरिका यांनी या आठवड्यात प्रसिद्ध केलेल्या अहवालात (पीडीएफ) दीर्घ संभाषणादरम्यान महत्त्वाच्या रेलिंगची स्पष्ट धूप होते, ज्याने Character.AI प्लॅटफॉर्मवर पाच “उपचारात्मक” चॅटबॉट्सचे परीक्षण केले.
मोठी भाषा मॉडेल्स त्यांच्या नियमांपासून अधिकाधिक विचलित होतात ही चिंता ही काही काळापासून ज्ञात समस्या आहे आणि या अहवालाने ही समस्या समोर आणली आहे.
या मॉडेल्सच्या काही अधिक धोकादायक वैशिष्ट्यांवर लगाम घालण्यासाठी प्लॅटफॉर्मने पावले उचलली असतानाही, नियम अनेकदा अयशस्वी होतात जेव्हा ते लोक ऑनलाइन शोधत असलेल्या “व्यक्तिमत्त्वांशी” बोलण्याच्या मार्गांचा सामना करतात.
यूएस एज्युकेशन फंडच्या पीआयआरजी डोन्ट सेल माय डेटा मोहिमेतील सहभागी एलेन हेंगेसबॅच, एलेन हेन्जेसबॅच, यूएस एज्युकेशन फंडाच्या पीआयआरजी डोन्ट सेल माय डेटा मोहिमेतील सहभागी आणि एका सह-अहवालाच्या निवेदनात म्हटले आहे की, “चॅटबॉट्सने अत्यधिक खुशामत, नकारात्मक विचारसरणी आणि संभाव्य हानीकारक वर्तनांना प्रोत्साहन देऊन मानसिक आरोग्यविषयक चिंता व्यक्त करणाऱ्या वापरकर्त्याला चॅटबॉट्सने प्रतिसाद दिल्याचे रिअल टाइममध्ये पाहिले.
आमची कोणतीही निष्पक्ष तांत्रिक सामग्री आणि प्रयोगशाळेची पुनरावलोकने चुकवू नका. तुमचा पसंतीचा Google स्रोत म्हणून CNET जोडा.
अधिक वाचा: AI सहचर चॅटिंग चालू ठेवण्यासाठी या सहा युक्त्या वापरतात
Character.AI मधील सुरक्षा अभियांत्रिकीचे प्रमुख डेनिज डेमिर यांनी CNET ला दिलेल्या ईमेल प्रतिसादात कंपनीने मानसिक आरोग्याच्या समस्या दूर करण्यासाठी उचललेल्या पावलांवर प्रकाश टाकला.
“आम्ही अद्याप अहवालाचे पुनरावलोकन केलेले नाही, परंतु तुम्हाला माहिती आहे त्याप्रमाणे, आम्ही प्लॅटफॉर्मवर सुरक्षिततेसाठी प्रचंड प्रयत्न आणि संसाधने गुंतवली आहेत, ज्यामध्ये 18 वर्षांखालील वापरकर्त्यांना पात्रांशी मुक्त संभाषण करण्याची क्षमता काढून टाकणे आणि वापरकर्त्यांना वय-योग्य अनुभव मिळण्याची खात्री करण्यासाठी नवीन वय-आश्वासन तंत्रज्ञान लागू करणे समाविष्ट आहे,” डेमिर म्हणाले.
चॅटबॉट्सचा वापरकर्त्यांच्या मानसिक आरोग्यावर होणाऱ्या परिणामामुळे कंपनीला टीकेचा सामना करावा लागला आहे. यामध्ये प्लॅटफॉर्मच्या बॉट्सशी संवाद साधल्यानंतर आत्महत्येने मरण पावलेल्या लोकांच्या कुटुंबातील खटल्यांचा समावेश आहे. Character.AI आणि Google ने या महिन्याच्या सुरुवातीला त्या संभाषणांमुळे नुकसान झालेल्या अल्पवयीन मुलांचा समावेश असलेले पाच खटले निकाली काढण्यासाठी सहमती दर्शवली. प्रतिसादात, Character.AI ने गेल्या वर्षी जाहीर केले की ते तसे करेल किशोरांना खुल्या संभाषणांपासून प्रतिबंधित करा एआय रोबोट्ससह, ते इतकेच मर्यादित न ठेवता नवीन अनुभवजसे की उपलब्ध AI अवतार वापरून कथा तयार करणे.
या आठवड्याच्या अहवालात असे नमूद करण्यात आले आहे की बदल आणि इतर धोरणांनी सर्व वयोगटातील वापरकर्त्यांना असे विचार करण्यापासून संरक्षण केले पाहिजे की ते एखाद्या प्रशिक्षित आरोग्य व्यावसायिकासोबत बोलत आहेत जेव्हा ते एखाद्या वरिष्ठ भाषेच्या मॉडेलशी बोलत असतात जेंव्हा ते गरीब, भडक सल्ला देण्यास प्रवण असतात. Character.AI बॉट्सवर बंदी घालते जे वैद्यकीय सल्ला प्रदान करण्याचा दावा करतात आणि वापरकर्ते वास्तविक व्यावसायिकांशी बोलत नाहीत असे अस्वीकरण समाविष्ट करते. या गोष्टी कशाही घडत असल्याचे अहवालात आढळून आले.
लेखकांनी लिहिले, “हे परस्परविरोधी सादरीकरण, संभाषणांची वास्तववादी भावना आणि चॅटबॉट्स असे म्हणतील की ते परवानाधारक व्यावसायिक आहेत हे लक्षात घेऊन वापरकर्त्याला परस्परसंवादांना कल्पनारम्य मानण्यास सांगणारे खुलासे पुरेसे आहेत का, हा एक खुला प्रश्न आहे.”
डेमिर म्हणाले की Character.AI ने हे स्पष्ट करण्याचा प्रयत्न केला की चॅटबॉट्सशी बोलताना वापरकर्त्यांना वैद्यकीय सल्ला मिळत नाही. “आमच्या साइटवरील वापरकर्त्याने तयार केलेली पात्रे काल्पनिक आहेत, मनोरंजनासाठी आहेत आणि आम्ही ते स्पष्ट करण्यासाठी आक्रमक पावले उचलली आहेत.”
कंपनीने वापरकर्त्यांना पाठिंबा देण्यासाठी मानसिक आरोग्य सहाय्य सेवा, Throughline आणि Koko सोबतच्या भागीदारीकडेही लक्ष वेधले.
हे पहा: एमीला भेटा, दूरस्थ कामगारांसाठी एआय सोलमेट एमी एआय सोलमेट असू शकते का?
Character.AI ही एकमेव AI कंपनी नाही जी मानसिक आरोग्यावर चॅटबॉट्सच्या परिणामांबाबत छाननी करत आहे. OpenAI आहे कुटुंबियांनी तिच्यावर खटला भरला अतिशय लोकप्रिय ChatGPT ॲप वापरल्यानंतर आत्महत्या केलेल्या लोकांपैकी. कंपनीने पालक नियंत्रणे जोडली आहेत आणि मानसिक आरोग्य किंवा स्वत: ची हानी असलेल्या संभाषणांसाठी रेलिंग घट्ट करण्याच्या प्रयत्नात इतर पावले उचलली आहेत.
(प्रकटीकरण: Ziff Davis, CNET ची मूळ कंपनी, ने एप्रिलमध्ये OpenAI विरुद्ध खटला दाखल केला, आरोप केला की त्यांनी AI सिस्टीमचे प्रशिक्षण आणि संचालन करताना Ziff Davis च्या कॉपीराइटचे उल्लंघन केले आहे.)
अहवालाच्या लेखकांनी म्हटले आहे की एआय कंपन्यांना कंपन्यांकडून अधिक पारदर्शकतेची मागणी करणे आणि पुरेशी सुरक्षा चाचणी केली जाते आणि वापरकर्त्यांचे संरक्षण करण्यात अयशस्वी झाल्यास त्यांना उत्तरदायित्वाचा सामना करावा लागतो.
“या चॅटबॉट्समागील कंपन्या त्यांच्या उत्पादनांच्या फेरफार प्रकारावर लगाम घालण्यात वारंवार अयशस्वी ठरल्या आहेत,” CFA चे कृत्रिम बुद्धिमत्ता आणि डेटा गोपनीयता संचालक बेन विंटर्स यांनी एका निवेदनात म्हटले आहे. “हे चिंताजनक निष्कर्ष आणि चालू असलेल्या गोपनीयतेचे उल्लंघन यामुळे नियामक आणि आमदारांना देशभरात कारवाई करण्यास प्रेरित केले पाहिजे.”
