उद्योगातील अग्रगण्य कृत्रिम बुद्धिमत्ता कव्हर करण्यासाठी नवीनतम अद्यतने आणि विशेष सामग्री मिळविण्यासाठी दररोज आणि साप्ताहिक वृत्तपत्रांमध्ये सामील व्हा. अधिक जाणून घ्या
इलिनॉय युनिव्हर्सिटी ऑफ इलिनॉय अर्बाना चॅम्बिन एस 3 मधील संशोधक, रॅग (आरएजी) प्रणाली तयार करण्यासाठी डिझाइन केलेले एक मुक्त स्त्रोत फ्रेमवर्क जे सध्याच्या शैलींपेक्षा त्यांची पुनर्प्राप्ती अधिक कार्यक्षमतेने प्रकाशित करते.
एस 3 वास्तविक जगात मोठ्या भाषा मॉडेल अनुप्रयोग (एलएलएम) तयार करण्यात विकसकांना फायदा करू शकतो, कारण ते रॅगच्या रचनांमध्ये रिट्रीव्हर मॉडेल तयार करण्याची किंमत सुलभ करते आणि कमी करते.
रॅग रीट्रिझ करा
कोणत्याही आरएजी सिस्टमची प्रभावीता पुनर्प्राप्ती घटकाच्या गुणवत्तेवर अवलंबून असते. त्यांच्या पेपरमध्ये, संशोधक पध्दतीच्या दृष्टिकोनाच्या विकासाचे तीन वेगळ्या टप्प्यात वर्गीकरण करतात.
- “रॅग क्लासिक” सिस्टम निश्चित क्वेरीसह निश्चित पुनर्प्राप्ती पद्धतींवर अवलंबून असतात, जिथे पुनर्प्राप्तीची गुणवत्ता अंतिम कामगिरीपासून विभक्त केली जाते. या संरचना चौकशीसह संघर्ष करतात ज्यांना संदर्भित किंवा बहु -विचारांची आवश्यकता असते.
- त्यानंतरचा टप्पा, ज्याला “प्री-आरएल-शून्य” म्हणतात, एलएलएममध्ये अधिक सक्रिय क्रियाकलाप प्रदान करते. या तंत्रज्ञानामध्ये मल्टी -टर्न परस्परसंवाद, आच्छादित चौकशी, पुनर्प्राप्ती आणि विचारसरणीचा समावेश होता. तथापि, हे सहसा शून्य बोगावर अवलंबून असते आणि थेट निकाल सिग्नलद्वारे पुनर्प्राप्ती सुधारण्यासाठी प्रशिक्षण घटक नसतात.
- शेवटचा टप्पा, “आरएल-शून्य”, शोध एजंट म्हणून कामाच्या मॉडेलला प्रशिक्षण देण्यासाठी मजबुतीकरण शिक्षण (आरएल) वाढवते आणि योग्य उत्तरासारख्या निकाल-आधारित टिप्पण्यांसह सुधारते. याचे एक उदाहरण म्हणजे शोध-आर 1, जे शोध आणि पुनर्प्राप्ती क्वेरीसह चौकशीसह संप्रेषण करण्याच्या फॉर्मला प्रशिक्षण देते.
त्याची प्रगती असूनही, सध्याच्या आरएल-शून्य पद्धती बहुतेक वेळा शोधाच्या आसपासच्या मानकांचा वापर करून पुनर्प्राप्ती सुधारित करतात जे मोहिमेच्या फायद्याकडे दुर्लक्ष करतात. शिवाय, यासाठी एलएलएम जप्त करणे आवश्यक आहे, जे महाग आणि त्रुटीच्या संपर्कात आहे. पिढीसह एकमेकांशी जोडलेल्या पुनर्प्राप्तीद्वारे, ते गोठविलेल्या किंवा मालमत्तेच्या मॉडेल्ससह वास्तविक संशोधन आणि सुसंगततेचा फायदा कमी करते.
संशोधकांच्या शब्दात, “हे संशोधन आणि प्रसूतिशास्त्र स्वच्छ केले गेले आहे अशा मानक फ्रेमच्या दिशेने बदल करण्यास उत्तेजित करते आणि सुधारणेने केवळ मोहितांच्या साधनासंदर्भातील संशोधनाच्या गुणवत्तेवर लक्ष केंद्रित केले आहे.”
एस 3
ठराविक टिपिकल पध्दतीद्वारे एस 3 हे आव्हान फ्रेम करते. मुख्य कल्पना म्हणजे शोध एजंटला संघटित आणि मल्टी -टर्नसह बाह्य ज्ञानासाठी प्रशिक्षण देणे. हा संशोधन एजंट अंतिम उत्तर व्युत्पन्न करणार्या एलएलएमवर परिणाम न करता पुनर्प्राप्ती अवस्थेची गुणवत्ता सुधारतो.
एस 3 मध्ये, एलएलएम स्पेशलाइज्ड संशोधक शोध इंजिनसह वारंवार प्रतिक्रिया देतात. तो दाव्याच्या आधारे चौकशी तयार करतो, संबंधित कागदपत्रे आठवतो, पुरावा एक उपयुक्त उप -गट निवडतो आणि अधिक माहिती शोधणे सुरू ठेवायचे की नाही हे ठरवते. एकदा संशोधन संपल्यानंतर, एलएलएमचे स्वतंत्र आणि फ्रॅक्चर अंतिम उत्तर तयार करण्यासाठी या संचयित पुराव्यांचा वापर करते.
एस 3 चे मूलभूत नावीन्य म्हणजे त्याचे बक्षीस सिग्नल आणि रॅग (जीबीआर) च्या मागे मिळणे. जीबीआर जनरेटरच्या अचूकतेत सुधारणा निश्चित करते जेव्हा एस 3 द्वारे पुनर्प्राप्त केलेल्या कागदपत्रांवर सशर्त, क्वेरीशी जुळणार्या उच्च कागदपत्रांची आठवण करणार्या मूलभूत ओळीच्या तुलनेत. हा बोनस संशोधकास जनरेटरची गुणवत्ता खरोखरच वाढविणारी कागदपत्रे शोधण्यासाठी उत्तेजित करते.
“एस 3 जनरेटरकडून पुनर्प्राप्ती (संशोधक) नष्ट करते. यामुळे कंपन्यांना कोणत्याही एलएलएमला उंचवट्यावर किंवा मालकीच्या मालकीच्या मालकीवर जोडण्याची परवानगी मिळते-ते जीपीटी -4, क्लॉड किंवा अंतर्गत मॉडेल नसलेले अंतर्गत मॉडेल होते,” पेंगचेंग, व्हेंचरमधील डॉक्टरेटचे लेखक आणि डॉक्टरेटचे लेखक पेंगचंग म्हणाले. “मॉडेलमध्ये सुधारणा करण्यावर संघटनात्मक किंवा कंत्राटी निर्बंध असलेल्या संस्थांसाठी किंवा बंद एलएलएम अनुप्रयोग प्रोग्रामिंगच्या दर्शनी भागावर अवलंबून असलेल्या संस्थांसाठी हे मॉडेल एस 3 अतिशय व्यावहारिक बनवते. यामुळे त्यांना त्यांच्या पिढीच्या पायाभूत सुविधांना स्पर्श न करता संशोधनाची गुणवत्ता वाढविण्याची परवानगी मिळते.”
कामावर एस 3
सार्वजनिक डोमेनसाठी सामान्य प्रश्न गोळा करण्यासाठी सहा निकषांद्वारे संशोधकांनी एस 3 ची चाचणी केली, त्यांची आरएजी सिस्टमच्या तीन श्रेणींशी तुलना केली: सर्वसमावेशक कामगिरी नियंत्रण (उदाहरणार्थ, शोध-आर 1), गोठविलेल्या जनरेटर (जसे की रॅग क्लासिक) आणि गोठलेल्या जनरेटर्ससह क्रियांची परतफेड. संशोधक, क्वेन 2.5-14 बी-इंस्ट्रक्ट आणि क्लॉड 3 हायकू फ्रोजन एलएलएमएस जनरेटर म्हणून.
एस 3 ने निश्चित आणि शून्य फाउंडेशन ओळी ओलांडल्या आणि बहुतेक निकषांवर जप्त केलेला अंत केला आणि मध्यम पदवी प्राप्त केली. हे लक्षात घेण्यासारखे आहे की त्याच्या डेटा कार्यक्षमतेत विशेषतः: एस 3 ने केवळ 2.4 हजार प्रशिक्षण उदाहरणांसह जोरदार नफा कमावला आहे, डीप्रेरेट (एक निश्चित पुनर्प्राप्ती फ्रेम) किंवा शोध-आर 1 द्वारे आवश्यक असलेल्या 170,000 च्या तुलनेत खूपच कमी, तर ते संदर्भ गुणवत्ता आणि अंतिम उत्तराच्या कामगिरीपेक्षा अधिक आहे.
जिआंग म्हणाले: “बर्याच संस्थांमध्ये एलएलएम सिस्टम शेवटच्या ते समाप्त करण्यासाठी मोठ्या प्रमाणात गुणवत्ता किंवा जीपीयू गुणवत्ता पायाभूत सुविधा डेटा हमी नाही. एस 3 कमीतकमी पर्यवेक्षण आणि गणनासह मजबूत पुनर्प्राप्ती कामगिरी सक्षम करून अडथळा कमी करते,” जियांग म्हणाले. “याचा अर्थ प्रारंभिक मॉडेल वेगवान, खर्च कमी करा आणि अॅम्नेस्टी इंटरनॅशनलच्या संशोधन अनुप्रयोगांसाठी सर्वात वेगवान प्रकाशन वेळ.”
परिणाम सुधारण्याच्या धोरणामध्ये मूलभूत बदल दर्शवितात. संशोधकांनी पेपरमध्ये नमूद केल्याप्रमाणे, बहुतेक चिंधी कामगिरीमुळे “पिढ्यांच्या आऊटपुट्स संरेखित करण्याऐवजी शोध क्षमता सुधारणे” याचा अर्थ असा होतो, याचा अर्थ आरएल पिढीचे संरेखन एकत्रितपणे चांगले परिणाम साधण्याऐवजी संशोधन धोरणावर लक्ष केंद्रित करते.
संस्थांच्या अनुप्रयोगांचा आणखी एक निर्णायक परिणाम एस 3 आहे ज्यास प्रशिक्षण दिले गेले नाही अशा क्षेत्राचे सामान्यीकरण करण्यासाठी. सामान्य गुणवत्तेची हमी प्रशिक्षण असूनही एस 3 मध्ये वैद्यकीय गुणवत्तेची खात्री करण्यात शून्य यश दिसून आले, असे दर्शविते की “संशोधन कौशल्य ज्यामध्ये शिकणे जप्त केलेल्या पध्दतींपेक्षा अधिक विश्वासार्ह परिपत्रक आहे,” संशोधकांच्या म्हणण्यानुसार.
हे एस 3 वर्चस्व असलेल्या विशिष्ट संस्था अनुप्रयोगांसाठी चांगले आहे जे बहुतेकदा मालकी किंवा तपशीलवार डेटा गटांना क्षेत्रासाठी विस्तृत -रांगेत प्रशिक्षण डेटाची आवश्यकता नसताना व्यवहार करतात. याचा अर्थ असा की एक प्रशिक्षित संशोधक भिन्न विभागांची सेवा देऊ शकतो (उदाहरणार्थ, कायदेशीर, एचआर, ग्राहक समर्थन) किंवा नवीन उत्पादनांच्या कागदपत्रांसारख्या प्रगत सामग्रीशी जुळवून घेऊ शकतात.
जिआंग म्हणाले, “आम्हाला आरोग्य सेवेच्या क्षेत्रात त्वरित क्षमता, संस्थांच्या ज्ञानाचे व्यवस्थापन आणि वैज्ञानिक संशोधनाचे समर्थन, उच्च दर्जाची पुनर्प्राप्ती खूप महत्वाची आहे आणि दुर्मिळ नावाच्या आकडेवारीनुसार आम्हाला दिसून येते,” जियांग म्हणाले.
Source link
