तज्ञ मालिका (सीओई): लो एलएलएम फ्रेम कार्यक्षमता आणि अचूकता वाढवते

प्रगत सेवा प्रदान करण्यासाठी कंपन्या मोठ्या एलएलएमएस मॉडेल्सवर वाढत्या प्रमाणात अवलंबून आहेत, परंतु ऑपरेटिंग मॉडेल्सच्या गणनेस सामोरे जाण्यासाठी धडपडत आहेत. नवीन फ्रेम, तज्ञांची मालिका (सीओई), विचारांच्या कार्यात अचूकता वाढविताना एलएलएमला संसाधनांमध्ये अधिक कार्यक्षम बनविण्याचे उद्दीष्ट आहे.

सीओई फ्रेमवर्क “तज्ञ” सक्रिय करून मागील पद्धतींवर लादलेल्या निर्बंधांना संबोधित करते – मॉडेलचे स्वतंत्र घटक, विशिष्ट कार्यांमधील प्रत्येक तज्ञ – अनुक्रमे समांतर ऐवजी. ही रचना तज्ञांना हळूहळू एकमेकांच्या कार्यावर इंटरमीडिएट आणि रचनात्मक परिणाम जोडण्याची परवानगी देते.

सीओई सारखी रचना तीव्र अनुमान अनुप्रयोगांमध्ये खूप उपयुक्त ठरू शकते, कारण कार्यक्षमतेचा फायदा झाल्यास मोठ्या किंमतीची बचत आणि एक चांगला वापरकर्ता अनुभव येऊ शकतो.

एलएलएमएस दाट आहे आणि तज्ञांचे मिश्रण आहे

क्लासिक एलएलएम, ज्याला कधीकधी दाट मॉडेल म्हणून संबोधले जाते, प्रत्येक शिक्षकांना अनुमान काढण्याच्या वेळी एकाच वेळी सक्रिय करते, ज्यामुळे मोठ्या मॉडेलच्या रूपात मोठ्या प्रमाणात गणना वाढते. तज्ञांचे (एमईई) संयोजन, दीपसेक-व्ही 3 आणि (गृहितक) जीपीटी -4 ओ सारख्या मॉडेल्समध्ये वापरली जाणारी रचना, मॉडेलला तज्ञांच्या गटामध्ये विभागून या आव्हानाला संबोधित करते.

अनुमान दरम्यान, मी मॉडेल एक राउटर वापरतात जे प्रत्येक इनपुटसाठी तज्ञांची उप -सेट परिभाषित करतात. दाट मॉडेल्सच्या तुलनेत एमओई एलएलएमचा संगणक खर्च लक्षणीय प्रमाणात कमी करतात. उदाहरणार्थ, दीपसीक-व्ही 3 हे 671 अब्ज मॉडेल आहे ज्यात 257 तज्ञ आहेत, त्यापैकी नऊ कोणत्याही विशिष्ट इनपुट कोडमध्ये आणि तर्क दरम्यान एकूण 37 अब्ज सक्रिय शिक्षक वापरले जातात.

पण एमओईएसला निर्बंध आहेत. मुख्य दोष म्हणजे प्रथम, प्रत्येक तज्ञ इतरांपेक्षा स्वतंत्रपणे कार्य करतो, ज्यामुळे तज्ञांमधील संदर्भ आणि समन्वयाची जाणीव असलेल्या कार्यात मॉडेलची कार्यक्षमता कमी होते. दुसरे म्हणजे, एमईई स्ट्रक्चरमुळे उच्च काही प्रमाणात कारणीभूत ठरते, ज्यामुळे कोणत्याही वेळी लहान उपसमूहांचा वापर केला जातो.

तज्ञांची मालिका

तज्ञांच्या साखळीची चौकट समांतर ऐवजी सलग तज्ञांना उत्तेजित करून एमओएस निर्बंधांशी संबंधित आहे. ही रचना तज्ञांना हळूहळू एकमेकांच्या कार्यावर इंटरमीडिएट आणि रचनात्मक परिणाम जोडण्याची परवानगी देते.

सीओई पुनरावृत्ती प्रक्रिया वापरते. इनपुट प्रथमच तज्ञांच्या गटाकडे निर्देशित केले जाते, जे ते संबोधित करतात आणि त्यांची उत्तरे तज्ञांच्या दुसर्‍या गटाकडे हस्तांतरित करतात. तज्ञांचा दुसरा गट मध्यवर्ती निकालांवर उपचार करतो आणि त्यांना पुढील तज्ञांच्या गटात हस्तांतरित करू शकतो. हा सिरियल दृष्टीकोन ज्ञात इनपुट प्रदान करतो, जो जटिल विचारांच्या कार्यांशी सामना करण्याची मॉडेलची क्षमता मोठ्या प्रमाणात वाढवते.

उदाहरणार्थ, गणिताची विचारसरणी किंवा तार्किक तर्कात, सीओई प्रत्येक तज्ञास मागील दृष्टिकोन तयार करण्यास, अचूकता आणि कार्य सुधारण्याची परवानगी देते. ही पद्धत केवळ समांतर उपयोजन ऑपरेशन्समध्ये सामान्य जास्त खाती कमी करून संसाधनांचा वापर सुधारते, कारण ती खर्च आणि उच्च कामगिरीमध्ये उपलब्ध कृत्रिम बुद्धिमत्ता समाधानासाठी संस्थांच्या आवश्यकतांशी संबंधित आहे.

कोईचे मुख्य फायदे

संभाषणात दर्शविल्याप्रमाणे, तज्ञांच्या मालिकेचा दृष्टीकोन, अनुक्रमांक आणि तज्ञ सहकार्याचा वापर करून, बरेच मोठे फायदे होते विश्लेषण संशोधकांच्या गटातून सीओई फ्रेमवर्कची चाचणी घेते.

सीओईमध्ये, तज्ञांची पुनरावृत्ती वारंवार निवडली जाते. प्रत्येक पुनरावृत्तीमध्ये, मागील टप्पा काढून तज्ञ निश्चित केले जातात. हे भिन्न तज्ञांना अधिक गतिशील मार्गदर्शन यंत्रणा तयार करण्यासाठी संवाद साधण्यास आणि बाँड तयार करण्यास सक्षम करते.

“अशाप्रकारे, सीओई गणिताची कार्यक्षमता राखताना मॉडेलच्या कामगिरीमध्ये लक्षणीय सुधारणा करू शकते, विशेषत: जटिल परिस्थितींमध्ये (उदाहरणार्थ, प्रयोगांमधील गणिताचे ध्येय).

संशोधकांच्या अनुभवांमध्ये असे दिसून आले आहे की गणिताचे बजेट आणि समान स्मृतीसह, सीओई एलएलएमएस आणि एमओएसपेक्षा जास्त आहे. उदाहरणार्थ, गणिताच्या मानकांमध्ये, सीओई 64 तज्ञ, चार निर्देशित तज्ञ आणि तर्किंगच्या दोन पुनरावृत्ती (सीओई -2 (4/64)) सह 64 तज्ञ आणि आठ तज्ञांचे निर्देशित (एमईई (8/64)) सह उत्कृष्ट आहेत.

संशोधकांना असेही आढळले की सीओई मेमरी आवश्यकता कमी करते. उदाहरणार्थ, 48 पैकी दोन तज्ञ आणि पुनरावृत्ती असलेले सीओई (सीओई -2 (4/48)) एकूण तज्ञांचा वापर करताना एमईई (8/64) समान कामगिरी साध्य करते, स्मृती आवश्यकता 17.6 %कमी करते.

सीओई अधिक कार्यक्षम ठराविक संरचनांना देखील अनुमती देते. उदाहरणार्थ, सीओई -2 (8/64) आठ थरांसह एमईई (8/64) च्या कामगिरीसह मज्जातंतू नेटवर्कच्या चार थरांशी जुळते, परंतु 42 % कमी मेमरी वापरुन.

“कदाचित सर्वात महत्त्वाचे म्हणजे, कोई आपल्याला प्रवेग” विनामूल्य लंच “म्हणतो असे दिसते,” संशोधक लिहितात. “फॉर्ममधून माहिती कशी वाहते हे पुनर्रचना करून, आम्ही मागील एमईई पद्धतींच्या तुलनेत समान गणिताच्या खर्चासह चांगले परिणाम प्राप्त करतो.”

याचे एक उदाहरणः एक सीओई -2 (4/64) एमईई (8/64) च्या तुलनेत 823 इतर तज्ञांचे संच प्रदान करते, ज्यामुळे मॉडेलचे मॉडेलचे आकार किंवा स्मृती वाढविल्याशिवाय आणि त्याच्या आवश्यकतांची गणना न करता सर्वात जटिल कार्ये जाणून घेण्यास अनुमती देते.

सीओईच्या कमी ऑपरेशनल खर्चामुळे संस्थांसाठी प्रगत कृत्रिम बुद्धिमत्ता सुलभ करण्यासाठी जटिल कार्ये सुधारू शकतात, ज्यामुळे त्यांना पायाभूत सुविधांमध्ये महत्त्वपूर्ण गुंतवणूकीशिवाय स्पर्धा करण्यास सक्षम राहण्यास मदत होते.

“हे संशोधन स्केलिंग भाषेच्या मॉडेल्सचे कार्यक्षमतेने विस्तारित करण्यासाठी नवीन मार्ग उघडते, जे प्रगत कृत्रिम बुद्धिमत्तेची क्षमता सुलभ आणि टिकाऊ बनवू शकते,” संशोधक लिहितात.