जेव्हा तुमचा दैनंदिन कोड वापर सरासरी 8 अब्ज प्रतिदिन होतो, तेव्हा तुम्हाला एक मोठी समस्या येते. AT&T मध्ये हीच परिस्थिती होती आणि मुख्य डेटा अधिकारी अँडी मार्कस आणि त्यांच्या टीमच्या लक्षात आले की मोठ्या विचारांच्या मॉडेल्सद्वारे सर्वकाही पुढे ढकलणे केवळ व्यवहार्य (किंवा किफायतशीर) नाही. म्हणून, अंतर्गत वैयक्तिक सहाय्यक Ask AT&T तयार करताना, त्यांनी ऑर्केस्ट्रेशन स्तर पुन्हा तयार केला. परिणाम: LangChain वर बनवलेले मल्टी-एजंट क्लस्टर जेथे मोठ्या भाषेचे मॉडेल “सुपर-एजंट” लहान “कामगार” एजंटना निर्देशित करतात जे अधिक संक्षिप्त, ध्येय-केंद्रित कार्य करतात. या लवचिक ऑर्केस्ट्रेशन लेयरने विलंबता, वेग आणि प्रतिसाद वेळा नाटकीयरित्या सुधारले, मार्कसने VentureBeat ला सांगितले. विशेष म्हणजे, त्याच्या टीमने 90% पर्यंत खर्चात बचत केली. “माझा विश्वास आहे की एजंटिक AI चे भविष्य अनेक, अनेक लहान भाषा मॉडेल्स (SLM) वर अवलंबून आहे,” तो म्हणाला. “आम्हाला असे आढळले आहे की लहान भाषेचे मॉडेल दिलेल्या डोमेन प्रदेशातील मोठ्या भाषेच्या मॉडेलसारखेच अचूक आहेत, जर अचूक नसतील.”
अलीकडे, मार्कस आणि त्याच्या टीमने Microsoft Azure सोबत या पुन्हा डिझाइन केलेल्या सूटचा वापर आस्क AT&T वर्कफ्लो तयार करण्यासाठी आणि तैनात करण्यासाठी, कर्मचाऱ्यांसाठी कार्ये स्वयंचलित करण्यासाठी ग्राफिकल ड्रॅग-अँड-ड्रॉप एजंट बिल्डरसाठी केला.
एजंट AT&T च्या स्वतःच्या साधनांच्या संचामधून खेचतात जे दस्तऐवज प्रक्रिया, नैसर्गिक भाषा-ते-SQL रूपांतरण आणि प्रतिमा विश्लेषण हाताळतात. “वर्कफ्लो अंमलबजावणीसह, AT&T डेटा खरोखरच निर्णय घेत आहे,” मार्कस म्हणाले. सामान्य प्रश्न विचारण्याऐवजी, “आम्ही आमच्या डेटाबद्दल प्रश्न विचारतो आणि निर्णय घेताना आम्ही आमच्या माहितीवर लक्ष केंद्रित करतो याची खात्री करण्यासाठी आम्ही आमचा डेटा वापरतो.” तथापि, मानव नेहमी घटकांच्या “साखळी प्रतिक्रिया” चे निरीक्षण करतात. सर्व एजंट क्रिया लॉग केल्या जातात, संपूर्ण प्रक्रियेदरम्यान डेटा वेगळा केला जातो आणि जेव्हा एजंट एकमेकांना वर्कलोड देतात तेव्हा भूमिका-आधारित प्रवेश लागू केला जातो. “गोष्टी स्वायत्तपणे घडतात, परंतु लूपमधील माणूस अजूनही संपूर्ण प्रक्रियेला चेक आणि बॅलन्स प्रदान करतो,” मार्कस म्हणाले.
“अदलाबदल करण्यायोग्य आणि निवडण्यायोग्य” मॉडेल्स वापरून, अतिबिल्ड करू नका.
AT&T घेत नाही "सुरवातीपासून सर्वकाही तयार करा" मार्कसने मानसिकतेकडे लक्ष वेधले; हे “अदलाबदल करण्यायोग्य आणि निवडण्यायोग्य” आणि “पुन्हा तयार करू नका” मॉडेलवर अधिक अवलंबून आहे. त्यांनी स्पष्ट केले की संपूर्ण उद्योगात नोकऱ्या परिपक्व झाल्यामुळे ते ऑफ-द-शेल्फ पर्यायांसाठी घरगुती साधनांकडे लक्ष देतील. “कारण या व्यवसायात, दर आठवड्याला गोष्टी बदलतात आणि जर आपण भाग्यवान असलो तर, कधीकधी आठवड्यातून अनेक वेळा,” तो म्हणाला. “आम्ही वेगवेगळ्या घटकांसह प्रयोग करण्यास सक्षम असणे आवश्यक आहे, त्यांना कनेक्ट करू आणि त्यांना वेगळे करू.” ते उपलब्ध पर्यायांचे तसेच त्यांचे स्वतःचे “खरोखर कठोर” मूल्यमापन करतात; उदाहरणार्थ, आस्क डेटा विथ रिलेशनल नॉलेज ग्राफने SQL अचूकता लीडरबोर्डवरील स्पायडर 2.0 स्क्रिप्टमध्ये अव्वल स्थान मिळवले आणि इतर साधनांना BERT SQL बेंचमार्कमध्ये उच्च गुण मिळाले. नेटिव्ह प्रॉक्सीच्या बाबतीत, त्याची टीम LangChain चा अंतर्निहित फ्रेमवर्क म्हणून वापर करते, मानक पुनर्प्राप्ती संवर्धित जनरेशन (RAG) आणि इतर अंतर्गत अल्गोरिदम वापरून फाइन-ट्यून मॉडेल्स आणि त्यांच्या वेक्टर स्टोअरसाठी टेक जायंटच्या शोध कार्याचा वापर करून Microsoft सह जवळून सहयोग करते. शेवटी, तथापि, केवळ एजंट एआय किंवा इतर प्रगत साधने प्रत्येक गोष्टीत समाकलित न करणे महत्वाचे आहे, मार्कसने सल्ला दिला. “कधीकधी आम्ही गोष्टी जास्त गुंतागुंतीत करतो,” तो पुढे म्हणाला. “कधीकधी मी भौमितिक पेक्षा जास्त समाधान पाहिले.” त्याऐवजी, बांधकाम व्यावसायिकांनी स्वतःला विचारले पाहिजे की एखादे विशिष्ट साधन प्रत्यक्षात प्रभावी असणे आवश्यक आहे का. यामध्ये प्रश्नांचा समावेश असू शकतो जसे की: जनरेटिव्ह सोल्यूशन सोपे आणि सिंगल-सायकल असल्यास अचूकतेची कोणती पातळी प्राप्त केली जाऊ शकते? मार्कस म्हणाले की प्रत्येक तुकडा “अधिक अचूक मार्गाने” वितरित केला जाऊ शकतो अशा लहान तुकड्यांमध्ये ते कसे मोडू शकतात. अचूकता, खर्च आणि साधन प्रतिसाद ही मूलभूत तत्त्वे असली पाहिजेत. “जरी उपाय अधिक जटिल होत आहेत, तरीही ही तीन मूलभूत तत्त्वे आपल्याला खूप दिशा देतात,” तो म्हणाला.
100,000 कर्मचारी प्रत्यक्षात कसे वापरतात
Ask AT&T वर्कफ्लो 100,000 हून अधिक कर्मचाऱ्यांसाठी आणले गेले आहे. निम्म्याहून अधिक लोक म्हणतात की ते दररोज ते वापरतात आणि सक्रिय वापरकर्ते 90% पर्यंत उत्पादकता वाढ नोंदवतात, मार्कस म्हणाले. “आम्ही पाहतो की ते सिस्टम पुन्हा पुन्हा वापरत आहेत का? कारण चिकटपणा हे यशाचे चांगले सूचक आहे,” तो म्हणाला. एजंट बिल्डर कर्मचाऱ्यांसाठी दोन “ट्रिप” ऑफर करतो. एक प्रो कोड आहे, जिथे वापरकर्ते पडद्यामागे पायथनमध्ये प्रोग्राम करू शकतात, एजंट कसे कार्य करतात याचे नियम सांगू शकतात. दुसरा पर्याय नो-कोड आहे, ज्यामध्ये “अत्यंत हलक्या वापरकर्त्याच्या अनुभवासाठी ड्रॅग-अँड-ड्रॉप व्हिज्युअल इंटरफेस आहे,” मार्कस म्हणाले. विशेष म्हणजे, सक्षम वापरकर्ते देखील नंतरच्या पर्यायाकडे आकर्षित होतात. तांत्रिक प्रेक्षकांच्या उद्देशाने नुकत्याच झालेल्या हॅकाथॉनमध्ये, सहभागींना दोघांपैकी एक पर्याय देण्यात आला आणि अर्ध्याहून अधिक लोकांनी लो-कोड निवडला. “हे आमच्यासाठी आश्चर्यचकित होते, कारण हे सर्व लोक प्रोग्रामिंगच्या बाजूने खूप चांगले होते,” मार्कस म्हणाले. कर्मचारी विविध कार्यांसाठी एजंट वापरतात; उदाहरणार्थ, नेटवर्क अभियंता अलर्ट हाताळण्यासाठी आणि क्लायंटचे कनेक्शन गमावल्यावर पुन्हा कनेक्ट करण्यासाठी त्यांची मालिका तयार करू शकतात. या परिस्थितीत, एजंट नेटवर्क समस्या आणि त्याचे स्थान ओळखण्यासाठी, बदल नोंदी ओढण्यासाठी आणि ज्ञात समस्या तपासण्यासाठी टेलिमेट्रीशी संबंध जोडू शकतो. मग, तो समस्या असलेले तिकीट उघडू शकतो. दुसरा एजंट नंतर समस्येचे निराकरण करण्याचे मार्ग शोधू शकतो आणि ते सुधारण्यासाठी नवीन कोड देखील लिहू शकतो. एकदा समस्येचे निराकरण झाल्यानंतर, तिसरा एजंट नंतर एक सारांश लिहू शकतो ज्यामध्ये भविष्यासाठी प्रतिबंधात्मक उपाय समाविष्ट आहेत. मार्कस म्हणाले, “(मानवी) अभियंता त्या सर्वांचे निरीक्षण करेल, एजंट अपेक्षेप्रमाणे काम करत आहेत आणि योग्य कारवाई करत आहेत याची खात्री करून घेतील.
एआय-आधारित कोडिंग हे भविष्य आहे
तीच अभियांत्रिकी प्रणाली-कामाचे छोट्या, उद्देशाने तयार केलेल्या भागांमध्ये विभागणी करणे—आता मार्कस ज्याला म्हणतात त्याद्वारे AT&T स्वतःच कोड कसा लिहितो हे बदलत आहे "कृत्रिम बुद्धिमत्ता-इंधन कोडिंग."
प्रक्रियेची RAG शी तुलना करा; विकसक एकात्मिक विकास वातावरणात (IDE) जलद कोडिंग पद्धती वापरतात आणि “फंक्शन-स्पेसिफिक” सिंटॅक्स मॉडेल्ससह कोड कसे परस्परसंवाद करतात हे परिभाषित करतात. आउटपुट सैल कोड नाही; कोड “उत्पादन ग्रेडच्या अगदी जवळ आहे” आणि एका चक्रात त्या गुणवत्तेपर्यंत पोहोचू शकतो. “आम्ही सर्व डायनॅमिक प्रोग्रामिंगसह काम केले आहे, जिथे आमच्याकडे प्रॉक्सी प्रकारचा कोड एडिटर आहे,” मार्कसने नमूद केले. परंतु एआय-चालित प्रोग्रामिंग “डायनॅमिक प्रोग्रामिंगमध्ये तुम्हाला दिसणारी बरीच रिडंडंसी दूर करते.” तो या कोडींग तंत्रज्ञानाकडे सॉफ्टवेअर डेव्हलपमेंट सायकलची “मूर्तपणे पुनर्परिभाषित” म्हणून पाहतो, शेवटी विकासाची वेळ कमी करतो आणि उत्पादन-स्तरीय कोड उत्पादन वाढवतो. सॉफ्टवेअर प्रोटोटाइप तयार करण्यासाठी साध्या भाषेतील प्रॉम्प्ट वापरून गैर-तांत्रिक संघ देखील कामात सहभागी होऊ शकतात. उदाहरणार्थ, त्याच्या टीमने 20 मिनिटांत फॉरमॅट केलेले अंतर्गत डेटा उत्पादन तयार करण्यासाठी या तंत्रज्ञानाचा वापर केला; AI शिवाय, तयार होण्यासाठी सहा आठवडे लागले असते. मार्कस म्हणाले, “आम्ही त्यासोबत सॉफ्टवेअर विकसित करतो, त्यात सुधारणा करतो, त्यासोबत डेटा सायन्स करतो, त्यासोबत डेटाचे विश्लेषण करतो आणि त्यासोबत डेटा इंजिनीअरिंग करतो. “म्हणून तो गेम चेंजर आहे.”
