LinkedIn हे AI शिफारस प्रणालींमध्ये एक अग्रणी आहे, ज्यांनी 15 वर्षांमध्ये त्या विकसित केल्या आहेत. परंतु भविष्यातील नोकरी शोधणाऱ्यांसाठी पुढील पिढीच्या शिफारशींच्या संचामध्ये प्रवेश करण्यासाठी पूर्णपणे नवीन तंत्रज्ञान आवश्यक आहे. अचूकता, विलंबता आणि कार्यक्षमतेची पुढील पातळी प्राप्त करण्यासाठी कंपनीला ऑफ-द-शेल्फ मॉडेल्सच्या पलीकडे पहावे लागले.
बियॉन्ड द पायलट नावाच्या नवीन पॉडकास्टमध्ये, लिंक्डइन येथील उत्पादन अभियांत्रिकीचे VP, एरन बर्गर म्हणतात, “आम्ही हे नडजद्वारे करू शकलो नाही. “आम्ही पुढच्या पिढीच्या शिफारसी प्रणालींसह प्रयत्न देखील केला नाही कारण आम्हाला समजले की ते एक नॉन-स्टार्टर आहे.”
त्याऐवजी, त्याच्या टीमने 7 अब्ज पॅरामीटर्सचे सुरुवातीला मोठे मॉडेल तयार करण्यासाठी अत्यंत तपशीलवार उत्पादन धोरण दस्तऐवज विकसित करण्यासाठी सेट केले; हे नंतर शिक्षक आणि विद्यार्थ्यांसाठी अतिरिक्त मॉडेल्समध्ये डिस्टिल केले गेले जे लाखो पॅरामीटर्ससाठी ऑप्टिमाइझ केले गेले.
या तंत्रज्ञानाने पुनरावृत्ती करण्यायोग्य कूकबुक तयार केले आहे, जे आता LinkedIn च्या AI उत्पादनांमध्ये पुन्हा वापरले जात आहे.
बर्गर म्हणतात, “ही एंड-टू-एंड मूल्यमापन प्रक्रियेचा अवलंब केल्याने लाइक्सच्या गुणवत्तेत लक्षणीय सुधारणा होईल जी कदाचित आम्ही LinkedIn वर वर्षानुवर्षे पाहिली नसेल.
लिंक्डइनसाठी मल्टी-टीचर डिस्टिलेशन हा एक ‘बिग ब्रेक’ का होता
बर्गर आणि त्याच्या टीमने एक LLM तयार करण्यासाठी सेट केले जे वैयक्तिक जॉब क्वेरी, उमेदवार प्रोफाइल आणि नोकरीचे वर्णन रिअल-टाइममध्ये आणि लिंक्डइनचे उत्पादन धोरण शक्य तितक्या अचूकपणे प्रतिबिंबित करू शकेल.
कंपनीच्या उत्पादन व्यवस्थापन संघासोबत काम करताना, अभियंत्यांनी अखेरीस नोकरीचे वर्णन आणि प्रोफाइल जोड्या “अनेक परिमाणांमध्ये” कॅप्चर करण्यासाठी 20 ते 30-पानांचा दस्तऐवज तयार केला.
“आम्ही यावर बरीच पुनरावृत्ती केली,” बर्गर म्हणतो. हे उत्पादन धोरण दस्तऐवज नंतर हजारो क्वेरी आणि प्रोफाइलच्या “गोल्डन डेटासेट”सह जोडले गेले; टीमने डेटा निर्मिती आणि प्रयोगादरम्यान हे ChatGPT मध्ये दिले, कालांतराने मॉडेलला स्कोअरिंग जोड्या शिकण्यासाठी पुढे ढकलले आणि शेवटी 7 अब्ज पॅरामीटर मॉडेलला प्रशिक्षित करण्यासाठी खूप मोठा सिंथेटिक डेटासेट तयार केला.
तथापि, बर्जर म्हणतो, उत्पादन धोरणाच्या संदर्भात केवळ उत्पादनात कार्यरत LLM असणे पुरेसे नाही. “शेवटी, ही एक शिफारस प्रणाली आहे आणि आम्हाला काही प्रमाणात क्लिक अंदाज आणि वैयक्तिकरण करणे आवश्यक आहे.”
म्हणून, त्याच्या टीमने उत्पादन धोरणावर लक्ष केंद्रित केलेल्या प्रारंभिक वैशिष्ट्य मॉडेलचा उपयोग क्लिक्सचा अंदाज लावण्यासाठी तयार केलेले दुसरे वैशिष्ट्य मॉडेल विकसित करण्यासाठी केला. या दोघांचा वापर करून, त्यांनी प्रशिक्षण उद्देशांसाठी 1.7 अब्ज पॅरामीटर्सचे मॉडेल डिस्टिल्ड केले. हे अंतिम विद्यार्थी मॉडेल “अनेक, अनेक अभ्यासक्रम” द्वारे चालवले गेले होते आणि गुणवत्तेचे नुकसान कमी करण्यासाठी “प्रत्येक टप्प्यावर” ऑप्टिमाइझ केले गेले होते, बर्गर म्हणतात.
या बहु-शिक्षक ऊर्धपातन तंत्राने संघाला मूळ उत्पादन धोरणासह “मोठ्या प्रमाणात अभिसरण साध्य” करण्याची आणि “ग्राउंडेड” क्लिक्सचा अंदाज लावण्याची परवानगी दिली, ते म्हणतात. ते विद्यार्थ्यासाठी प्रशिक्षण प्रक्रिया “विभागणी आणि विभागणी” करण्यात देखील सक्षम होते.
दोन भिन्न शिक्षक मॉडेल्ससह चॅट एजंटच्या संदर्भात याचा विचार करा: एक जो एजंटला उत्तरांमध्ये अचूकतेचे प्रशिक्षण देतो आणि दुसरा टोन आणि संवाद कसा साधायचा यावर. बर्जर नमूद करतात की या दोन अतिशय भिन्न गोष्टी आहेत, परंतु त्या महत्त्वपूर्ण उद्दिष्टे आहेत.
“आता ते मिसळून, तुम्हाला चांगले परिणाम मिळतात, परंतु स्वतंत्रपणे त्याची प्रतिकृती देखील बनते,” तो म्हणतो. “आमच्यासाठी ही एक प्रगती होती.”
संघ एकत्र कसे काम करतात ते बदला
बर्जर म्हणतात की तो उत्पादन धोरण आणि पुनरावृत्ती मूल्यमापन प्रक्रियेचे महत्त्व कमी लेखू शकत नाही.
“खरोखर चांगले उत्पादन धोरण” असण्यासाठी उत्पादन व्यवस्थापकाच्या डोमेन कौशल्याचे प्रमाणित दस्तऐवजात भाषांतर करणे आवश्यक आहे. ऐतिहासिकदृष्ट्या, बर्जर सांगतात, उत्पादन व्यवस्थापन कार्यसंघ रणनीती आणि वापरकर्ता अनुभवावर लेझर-केंद्रित आहे, मशीन लर्निंग अभियंत्यांकडे पुनरावृत्ती मॉडेलिंग दृष्टिकोन सोडून. तथापि, दोन्ही संघ आता “कनेक्ट” करण्यासाठी आणि एक सुसंगत शाळा मॉडेल तयार करण्यासाठी एकत्र काम करत आहेत.
“मशीन लर्निंग अभियंत्यांसह उत्पादन व्यवस्थापक आता ज्या पद्धतीने काम करतात ते आम्ही यापूर्वी केलेल्या कोणत्याही गोष्टीपेक्षा पूर्णपणे भिन्न आहे,” तो म्हणतो. “आम्ही लिंक्डइनवर करत असलेल्या कोणत्याही एआय उत्पादनांसाठी ही एक ब्लूप्रिंट बनली आहे.”
याबद्दल अधिक ऐकण्यासाठी पूर्ण पॉडकास्ट पहा:
-
LinkedIn ने गतीला समर्थन देण्यासाठी R&D प्रक्रियेच्या प्रत्येक पायरीला कसे ऑप्टिमाइझ केले आहे, वास्तविक परिणाम आठवड्यांऐवजी दिवस किंवा तासांत आणले आहेत;
-
संघांनी वितरण आणि प्रयोगाचे मार्ग का विकसित केले पाहिजेत आणि चपळाईला समर्थन देण्यासाठी भिन्न मॉडेल्स का वापरावेत;
-
पारंपारिक अभियांत्रिकी त्रुटी सुधारण्याचे निरंतर महत्त्व.
तुम्ही ऐकू शकता आणि सदस्यता घेऊ शकता पायलटच्या पलीकडे वर Spotify, सफरचंद किंवा जिथे तुम्हाला तुमचे पॉडकास्ट मिळेल.
