जनरेटिव्ह AI चे नैसर्गिक प्रात्यक्षिक काय असायला हवे होते याची खूप प्रदीर्घ वाट पाहिल्यानंतर LinkedIn या आठवड्यात आपली नवीन AI-शक्तीवर चालणारी लोक शोध सेवा सुरू करत आहे.
हे ChatGPT लाँच झाल्यानंतर पूर्ण तीन वर्षांनी आणि LinkedIn ने AI जॉब सर्च ऑफर लाँच केल्यानंतर सहा महिन्यांनी येते. तांत्रिक नेत्यांसाठी, ही टाइमलाइन मुख्य एंटरप्राइझ धडा स्पष्ट करते: वास्तविक एंटरप्राइझ सेटिंग्जमध्ये जनरेटिव्ह एआय तैनात करणे कठीण आहे, विशेषत: 1.3 अब्ज वापरकर्त्यांच्या प्रमाणात. ही व्यावहारिक सुधारणेची एक संथ आणि क्रूर प्रक्रिया आहे.
खालील खाते लॉन्चमागील लिंक्डइन उत्पादन आणि अभियांत्रिकी कार्यसंघाच्या अनेक विशेष मुलाखतींवर आधारित आहे.
प्रथम, उत्पादन कसे कार्य करते ते येथे आहे: वापरकर्ता आता नैसर्गिक भाषेतील क्वेरी टाइप करू शकतो जसे की, "कर्करोगाचा इलाज कोणाला माहित आहे?" LinkedIn शोध बारमध्ये.
कीवर्डवर आधारित जुना लिंक्डइन शोध गोंधळात टाकणारा होता. तो फक्त संदर्भ शोधणार होता "कर्करोग". जर एखाद्या वापरकर्त्याला अत्याधुनिक बनवायचे असेल, तर त्यांना वेगळे आणि कठोर कीवर्ड शोध घ्यावे लागतील "कर्करोग" आणि मग "ऑन्कोलॉजी" आणि मॅन्युअली परिणाम एकत्र करण्याचा प्रयत्न करा.
तथापि, नवीन एआय-सक्षम प्रणाली समजते हेतू संशोधनाचे कारण हुड अंतर्गत LLM शब्दार्थी अर्थ सामावून घेते. उदाहरणार्थ, तो कबूल करतो "कर्करोग" संकल्पनेशी संबंधित "ऑन्कोलॉजी" अगदी कमी थेट, एल "जीनोम संशोधन." परिणामी, ते ऑन्कोलॉजी नेते आणि संशोधकांसह लोकांची अधिक महत्त्वाची यादी दाखवते, जरी त्यांची प्रोफाइल निर्दिष्ट कीवर्ड वापरत नसली तरीही. "कर्करोग"
प्रणाली देखील या महत्त्व सह समतोल फायदा. तुम्हाला जगातील सर्वोत्कृष्ट ऑन्कोलॉजिस्ट दाखवण्याऐवजी (जे कदाचित एक तृतीय-स्तरीय कनेक्शन असू शकते ज्यापर्यंत तुम्ही पोहोचू शकत नाही), ते तुमच्या तात्काळ नेटवर्कमधील लोकांना देखील ओळखेल – जसे की प्रथम-स्तरीय कनेक्शन – "अतिशय समर्पक" हे या तज्ञासाठी एक महत्त्वपूर्ण पूल म्हणून काम करू शकते.
उदाहरणासाठी खालील व्हिडिओ पहा.
तथापि, एंटरप्राइझ प्रॅक्टिशनर्ससाठी हा निर्विवादपणे सर्वात महत्त्वाचा धडा आहे "कुकबुक" लिंक्डइनने विकसित केले आहे: डिस्टिलेशन, सह-डिझाइन आणि सतत सुधारण्यासाठी पुनरावृत्ती करण्यायोग्य, बहु-स्टेज पाइपलाइन. दुस-या उत्पादनावर प्रयत्न करण्यापूर्वी लिंक्डइनला एका उत्पादनावर हे सुधारणे आवश्यक होते.
"एकाच वेळी खूप काही करण्याचा प्रयत्न करू नका," लिंक्डइनचे अभियांत्रिकीचे उपाध्यक्ष वेनजिंग झांग यांनी उत्पादन लॉन्चबद्दल एका पोस्टमध्ये लिहिले, त्यांनी गेल्या आठवड्यात एका मुलाखतीत VentureBeat शी देखील बोलले होते. माझ्या आधी लक्षात आले "एक विस्तीर्ण महत्वाकांक्षा" सर्व LinkedIn उत्पादनांसाठी एक एकीकृत प्रणाली तयार करणे "प्रगती थांबली."
त्याऐवजी, लिंक्डइनने प्रथम एक स्तंभ जिंकण्यावर लक्ष केंद्रित केले. यापूर्वी लाँच केलेल्या AI जॉब सर्च प्रोग्रामचे यश – ज्याने चार वर्षांच्या महाविद्यालयीन पदवीशिवाय नोकरी शोधणारे निर्माण केले 10% अधिक रोजगार मिळण्याची शक्यता आहेउत्पादन अभियांत्रिकी उपाध्यक्ष, Eran Berger नुसार – चार्ट प्रदान केला.
आता, कंपनी ही ब्लू प्रिंट एका मोठ्या आव्हानासाठी लागू करत आहे. "लाखो नोकऱ्यांमध्ये हे करण्यास सक्षम असणे ही एक गोष्ट आहे;" बर्जर यांनी व्हेंचरबीटला सांगितले. "एक अब्ज सदस्यांच्या उत्तरेला ते करणे ही दुसरी गोष्ट आहे."
एंटरप्राइझ एआय बिल्डर्ससाठी, लिंक्डइन प्रवास कसा आहे याबद्दल तांत्रिक मार्गदर्शक प्रदान करते वास्तवात यासाठी यशस्वी प्रायोगिक उत्पादनाकडून अब्जावधी वापरकर्त्यांच्या उत्पादनाकडे जाणे आवश्यक आहे.
नवीन आव्हान: १.३ अब्ज सदस्यांसह आलेख
बर्जरने स्पष्ट केले की नोकरी शोध उत्पादनाने एक मजबूत कृती तयार केली आहे जी नवीन लोक शोध उत्पादन तयार करू शकते.
पाककृतीची सुरुवात ए "गोल्डन डेटा सेट" 20 ते 30 तपशीलवार पृष्ठांवर काही शंभर ते हजारो वास्तविक क्वेरी प्रोफाइल जोड्या अचूकपणे स्कोअर केल्या जातात "उत्पादन धोरण" दस्तऐवज. या व्यायामाचे प्रमाण वाढवण्यासाठी, LinkedIn ने या छोट्याशा सोनेरी क्लस्टरचा वापर करून मोठ्या बेसलाइन मॉडेल चालविण्यास मोठ्या प्रमाणावर व्हॉल्यूम व्युत्पन्न केले… कृत्रिम प्रशिक्षण डेटा. हा सिंथेटिक डेटा ए प्रशिक्षित करण्यासाठी वापरला गेला 7 अब्ज पॅरामीटर्स "उत्पादन धोरण" मॉडेल-जज उच्च निष्ठा आणि तंदुरुस्त आणि थेट उत्पादनासाठी खूप मंद होते परंतु लहान मॉडेल शिकवण्यासाठी योग्य होते.
मात्र, संघाने लवकर भिंतीला धडक दिली. सहा ते नऊ महिन्यांपर्यंत, त्यांनी कठोर धोरण पालन (प्रासंगिकता) आणि वापरकर्त्यांच्या प्रतिबद्धतेचे संकेत संतुलित करू शकणारे एकल मॉडेल प्रशिक्षित करण्यासाठी संघर्ष केला. द "अहा क्षण" जेव्हा त्यांना समजले की त्यांना समस्या सोडवणे आवश्यक आहे. त्यांनी 7B पॉलिसी मॉडेलला a मध्ये डिस्टिल्ड केले 1.7b शिक्षक मॉडेल मी फक्त महत्त्वावर लक्ष केंद्रित केले. त्यानंतर त्यांनी विशिष्ट सदस्य क्रियांचा अंदाज लावण्यासाठी प्रशिक्षित केलेल्या वेगळ्या ट्यूटर मॉडेल्ससह जोडले, जसे की नोकरी उत्पादनासाठी नोकरीचे अर्ज किंवा लोकांना शोधण्यासाठी कॉल करणे आणि फॉलो करणे. हे "बहु-शिक्षक" अंतिम विद्यार्थ्यांच्या मॉडेलने KL डायव्हर्जन लॉसमधून अनुकरण करण्यास शिकलेल्या संभाव्यता गुणांची निर्मिती केली.
परिणामी आर्किटेक्चर दोन-चरण पाइपलाइन म्हणून कार्य करते. प्रथम, मोठे मॉडेल पॅरामीटर 8B हे मोठ्या प्रमाणात पुनर्प्राप्ती हाताळते आणि आलेखावरून उमेदवारांना खेचण्यासाठी विस्तृत जाळे टाकते. त्यानंतर, एक उच्च डिस्टिल्ड विद्यार्थी मॉडेल अचूक वर्गीकरणाची जबाबदारी घेते. नोकरी शोध उत्पादन यशस्वीरित्या प्रकाशित करताना अ 0.6 अब्ज (600 दशलक्ष) विद्यार्थी पॅरामीटर, नवीन लोक शोध उत्पादनासाठी अधिक शक्तिशाली दबाव आवश्यक आहे. झांगने नमूद केल्याप्रमाणे, टीमने नवीन विद्यार्थी मॉडेल 440 मीटरवरून फक्त एक लांबीपर्यंत संकुचित केले 220 मीटर पॅरामीटर्स1% पेक्षा कमी लिंक गमावलेल्या 1.3 अब्ज वापरकर्त्यांसाठी आवश्यक गती प्राप्त करणे.
पण शोध घेणाऱ्या लोकांवर हे लागू केल्याने जुनी रचना मोडकळीस आली. नवीन समस्या फक्त समाविष्ट नाही वर्गीकरण पण पुनर्प्राप्ती.
“एक अब्ज रेकॉर्ड," बर्जर म्हणाला, आहे "एक वेगळा पशू."
संघाचे पूर्वीचे रिकव्हरी पॅकेज सेंट्रल प्रोसेसिंग युनिट्स (CPUs) वर तयार करण्यात आले होते. नवीन स्केल आणि विलंब आवश्यकता हाताळण्यासाठी a "डंक मारणारा" शोध अनुभव, संघाला अनुक्रमणिका हलवावी लागली GPU आधारित पायाभूत सुविधा. हे एक मूलभूत वास्तुशिल्प बदल होते जे जॉब सर्च उत्पादनाला आवश्यक नव्हते.
संस्थात्मकदृष्ट्या, LinkedIn ला अनेक पध्दतींचा फायदा झाला आहे. काही काळापासून, लिंक्डइनकडे दोन स्वतंत्र संघ आहेत – काम शोधा आणि लोक शोधा – समांतर समस्या सोडवण्याचा प्रयत्न करा. पण जॉब सर्च टीमने पॉलिसी-चालित डिस्टिलेशन वापरून यश मिळवल्यानंतर, बर्गर आणि त्याच्या नेतृत्वाच्या टीमने त्यात पाऊल टाकले. त्यांनी नोकरी शोध अभियंत्यांना जिंकण्यासाठी आणले. – प्रोडक्ट लीड रोहन राजीव आणि इंजिनिअरिंग लीड वेनजिंग झांग – त्यांचे “कुकबुक” थेट नवीन डोमेनवर हलविण्यासाठी.
10x उत्पादकता वाढवण्यासाठी ऊर्धपातन
पुनर्प्राप्ती समस्येचे निराकरण झाल्यामुळे, संघाला वर्गीकरण आणि कार्यक्षमतेचे आव्हान होते. येथेच कूकबुक नवीन आणि आक्रमक ऑप्टिमायझेशन तंत्रांशी जुळवून घेतले जाते.
चांगचे तांत्रिक काम (ती प्रकाशित होताच मी लिंक पोस्ट करेन) AI अभियंत्यांचे आमचे प्रेक्षक कौतुक करतील असे विशिष्ट तपशील प्रदान करते. सर्वात लक्षणीय सुधारणांपैकी एक इनपुट आकार होता.
मॉडेलला खायला घालण्यासाठी संघाला प्रशिक्षण देण्यात आले शेवटचे रीइन्फोर्समेंट लर्निंग (RL) सह LLM चा एक उद्देश आहे: इनपुट संदर्भाचा सारांश देणे. हे "सारांश" मॉडेल फॉर्म इनपुट आकार कमी करण्यात सक्षम होते 20 वेळा कमीतकमी माहितीच्या नुकसानासह.
220M पॅरामीटर मॉडेल आणि 20x इनपुट कपात यांचा एकत्रित परिणाम? ए वर्गीकरण उत्पादकता मध्ये 10x वाढटीमला कार्यक्षमतेने मॉडेलला प्रचंड वापरकर्त्यांपर्यंत सेवा देण्याची अनुमती देते.
प्रचारासमोर व्यावहारिकता: बांधकाम साधने, एजंट नाही
आमच्या संपूर्ण चर्चेदरम्यान, बर्जर लोकांचे लक्ष वेधून घेणाऱ्या दुसऱ्या गोष्टीबद्दल ठाम होते: आज संघटनांचे खरे मूल्य शिफारस करणाऱ्या प्रणाली सुधारण्यात आहे, पाठलाग करण्यामध्ये नाही… "प्रॉक्सी आवाज." कंपनीने त्याच्या शोधात वापरलेल्या विशिष्ट मॉडेल्सबद्दल बोलण्यासही त्याने नकार दिला आणि सुचवले की ते फारसे महत्त्वाचे नाही. कंपनी मॉडेलची निवड करते ज्याच्या आधारावर तिला कामासाठी सर्वात कार्यक्षम वाटते.
नवीन AI-सक्षम लोक शोध हे बर्जरच्या तत्त्वज्ञानाचे प्रकटीकरण आहे की प्रथम शिफारस प्रणाली सुधारणे सर्वोत्तम आहे. आर्किटेक्चरमध्ये नवीन समाविष्ट आहे "बुद्धिमान क्वेरी राउटिंग स्तर," बर्जरने सांगितल्याप्रमाणे, हे स्वतः LLM द्वारे समर्थित आहे. हे राउटर वापरकर्त्याची क्वेरी – उदा "विश्वास तज्ञ" – हे नवीन अर्थविषयक नैसर्गिक भाषेच्या स्टॅकवर किंवा जुन्या विश्वासार्ह लेक्सिकल शोधाकडे जावे.
या संपूर्ण जटिल प्रणालीची रचना केली आहे "साधन" आय भविष्य तो एजंट वापरेल, एजंट स्वत: नाही.
"एजंटची उत्पादने लोकांसाठी कामे करण्यासाठी वापरत असलेल्या साधनांइतकीच चांगली असतात;" बर्जर म्हणाले. "तुमच्याकडे जगातील सर्वोत्तम विचार मॉडेल असू शकतात आणि तुम्ही लोक शोध एजंट वापरण्याचा प्रयत्न करत असाल परंतु लोक शोध इंजिन फार चांगले नसेल, तर तुम्ही ते साध्य करू शकणार नाही."
आता शोधणारे लोक उपलब्ध आहेत, बर्जरने सुचवले की एक दिवस कंपनी एजंट्स वापरण्याची ऑफर देईल. मात्र त्यांनी वेळेबाबत माहिती दिली नाही. त्यांनी असेही सांगितले की नोकऱ्या आणि लोक शोधण्यासाठी वापरण्यात येणारी रेसिपी कंपनीच्या इतर उत्पादनांमध्ये आणली जाईल.
स्वतःचे AI रोडमॅप तयार करणाऱ्या संस्थांसाठी, LinkedIn चे खेळाचे नियम स्पष्ट आहेत:
-
व्यावहारिक व्हा: समुद्र उकळण्याचा प्रयत्न करू नका. 18 महिने लागले तरीही एक उभ्या जिंका.
-
नोटेशन "कुकबुक": त्या विजयाचे पुनरावृत्ती करण्यायोग्य प्रक्रियेत रुपांतर करा (पॉलिसी दस्तऐवज, डिस्टिलेशन पाइपलाइन, सह-डिझाइन).
-
अथक सुधारणा: वास्तविक 10x लाभ येतात नंतर प्रोटोटाइप, छाटणी, डिस्टिलेशन आणि क्रिएटिव्ह परिष्करण जसे की, RL वर प्रशिक्षित अमूर्त.
LinkedIn चा प्रवास दर्शवितो की वास्तविक-जगातील एंटरप्राइझ AI साठी, विशिष्ट मॉडेल्सवर किंवा उत्कृष्ट एजंट सिस्टमवर लक्ष केंद्रित करण्यासाठी मागे बसावे लागते. शाश्वत धोरणात्मक फायदा हा प्रभुत्वातून होतो पाइपलाइन – सह-डिझाइन, डिस्टिलेशन आणि निर्दयी ऑप्टिमायझेशनसाठी एक “ऑथेंटिक AI-चालित” कुकबुक.
(संपादकांची टीप: आम्ही LinkedIn च्या Erran Berger सह एक संपूर्ण पॉडकास्ट प्रकाशित करणार आहोत, जे या तांत्रिक तपशीलांमध्ये खोलवर जातील, लवकरच VentureBeat पॉडकास्ट फीडवर.)
