आजचे LLM कार्यक्रम तर्कामध्ये उत्कृष्ट आहेत, परंतु तरीही संदर्भाशी संघर्ष करतात. हे विशेषतः Instacart सारख्या रिअल-टाइम ऑर्डरिंग सिस्टमसाठी खरे आहे.
Instacart Cto अनिर्बानन कुंडू म्हणतात "ब्राउनी रेसिपीमध्ये समस्या आहे"
LLM ला ‘मला ब्राउनीज बनवायचे आहेत’ हे सांगणे तितके सोपे नाही. जेवणाचे नियोजन करताना खरोखर उपयुक्त होण्यासाठी, वापरकर्त्याच्या बाजारपेठेत त्यांच्या प्राधान्यांच्या आधारावर काय उपलब्ध आहे हे समजून घेण्यासाठी मॉडेलने या साध्या निर्देशाच्या पलीकडे जाणे आवश्यक आहे — उदाहरणार्थ, सेंद्रिय अंडी विरुद्ध नियमित अंडी — आणि त्यांच्या भूगोलात जे वितरित केले जाऊ शकते त्यात ते समाविष्ट केले पाहिजे जेणेकरून अन्न खराब होणार नाही. हे इतर महत्त्वपूर्ण घटकांपैकी एक आहे.
Instacart साठी, आदर्शपणे एका सेकंदापेक्षा कमी वेळेत, अनुभव देण्यासाठी संदर्भाच्या योग्य मिश्रणासह प्रतिसाद वेळ जुळवणे हे आव्हान आहे.
“विचार स्वतःच 15 सेकंद घेत असल्यास, आणि जर प्रत्येक परस्परसंवाद धीमे असेल, तर तुम्ही वापरकर्ता गमावाल,” कोंडो अलीकडील VB कार्यक्रमात म्हणाले.
तर्कशास्त्र, वास्तविक-जगातील परिस्थिती आणि सानुकूलन यांचे मिश्रण करणे
किराणा मालाच्या वितरणामध्ये, “तर्काचे जग” आणि “राज्याचे जग” (वास्तविक जगात काय उपलब्ध आहे) आहे. कोंडो नमूद केले आहे, जे दोन्ही LLM तसेच वापरकर्त्याच्या प्राधान्यांद्वारे समजून घेतले पाहिजेत. परंतु वापरकर्त्याचा संपूर्ण खरेदी इतिहास आणि ज्ञात स्वारस्ये तार्किक मॉडेलमध्ये लोड करणे इतके सोपे नाही.
“तुमचे एलएलएम एक अनियंत्रित आकारात स्फोट होईल,” कोंडो म्हणाला.
या समस्येवर मात करण्यासाठी, Instacart प्रक्रिया भागांमध्ये खंडित करते. प्रथम, डेटा एका मोठ्या, मूलभूत मॉडेलमध्ये दिला जातो जो हेतू आणि विभाग उत्पादने समजू शकतो. हा प्रक्रिया केलेला डेटा नंतर कॅटलॉग संदर्भ (खाद्याचे प्रकार किंवा इतर वस्तू जे एकत्र काम करतात) आणि अर्थविषयक समज यासाठी डिझाइन केलेल्या छोट्या भाषेच्या मॉडेल्समध्ये (SLMs) दिले जातात.
कॅटलॉग संदर्भाच्या बाबतीत, SLM स्वतः ऑर्डर तसेच विविध उत्पादनांबद्दल तपशीलाचे अनेक स्तर हाताळण्यास सक्षम असणे आवश्यक आहे. उदाहरणार्थ, कोणती उत्पादने एकत्र केली जातात आणि पहिला पर्याय स्टॉकमध्ये नसल्यास संबंधित पर्याय कोणते आहेत? हे पर्याय Instacart सारख्या कंपनीसाठी “खूप, अतिशय महत्वाचे” आहेत, जे कोंडोने सांगितले की “दुहेरी-अंकी उदाहरणे” आहेत जिथे उत्पादन स्थानिक बाजारात उपलब्ध नाही.
शब्दार्थ समजण्याच्या दृष्टीने, समजू या की एक गिऱ्हाईक मुलांसाठी आरोग्यदायी स्नॅक्स खरेदी करू पाहत आहे. मॉडेलला हेल्दी स्नॅक म्हणजे काय आणि 8 वर्षांच्या मुलासाठी कोणते पदार्थ योग्य आणि योग्य आहेत हे समजून घेणे आवश्यक आहे आणि नंतर संबंधित उत्पादने ओळखणे आवश्यक आहे. जेव्हा ही विशिष्ट उत्पादने विशिष्ट बाजारपेठेत उपलब्ध नसतात, तेव्हा मॉडेलने उत्पादनांचे संबंधित उपसमूह देखील शोधले पाहिजेत.
त्यानंतर लॉजिस्टिक घटक आहे. उदाहरणार्थ, आईस्क्रीम सारखे उत्पादन लवकर वितळते आणि गोठवलेल्या भाज्या देखील उबदार तापमानात सोडल्यास चांगले काम करत नाहीत. फॉर्ममध्ये हा संदर्भ असावा आणि स्वीकार्य वितरण वेळेची गणना केली पाहिजे.
“म्हणून तुम्हाला हेतूची ही समज आहे, तुमच्याकडे हे वर्गीकरण आहे आणि मग तुमच्याकडे हा दुसरा तुकडा आहे की तुम्ही ते तार्किकदृष्ट्या कसे करता?” कोंडो यांनी नमूद केले.
“मोनोलिथिक” प्रॉक्सी सिस्टम टाळा.
इतर अनेक कंपन्यांप्रमाणे, Instacart AI एजंट्सवर प्रयोग करत आहे, असे आढळून आले आहे की एजंट्सचे मिश्रण “एक मोनोलिथ” अनेक भिन्न कार्ये करण्यापेक्षा चांगले कार्य करते. कोंडो यांनी स्पष्ट केले की लहान, फोकस केलेल्या साधनांसह मॉड्यूलर ऑपरेटिंग सिस्टमचे युनिक्स तत्त्वज्ञान भिन्न ड्राइव्ह सिस्टम्सला संबोधित करण्यात मदत करते, उदाहरणार्थ, भिन्न अपयश मोड आहेत.
“हे सर्व एकाच वातावरणात तयार करणे खूप आव्हानात्मक होते,” तो म्हणाला. शिवाय, एजंट पॉइंट-ऑफ-सेल (POS) प्रणाली आणि कॅटलॉगसह अनेक तृतीय-पक्ष प्लॅटफॉर्मसह पार्श्वभूमीवर बोलतात. अर्थात सर्वच जण सारखे वागतातच असे नाही; काही इतरांपेक्षा अधिक विश्वासार्ह आहेत आणि भिन्न अद्यतन अंतराल आणि फीड आहेत.
“म्हणून, या सर्व गोष्टींवर लक्ष ठेवण्यासाठी, आम्ही बहुतेक मॅक्रो निसर्गाच्या घटकांऐवजी सूक्ष्म घटकांच्या या मार्गावर गेलो,” कोंडो म्हणाले.
एजंट्स व्यवस्थापित करण्यासाठी, Instacart हे OpenAI मॉडेल कॉन्टेक्स्ट प्रोटोकॉल (MCP) सह समाकलित केले आहे, जे AI मॉडेल्सना विविध टूल्स आणि डेटा स्रोतांशी जोडण्याची प्रक्रिया एकत्रित आणि सुलभ करते.
कंपनी Google चे युनिव्हर्सल कॉमर्स प्रोटोकॉल (UCP) ओपन स्टँडर्ड देखील वापरते, जे AI एजंटना व्यावसायिक प्रणालींशी थेट संवाद साधू देते.
मात्र, कोंडोच्या संघासमोर अजूनही आव्हाने आहेत. त्याने निदर्शनास आणल्याप्रमाणे, हे एकीकरण किती व्यवहार्य आहे याबद्दल नाही, परंतु ते एकत्रीकरण किती विश्वासार्ह आहेत आणि वापरकर्ते त्यांना किती चांगले समजतात. शोध घेणे अवघड असू शकते, केवळ कोणत्या सेवा उपलब्ध आहेत हे ठरवणेच नव्हे तर प्रत्येक कार्यासाठी कोणत्या सेवा योग्य आहेत हे समजून घेणे देखील कठीण आहे.
कोंडोने नमूद केले की Instacart ला MCP आणि UCP “अगदी वेगळ्या” परिस्थितींमध्ये लागू करावे लागले आणि त्यांना आलेल्या सर्वात मोठ्या समस्या म्हणजे अपयश मोड आणि लेटन्सी. “या दोन्ही सेवांचा प्रतिसाद वेळ आणि समज खूप भिन्न आहे, आणि मी म्हणेन की आम्ही कदाचित आमच्या दोन तृतीयांश वेळ या त्रुटी अटी निश्चित करण्यात घालवतो.”
