आजच्या एंटरप्राइझ एआय एजंट्सना वेळेच्या मूलभूत समस्येचा सामना करावा लागतो: ते गंभीर व्यवसाय इव्हेंट्सवर सहजपणे कार्य करू शकत नाहीत कारण त्यांना वास्तविक वेळेत नेहमीच माहिती नसते.
पायाभूत सुविधांचे आव्हान आहे. बहुतेक एंटरप्राइझ डेटा एक्स्ट्रॅक्ट, ट्रान्सफॉर्म आणि लोड (ETL) कार्यांद्वारे दिलेला डेटाबेसमध्ये राहतो जे तासाभराने किंवा दररोज चालतात – ज्या एजंट्सना रिअल टाइममध्ये प्रतिसाद देणे आवश्यक आहे त्यांच्यासाठी शेवटी खूप मंद आहे.
या आव्हानाला सामोरे जाण्याचा एक संभाव्य मार्ग म्हणजे एजंट्सनी थेट स्ट्रीमिंग डेटा सिस्टमशी संवाद साधणे. आज वापरल्या जाणाऱ्या प्राथमिक पद्धतींपैकी मुक्त स्रोत आहे अपाचे काफ्का आणि Apache Flink तंत्रज्ञान. या तंत्रज्ञानावर आधारित अनेक व्यावसायिक अनुप्रयोग देखील आहेत, लहरीज्याचे नेतृत्व काफ्काच्या मागे मूळ निर्माते करतात, त्यांच्यापैकी एक आहे.
आज, कॉन्फ्लुएंट या विलंब समस्येचे निराकरण करण्यासाठी डिझाइन केलेले रिअल-टाइम संदर्भ इंजिन ऑफर करते. हे तंत्रज्ञान Apache Kafka, एक वितरित इव्हेंट स्ट्रीमिंग प्लॅटफॉर्मवर आधारित आहे जे घटना घडताच डेटा कॅप्चर करते आणि ओपन सोर्स Apache Flink, एक प्रवाह प्रक्रिया इंजिन जे त्या घटनांना वास्तविक वेळेत रूपांतरित करते.
कंपनी Alibaba Cloud, LinkedIn आणि Ververica यांच्या सहकार्याने विकसित केलेले ओपन सोर्स फ्रेमवर्क, फ्लिंक एजंट्स देखील जारी करत आहे. फ्रेमवर्क इव्हेंट-चालित AI एजंट क्षमता थेट Apache Flink वर आणते, ज्यामुळे संस्थांना एजंट तयार करता येतात जे कॉन्फ्लुएंटच्या व्यवस्थापित प्लॅटफॉर्मवर वचनबद्ध न होता परिस्थितीच्या आधारावर डेटा प्रवाहाचे परीक्षण आणि स्वयंचलित करतात.
"आज, बहुतेक एंटरप्राइझ एआय सिस्टम कंपनीच्या महत्त्वाच्या इव्हेंटला कोणीतरी आधी विचारल्याशिवाय आपोआप प्रतिसाद देऊ शकत नाहीत;" कॉन्फ्लुएंटमधील एआयचे प्रमुख सीन फाल्कोनर यांनी व्हेंचरबीटला सांगितले. "यामुळे महसूल गमावला जातो, ग्राहक असंतोष होतो किंवा पेमेंट अयशस्वी होते किंवा नेटवर्क खाली जाते तेव्हा जोखीम वाढते."
महत्त्व विशिष्ट Confluent उत्पादनांच्या पलीकडे विस्तारते. उद्योग ओळखतो की AI एजंटना पारंपारिक ऍप्लिकेशन्सपेक्षा वेगळ्या डेटा इन्फ्रास्ट्रक्चरची आवश्यकता असते. एजंट केवळ असे करण्यास सांगितल्यावर माहिती पुनर्प्राप्त करत नाहीत. त्यांना व्यवसाय इव्हेंटच्या सतत प्रवाहाचे निरीक्षण करणे आवश्यक आहे आणि जेव्हा परिस्थिती अनुमती देते तेव्हा स्वयंचलितपणे कार्य करते. यासाठी फ्लो आर्किटेक्चर आवश्यक आहे, बंडल पाइपलाइन नाही.
एअरटाइमसाठी पैसे द्या: केवळ RAG पुरेसे का नाही
समस्या समजून घेण्यासाठी, एंटरप्राइझ सिस्टममध्ये डेटा हलवण्याच्या वेगवेगळ्या पद्धती आणि ते एजंटिक AI शी कसे जोडले जाऊ शकतात यामधील फरक ओळखणे महत्त्वाचे आहे.
बॅच प्रोसेसिंगमध्ये, शेड्यूल केलेले कार्य चालू होईपर्यंत स्त्रोत सिस्टममध्ये डेटा जमा होतो. हे कार्य लक्ष्य डेटाबेस किंवा डेटा वेअरहाऊसमध्ये डेटा काढते, रूपांतरित करते आणि लोड करते. हे तासाभराने, दररोज किंवा अगदी साप्ताहिकाने घडू शकते. हा दृष्टीकोन विश्लेषणात्मक वर्कलोडसाठी चांगला कार्य करतो, परंतु व्यवसायात काहीतरी घडते तेव्हा आणि सिस्टम त्यावर कार्य करण्यास सक्षम असताना ते विलंब निर्माण करते.
डेटा प्रवाह हे मॉडेल प्रतिबिंबित करते. नियोजित कार्यांची वाट पाहण्याऐवजी, Apache Kafka सारखे स्ट्रीमिंग प्लॅटफॉर्म इव्हेंट जसे घडतात तसे कॅप्चर करतात. प्रत्येक डेटाबेस अपडेट, वापरकर्ता क्रिया, व्यवहार, किंवा सेन्सर वाचलेला एक इव्हेंट प्रवाहात प्रकाशित होतो. Apache Flink नंतर रीअल-टाइममध्ये डेटा सामील होण्यासाठी, फिल्टर करण्यासाठी आणि एकत्रित करण्यासाठी या प्रवाहांवर प्रक्रिया करते. परिणाम प्रक्रिया केलेला डेटा आहे जो व्यवसायाची सद्य स्थिती प्रतिबिंबित करतो आणि नवीन इव्हेंट आल्यावर सतत अपडेट केला जातो.
एआय एजंटना कोणत्या प्रकारच्या संदर्भाची गरज आहे याचा तुम्ही विचार करता तेव्हा हा फरक गंभीर बनतो. सध्याच्या एंटरप्राइझ एआय चर्चेचा बराचसा भाग रिट्रीव्हल ऑगमेंटेड जनरेशन (RAG) वर केंद्रित आहे, जो संबंधित कागदपत्रे, धोरणे किंवा ऐतिहासिक माहिती शोधण्यासाठी ज्ञानाच्या तळांवर अर्थपूर्ण शोधाशी संबंधित आहे. RAG यासारख्या प्रश्नांसाठी चांगले कार्य करते: "आमची परतावा धोरण काय आहे?" उत्तर प्रस्थापित कागदपत्रांमध्ये आढळते.
परंतु अनेक एंटरप्राइझ वापर प्रकरणांमध्ये फाल्कोनर काय म्हणतात ते आवश्यक आहे… "संरचनात्मक संदर्भ" – रिअल टाइममध्ये एकत्रित केलेल्या एकाधिक ऑपरेशनल सिस्टम्समधून अचूक आणि अद्ययावत माहिती. नोकरीच्या शिफारसी एजंटचा विचार करा ज्याला एचआर डेटाबेसमधून वापरकर्ता प्रोफाइल डेटा, शेवटच्या तासातील ब्राउझिंग वर्तन, काही मिनिटांपूर्वीच्या शोध क्वेरी आणि एकाधिक सिस्टममध्ये वर्तमान ओपन पोझिशन्स आवश्यक आहेत.
"आम्ही कंपन्यांसाठी जो भाग उघडत आहोत तो म्हणजे नवीनतम आवृत्ती वितरीत करण्यासाठी आवश्यक असलेल्या आर्किटेक्चरल संदर्भाची सेवा करण्याची क्षमता," फाल्कनर म्हणाले.
MCP कनेक्टिव्हिटी समस्या: जुना डेटा आणि खंडित संदर्भ
आव्हान फक्त एआयला एंटरप्राइझ डेटाशी जोडणे नाही. मॉडेल कॉन्टेक्स्ट प्रोटोकॉल (MCP), ज्याने या वर्षाच्या सुरुवातीला अँथ्रोपिकने सादर केले होते, एजंट डेटा स्त्रोतांमध्ये कसे प्रवेश करतात हे आधीच प्रमाणित केले आहे. कनेक्शन झाल्यानंतर काय होते ही समस्या आहे.
आज बहुतेक एंटरप्राइझ आर्किटेक्चर्समध्ये, AI एजंट MCP द्वारे डेटा तलाव किंवा बॅच ETL पाइपलाइनद्वारे पुरवलेल्या गोदामांशी जोडतात. यामुळे दोन गंभीर बिघाड होतात: डेटा जुना आहे, वर्तमान घटनांऐवजी कालची वास्तविकता प्रतिबिंबित करतो आणि अनेक सिस्टीममध्ये खंडित आहे, एजंट त्यावर प्रभावीपणे प्रतिबिंबित करण्यापूर्वी महत्त्वपूर्ण पूर्वप्रक्रिया आवश्यक आहे.
पर्यायी – MCP सर्व्हर थेट ऑपरेशनल डेटाबेस आणि API समोर ठेवणे – विविध समस्या निर्माण करते. हे एंडपॉइंट एजंटच्या वापरासाठी डिझाइन केलेले नाहीत, ज्यामुळे एजंट अत्याधिक कच्चा डेटा आणि एकाधिक अनुमान लूपवर प्रक्रिया करतात कारण ते असंरचित प्रतिसादांचा अर्थ काढण्याचा प्रयत्न करतात म्हणून उच्च टोकन खर्च होऊ शकतात.
"व्यवसायांकडे डेटा असतो, परंतु तो बऱ्याचदा कालबाह्य, खंडित किंवा फॉरमॅटमध्ये लॉक केलेला असतो जो AI प्रभावीपणे वापरू शकत नाही." फाल्कनर यांनी स्पष्ट केले. "रिअल-टाइम कॉन्टेक्स्ट इंजिन डेटा प्रोसेसिंग, रिप्रोसेसिंग आणि प्रेझेंटेशन एकत्रित करून, स्मार्ट, वेगवान आणि अधिक विश्वासार्ह AI निर्णय घेण्यासाठी सतत डेटा प्रवाहांचे थेट संदर्भामध्ये रूपांतर करून ही समस्या सोडवते."
तांत्रिक आर्किटेक्चर: रिअल-टाइम एजंट संदर्भाचे तीन स्तर
कॉन्फ्लुएंट प्लॅटफॉर्ममध्ये तीन घटक समाविष्ट आहेत जे एकत्र काम करतात किंवा स्वतंत्रपणे स्वीकारले जातात.
pरिअल-टाइम संदर्भ इंजिन Confluent Cloud वर व्यवस्थापित डेटासाठी हा पायाभूत सुविधा स्तर आहे. जेव्हा घटना घडतात तेव्हा कनेक्टर काफ्का विषयांमध्ये डेटा खेचतात. फ्लिंक फंक्शन्स या प्रवाहांवर प्रक्रिया करतात "व्युत्पन्न डेटा संच" – ऐतिहासिक आणि रिअल-टाइम सिग्नल जोडणारी मूर्त दृश्ये. ग्राहक समर्थनासाठी, हे खाते इतिहास, वर्तमान सत्र वर्तन, आणि इन्व्हेंटरी स्थिती एकाच एकीकृत संदर्भ ऑब्जेक्टमध्ये संकलित करू शकते. इंजिन हे व्यवस्थापित MCP सर्व्हरद्वारे दाखवते.
फ्लो एजंट फ्लिंकवर मूळपणे चालणारे AI एजंट तयार करण्यासाठी कॉन्फ्लुएंट्स फ्रेमवर्क. हे एजंट डेटा प्रवाहाचे निरीक्षण करतात आणि अटींवर आधारित स्वयंचलित करतात – ते प्रॉम्प्टची वाट पाहत नाहीत. फ्रेमवर्कमध्ये सरलीकृत एजंट व्याख्या, अंगभूत मॉनिटरिंग क्षमता आणि अँथ्रोपिकचे मूळ क्लॉड एकत्रीकरण समाविष्ट आहे. हे कॉन्फ्लुएंट प्लॅटफॉर्मवर ओपन प्रिव्ह्यूमध्ये उपलब्ध आहे.
फ्लिंक एजंट हे Alibaba Cloud, LinkedIn आणि Ververica द्वारे विकसित केलेले मुक्त स्त्रोत फ्रेमवर्क आहे. हे इव्हेंट-चालित एजंट क्षमता थेट Apache Flink वर आणते, ज्यामुळे संस्थांना कॉन्फ्लुएंटच्या व्यवस्थापित प्लॅटफॉर्मवर वचनबद्ध न होता स्ट्रीमिंग एजंट तयार करण्याची परवानगी मिळते. ते ऑपरेशनल क्लिष्टता स्वतः हाताळतात परंतु विक्रेता लॉक-इन टाळतात.
एजंट-तयार डेटा पायाभूत सुविधांसाठी स्पर्धा तीव्र आहे
एआय ग्राहकांना वेगळ्या डेटा इन्फ्रास्ट्रक्चरची आवश्यकता आहे हे समजण्यात कॉन्फ्लुएंट एकटा नाही.
Confluent या स्पर्धकाची आदल्या दिवशी घोषणा झाली रेडपांडा याने त्याचा एजंटिक डेटा प्लॅन सादर केला – जो विशेषतः AI एजंट्ससाठी स्ट्रीमिंग, SQL आणि गव्हर्नन्स एकत्र करतो. रेडपांडाने ऑक्सलाचे वितरित SQL इंजिन ताब्यात घेतले आहे जेणेकरुन एजंटना गतिमान किंवा विश्रांतीच्या स्थितीत डेटाची क्वेरी करण्यासाठी मानक SQL एंडपॉइंट्स द्या. प्लॅटफॉर्म MCP-जागरूक कनेक्टिव्हिटी, एजंटच्या परस्परसंवादाचे संपूर्ण निरीक्षण आणि तुमच्याकडे काय आहे यावर जोर देते "प्रॉक्सी प्रवेश नियंत्रण" अचूक आणि अल्पायुषी कोडसह.
आर्किटेक्चरल शैली भिन्न आहेत. एजंट्ससाठी ऑप्टिमाइझ केलेले व्युत्पन्न डेटासेट तयार करण्यासाठी फ्लिंकसह प्रवाह प्रक्रियेवर भर दिला जातो. रेडपांडा विविध स्त्रोतांमध्ये एकसमान SQL क्वेरीवर जोर देते. दोघेही ओळखतात की एजंटांना शासन आणि निरीक्षणक्षमतेसह वास्तविक-वेळ संदर्भ आवश्यक आहे.
स्ट्रीमिंग स्पर्धकांच्या पलीकडे, डेटाब्रिक्स आणि स्नोफ्लेक हे दोन प्रमुख विश्लेषण प्लॅटफॉर्म आहेत जे स्ट्रीमिंग क्षमता जोडतात. त्याची ताकद ऑप्टिमायझेशन म्हणून स्ट्रीमिंगसह मोठ्या डेटा सेटमध्ये जटिल प्रश्नांमध्ये आहे. कॉन्फ्लुएंट आणि रेडपांडा दोन्ही हे प्रतिबिंबित करतात: गतीशील डेटावर तयार केलेल्या विश्लेषणात्मक आणि एआय वर्कलोडसह स्ट्रीमिंग महत्त्वाचे आहे.
प्रवाह संदर्भ व्यवहारात कसे कार्य करते
कॉन्फ्लुएंट सिस्टमच्या वापरकर्त्यांमध्ये वाहतूक विक्रेता आहे व्यस्त. कंपनी चार्टर बस कंपन्यांसाठी एक आधुनिक कार्यप्रणाली तयार करत आहे जी त्यांना रिअल टाइममध्ये कोट, ट्रिप, पेमेंट आणि ड्रायव्हर व्यवस्थापित करण्यात मदत करते.
"डेटा प्रवाहामुळे हे शक्य होते," बुसीचे सह-संस्थापक आणि सीईओ लुई बोकॉफ यांनी व्हेंचरबीटला सांगितले. "Confluent सह, आम्ही रात्रीच्या अपडेट्स किंवा बॅच रिपोर्ट्सची वाट पाहण्याऐवजी आमच्या सिस्टमच्या वेगवेगळ्या भागांमध्ये डेटा झटपट हलवतो. हे सर्व काही समक्रमित ठेवते आणि आम्हाला नवीन वैशिष्ट्ये जलद वितरीत करण्यात मदत करते.
बोकॉफने नमूद केले की फाऊंडेशन स्वतःच एजीआयला त्याच्या ग्राहकांसाठी मौल्यवान बनवेल.
"आमच्या बाबतीत, प्रत्येक कृती जसे की कोट पाठवणे किंवा ड्रायव्हर नियुक्त करणे ही एक घटना बनते जी प्रणालीमधून त्वरित प्रवाहित होते," बोकोव्ह म्हणाले. "माहितीचे हे लाइव्ह स्ट्रिमिंग हेच आहे जे आमच्या AI टूल्सना आधीपासून घडलेल्या गोष्टींचा सारांश देण्याऐवजी कमी विलंबासह रिअल टाइममध्ये प्रतिसाद देण्यास अनुमती देईल."
पण संदर्भ कसे समजून घ्यायचे हे आव्हान आहे. जेव्हा दर मिनिटाला हजारो लाइव्ह इव्हेंट सिस्टममधून प्रवाहित होतात, तेव्हा AI मॉडेल्सना भारावून न जाता अचूक आणि संबंधित डेटाची आवश्यकता असते.
"डेटा वास्तविक जगात काय घडत आहे यावर आधारित नसल्यास, AI सहजपणे चुकीचे गृहितक करू शकते आणि अशा प्रकारे चुकीच्या कृती करू शकते." बोकोव्ह म्हणाले. "प्रवाह प्रक्रिया सतत थेट डेटा सत्यापित करून आणि Busie मधील क्रियाकलापांशी जुळवून या समस्येचे निराकरण करते."
एंटरप्राइझ एआय धोरणासाठी याचा अर्थ काय आहे
एसस्ट्रीमिंग संदर्भ आर्किटेक्चर एआय एजंट्स एंटरप्राइझ डेटा कसे वापरतात यामधील मूलभूत बदलाचे संकेत देते.
एआय एजंटना सतत संदर्भ आवश्यक असतात जे ऐतिहासिक समज रीअल-टाइम जागरुकतेसह मिसळते – त्यांना काय झाले, काय घडत आहे आणि पुढे काय होऊ शकते हे सर्व एकाच वेळी माहित असणे आवश्यक आहे.
या दृष्टिकोनाचे मूल्यमापन करणाऱ्या संस्थांसाठी, डेटा स्टॅगनेशन एजंटला कमकुवत करते अशा वापराची प्रकरणे ओळखून प्रारंभ करा. फसवणूक शोधणे, विसंगती तपासणे, आणि ग्राहक हस्तक्षेप रीअल टाइममध्ये बॅच पाइपलाइनद्वारे अयशस्वी होतात ज्या प्रति तास किंवा दररोज अद्यतनित केल्या जातात. जर तुमच्या एजंटना घटना घडल्याच्या काही सेकंदात किंवा काही मिनिटांत कारवाई करायची असेल, तर प्रवाह संदर्भ आवश्यक बनतो, पर्यायी नाही.
"जेव्हा तुम्ही मूलभूत मॉडेल्सवर आधारित ॲप्लिकेशन्स तयार करता, कारण ते संभाव्य स्वरूपाचे असतात, तेव्हा तुम्ही डेटा आणि संदर्भ वापरता त्या दिशेने मॉडेल दाखवण्यासाठी ज्या दिशेने तुम्हाला काही प्रकारचा परिणाम मिळवायचा आहे," फाल्कनर म्हणाले. "आपण हे जितके चांगले करू शकता तितके अधिक विश्वासार्ह आणि चांगले परिणाम मिळेल."
