एक शांत क्रांती एंटरप्राइझ डेटा आर्किटेक्चरला आकार देत आहे. पायथन डेव्हलपर काही महिन्यांपूर्वी संपूर्ण विशेष टीमची आवश्यकता असलेल्या साधनांचा वापर करून काही मिनिटांत उत्पादन पाइपलाइन तयार करतात.
उत्प्रेरक आहे डीएलटीएक मुक्त स्रोत पायथन लायब्ररी जी जटिल डेटा अभियांत्रिकी कार्ये स्वयंचलित करते. साधन 3 दशलक्ष मासिक डाउनलोड्सपर्यंत पोहोचले आहे आणि वित्त, आरोग्य सेवा आणि उत्पादनासह 5,000 हून अधिक कंपन्यांच्या नियमन केलेल्या उद्योगांसाठी डेटा वर्कफ्लोला समर्थन देते. ओपन सोर्स dlt लायब्ररीमागील बर्लिन-आधारित कंपनी dltHub ने Bessemer Venture Partners च्या नेतृत्वाखाली $8 दशलक्ष बियाणे निधी जमा केल्यामुळे तंत्रज्ञानाला आज आणखी एक मजबूत विश्वास मिळाला.
केवळ दत्तक संख्या हे महत्त्वाचे नाही. यापूर्वी पायाभूत सुविधा अभियंते, DevOps विशेषज्ञ आणि ऑन-कॉल कर्मचाऱ्यांची आवश्यकता असलेली कार्ये पूर्ण करण्यासाठी विकासक AI प्रोग्रामिंग सहाय्यकांसोबत टूलचा वापर अशा प्रकारे करतात.
कंपनी एक क्लाउड-होस्टेड प्लॅटफॉर्म तयार करत आहे जे तिच्या ओपन सोर्स लायब्ररीचा एकात्मिक, सर्वसमावेशक समाधानामध्ये विस्तार करते. प्लॅटफॉर्म विकासकांना पायाभूत सुविधांची चिंता न करता एकाच आदेशासह मार्ग, परिवर्तन आणि लॅपटॉप तैनात करण्यास अनुमती देईल. कोणत्याही Python डेव्हलपरसाठी प्रवेशयोग्य होण्यासाठी विशेष कार्यसंघ आवश्यक असलेल्या डेटा अभियांत्रिकीमधील मूलभूत बदलाचे हे प्रतिनिधित्व करते.
"कोणताही पायथन विकसक त्यांच्या व्यावसायिक वापरकर्त्यांना नवीन आणि विश्वासार्ह डेटाच्या जवळ आणण्यास सक्षम असावा," DltHub चे सह-संस्थापक आणि CEO Mateusz Krzykowski यांनी VentureBeat ला एका खास मुलाखतीत सांगितले. "Python स्वतः लिहिल्याप्रमाणे डेटा अभियांत्रिकी सुलभ, सहयोगी आणि घर्षणरहित बनवणे हे आमचे ध्येय आहे."
पायथनमधील SQL ते मूळ डेटा आर्किटेक्चरपर्यंत
कंपनीने जी समस्या सोडवायची आहे ती वास्तविक-जगातील निराशेतून उद्भवली.
विविध पिढ्या विकासक डेटासह कसे कार्य करतात यामधील मूलभूत संघर्षातून निराशेचा एक मुख्य संच येतो. Krzykowski ने नमूद केले की विकासकांची एक पिढी आहे जी SQL आणि रिलेशनल डेटाबेस तंत्रज्ञानावर लक्ष केंद्रित करतात. दुसरीकडे, विकसकांची एक पिढी आहे जी पायथन वापरून एआय एजंट तयार करत आहेत.
ही विभागणी सखोल तांत्रिक आव्हाने दर्शवते. SQL-आधारित डेटा अभियांत्रिकी संघांना विशिष्ट प्लॅटफॉर्ममध्ये लॉक करते आणि त्यासाठी व्यापक पायाभूत माहिती आवश्यक असते. AI मध्ये काम करणाऱ्या Python डेव्हलपर्सना लाइटवेट, प्लॅटफॉर्म-अज्ञेयवादी टूल्सची आवश्यकता असते जी नोटबुकमध्ये चालतात आणि LLM कोडिंग मदतनीस सोबत समाकलित होतात.
डीएलटी लायब्ररी साध्या पायथन कोडचा वापर करून जटिल डेटा अभियांत्रिकी कार्ये स्वयंचलित करून हे समीकरण बदलते.
"पायथनमध्ये फंक्शन काय आहे, यादी, स्त्रोत आणि संसाधने काय आहेत हे तुम्हाला माहिती असल्यास, तुम्ही हा अतिशय सोपा घोषणात्मक कोड लिहू शकता," क्रझिकोव्स्की यांनी स्पष्ट केले.
प्रमुख तांत्रिक प्रगती चार्ट उत्क्रांती आपोआप हाताळते. जेव्हा डेटा स्रोत त्यांच्या आउटपुटचे स्वरूप बदलतात तेव्हा पारंपारिक पाइपलाइन तुटतात.
"DLT कडे या समस्या आपोआप सोडवण्याची यंत्रणा आहे," dltHub चे संस्थापक अभियंता टेरी जिन यांनी VentureBeat ला सांगितले. "त्यामुळे तुम्ही डेटा पुश कराल, आणि तुम्ही म्हणू शकता की, गोष्टी अपस्ट्रीम बदलल्यास मला अलर्ट करा, किंवा फक्त ते पुरेसे लवचिक बनवा आणि त्या गोष्टी सामावून घेता येईल अशा प्रकारे डेटा आणि गंतव्यस्थान बदला."
रिअल-वर्ल्ड डेव्हलपर अनुभव
Hoyt Emerson, The Full Data Stack मधील डेटा सल्लागार आणि सामग्री निर्माते यांनी अलीकडेच अशा नोकरीसाठी साधन स्वीकारले आहे जिथे त्यांना सोडवण्याचे आव्हान होते.
त्याला Google Cloud Storage मधून Amazon S3 आणि डेटा वेअरहाऊससह अनेक गंतव्यस्थानांवर डेटा हलवायचा होता. पारंपारिक पद्धतींना प्रत्येक गंतव्यस्थानासाठी प्लॅटफॉर्म-विशिष्ट ज्ञान आवश्यक असते. इमर्सनने व्हेंचरबीटला सांगितले की, एका ठिकाणाहून दुस-या ठिकाणी डेटा पाठवण्याचा एक हलका, प्लॅटफॉर्म-अज्ञेयवादी मार्ग त्याला खरोखर हवा होता.
"तेव्हाच DLT ने मला माझा अहाहा क्षण दिला," इमर्सन म्हणाले.
त्यांनी लायब्ररी दस्तऐवज वापरून संपूर्ण पाइपलाइन पाच मिनिटांत पूर्ण केली ज्यामुळे ते लवकर उठणे आणि चालणे सोपे झाले आणि कोणतीही समस्या न येता.
AI प्रोग्रामिंग सहाय्यकांसह एकत्रित केल्यावर प्रक्रिया आणखी शक्तिशाली बनते. इमर्सनने नमूद केले की त्याने एजंटिक AI कोडिंग तत्त्वे वापरली आणि लक्षात आले की तो त्याच्या डेटाच्या कामाला गती देण्यासाठी आणि स्वयंचलित करण्यासाठी LLM ला संदर्भ म्हणून dlt दस्तऐवज पाठवू शकतो. संदर्भ म्हणून दस्तऐवजीकरण वापरून, इमर्सन भविष्यातील प्रकल्पांसाठी पुन्हा वापरता येण्याजोगे टेम्पलेट्स तयार करण्यात सक्षम झाला आणि उपयोजन कॉन्फिगरेशन तयार करण्यासाठी AI सहाय्यकांचा वापर केला.
"हे खूप LLM अनुकूल आहे कारण ते चांगले दस्तऐवजीकरण केलेले आहे," तो म्हणाला.
एलएलएम-नेटिव्ह डेव्हलपमेंट स्टाइल
सु-दस्तऐवजीकरण केलेली साधने आणि AI सहाय्य यांचे हे संयोजन विकासाच्या नवीन पॅटर्नचे प्रतिनिधित्व करते. कंपनीने विशेषत: ज्याला ते म्हणतात त्यासाठी अनुकूल केले आहे "YOLO मोड" विकास जेथे विकसक एआय कोडिंग असिस्टंटमध्ये त्रुटी संदेश कॉपी आणि पेस्ट करतात.
"यापैकी बरेच लोक अक्षरशः त्रुटी संदेश कॉपी आणि पेस्ट करत आहेत आणि कोड संपादकांद्वारे पकडण्याचा प्रयत्न करीत आहेत." क्रझिकोव्स्की म्हणाले. विशेषत: तिच्या AI-सहाय्यित कार्यप्रवाहासाठी समस्यांचे निराकरण करण्यासाठी कंपनी हे वर्तन पुरेसे गांभीर्याने घेते.
परिणाम या दृष्टिकोनाच्या प्रभावीतेबद्दल बोलतात. केवळ सप्टेंबरमध्ये, वापरकर्त्यांनी लायब्ररी वापरून 50,000 हून अधिक कस्टम कनेक्टर तयार केले. हे जानेवारीपासून 20 पट वाढ दर्शवते, जे मुख्यत्वे एलएलएम-समर्थित विकासाद्वारे चालविले जाते.
एंटरप्राइझ डोमेनचे तांत्रिक आर्किटेक्चर
DLT डिझाईन तत्वज्ञान प्लॅटफॉर्म लॉक-इन वर इंटरऑपरेबिलिटीला प्राधान्य देते. टूल AWS Lambda पासून विद्यमान एंटरप्राइझ डेटासेटपर्यंत कुठेही तैनात केले जाऊ शकते. हे स्नोफ्लेक सारख्या प्लॅटफॉर्मसह समाकलित होते आणि कोणत्याही गंतव्यस्थानासह कार्य करण्यासाठी लवचिकता राखते.
"आमचा नेहमी विश्वास आहे की डीएलटी तंत्रज्ञान इंटरऑपरेबल आणि प्रमाणित असावे," क्रझिकोव्स्की यांनी स्पष्ट केले. "ते कुठेही पोस्ट केले जाऊ शकते. हे लॅम्बडावर असू शकते. हे सहसा इतर लोकांच्या डेटा इन्फ्रास्ट्रक्चरचा भाग बनते."
मुख्य तांत्रिक क्षमतांमध्ये हे समाविष्ट आहे:
-
स्वयंचलित चार्ट विकास: पाइपलाइनमध्ये व्यत्यय न आणता किंवा मॅन्युअल हस्तक्षेपाची आवश्यकता न ठेवता कच्चा डेटा बदल हाताळते.
-
वाढीव लोडिंग: केवळ नवीन किंवा बदललेले रेकॉर्ड हाताळते, संगणकीय ओव्हरहेड आणि खर्च कमी करते.
-
प्लॅटफॉर्म अज्ञेय प्रकाशन: बदलाशिवाय क्लाउड प्रदाते आणि ऑन-प्रिमाइसेस इन्फ्रास्ट्रक्चरवर कार्य करते.
-
LLM-ऑप्टिमाइझ्ड डॉक्युमेंटेशन: हे विशेषतः AI सहाय्यक वापरासाठी डिझाइन केलेले आहे, त्वरित समस्या सोडवणे आणि मॉडेल तयार करणे सक्षम करते.
प्लॅटफॉर्म सध्या वापरकर्त्याने तयार केलेल्या कनेक्टरद्वारे चालविलेल्या निरंतर विस्तारासह 4,600 REST API डेटा स्रोतांना समर्थन देते.
कोड-प्रथम दृष्टिकोनासह ETL दिग्गजांशी स्पर्धा करा
डेटा अभियांत्रिकी लँडस्केप वेगळ्या शिबिरांमध्ये विभागले गेले आहे, प्रत्येक एंटरप्राइझच्या वेगवेगळ्या गरजा आणि विकासक प्राधान्ये पुरवतो.
पारंपारिक ईटीएल प्लॅटफॉर्म उदा माहिती टॅलेंडचे GUI-आधारित साधनांसह एंटरप्राइझ वातावरणावर प्रभुत्व आहे ज्यांना विशेष प्रशिक्षण आवश्यक आहे परंतु सर्वसमावेशक प्रशासन वैशिष्ट्ये प्रदान करतात.
नवीन SaaS प्लॅटफॉर्म सारखे विवित्रन प्री-बिल्ट कनेक्टर्स आणि व्यवस्थापित पायाभूत सुविधांवर लक्ष केंद्रित करून याने ट्रॅक्शन मिळवले, ज्यामुळे ऑपरेशनल खर्च कमी झाला परंतु विक्रेता अवलंबित्व निर्माण झाले.
ओपन सोर्स dlt लायब्ररी कोड-फर्स्ट नेटिव्ह LLM इन्फ्रास्ट्रक्चर म्हणून पूर्णपणे भिन्न स्थान व्यापते ज्याचा विकासक विस्तार आणि सानुकूलित करू शकतात.
"आमचा नेहमी विश्वास आहे की डीएलटी तंत्रज्ञान इंटरऑपरेबल आणि प्रमाणित असावे," क्रझिकोव्स्की यांनी स्पष्ट केले. "ते कुठेही पोस्ट केले जाऊ शकते. हे लॅम्बडावर असू शकते. हे सहसा इतर लोकांच्या डेटा इन्फ्रास्ट्रक्चरचा भाग बनते."
ही परिस्थिती उद्योग ज्याला कंपोजेबल डेटा स्टॅक म्हणतो त्याकडे व्यापक बदल प्रतिबिंबित करते जेथे संस्था मोनोलिथिक प्लॅटफॉर्मच्या ऐवजी इंटरऑपरेबल घटकांपासून पायाभूत सुविधा तयार करतात.
सर्वात महत्त्वाचे म्हणजे, AI सह छेदनबिंदू नवीन मार्केट डायनॅमिक्स तयार करते.
"एलएलएम डेटा अभियंत्यांची जागा घेत नाहीत;" क्रझिकोव्स्की म्हणाले. "पण ते आमूलाग्रपणे त्यांची पोहोच आणि उत्पादकता वाढवत आहेत."
एंटरप्राइझ डेटा लीडर्ससाठी याचा अर्थ काय आहे
AI-चालित ऑपरेशन्सची पायनियरिंग करू पाहणाऱ्या संस्थांसाठी, हा विकास डेटा अभियांत्रिकी धोरणांचा मूलभूतपणे पुनर्विचार करण्याची संधी दर्शवतो.
तात्काळ रणनीतिक फायदे स्पष्ट आहेत. विशेष डेटा अभियांत्रिकी कार्यसंघ नियुक्त करण्याऐवजी संस्था विद्यमान पायथन विकसकांचा फायदा घेऊ शकतात. ज्या संस्था या ट्रेंडचे भांडवल करण्यासाठी त्यांची साधने आणि पद्धती स्वीकारतात त्यांना पारंपारिक, संघ-केंद्रित डेटा अभियांत्रिकीवर अवलंबून असलेल्या प्रतिस्पर्ध्यांपेक्षा किंमत आणि चपळतेमध्ये महत्त्वपूर्ण फायदे मिळू शकतात.
लोकशाही डेटा आर्किटेक्चरकडे हे शिफ्ट होईल की नाही हा प्रश्न नाही. त्याचा फायदा घेण्यासाठी कंपन्या किती लवकर जुळवून घेतात.
