डेटा अभियंत्यांनी पूर्वीपेक्षा अधिक वेगाने काम केले पाहिजे. AI-शक्तीवर चालणारी साधने पाइपलाइन ऑप्टिमायझेशन स्वयंचलित करण्याचे, डेटा एकत्रीकरणाला गती देण्याचे आणि अनेक दशकांपासून व्यवसायाचे वैशिष्ट्य असलेले पुनरावृत्ती होणारे कंटाळवाणे काम हाताळण्याचे वचन देतात.
तथापि, MIT टेक्नॉलॉजी रिव्ह्यू इनसाइट्सने स्नोफ्लेकच्या भागीदारीत केलेल्या 400 वरिष्ठ तंत्रज्ञान अधिकाऱ्यांच्या नवीन सर्वेक्षणानुसार, 77% लोक म्हणतात की त्यांच्या डेटा अभियांत्रिकी कार्यसंघांचा वर्कलोड अधिक जड झाला आहे, हलका नाही.
गुन्हेगार? तीच AI टूल्स जी मदत करण्यासाठी आहेत, समस्यांचा एक नवीन संच निर्माण करत आहेत.
83% संस्थांनी आधीच AI-आधारित डेटा अभियांत्रिकी साधने तैनात केली आहेत, तर 45% ने अहवाल दिला की एकत्रीकरणाची जटिलता हे एक महत्त्वपूर्ण आव्हान आहे. आणखी 38% लोक साधनांचा प्रसार आणि विखंडन करतात.
"अनेक डेटा अभियंते डेटा संकलित करण्यासाठी एक साधन, डेटावर प्रक्रिया करण्यासाठी एक साधन आणि त्या डेटाचे विश्लेषण करण्यासाठी दुसरे साधन वापरतात." स्नोफ्लेकमधील डेटा इंजिनीअरिंगचे उपाध्यक्ष ख्रिस चाइल्ड यांनी व्हेंचरबीटला सांगितले. "संपूर्ण डेटा लाइफसायकलमध्ये खूप जास्त टूल्स वापरल्याने गुंतागुंत, जोखीम आणि वाढीव इन्फ्रास्ट्रक्चर मॅनेजमेंट वाढते, जे डेटा इंजिनीअर्सना परवडत नाही."
परिणाम उत्पादकता विरोधाभास आहे. एआय टूल्स वैयक्तिक कार्ये जलद करतात, परंतु स्वतंत्र साधनांचा प्रसार संपूर्णपणे सिस्टम व्यवस्थापित करणे अधिक जटिल बनवते. मोठ्या प्रमाणावर एआय तैनात करण्यासाठी स्पर्धा करणाऱ्या संस्थांसाठी, हे विखंडन एक गंभीर अडथळे दर्शवते.
एसक्यूएल क्वेरीपासून एलएलएम पाइपलाइनपर्यंत: दैनंदिन कार्यप्रवाह बदलणे
सर्वेक्षणात असे आढळून आले की डेटा अभियंत्यांनी दोन वर्षांपूर्वी AI प्रकल्पांवर त्यांचा सरासरी 19% वेळ घालवला होता. आज ही संख्या 37% वर पोहोचली आहे. सहभागींना ते दोन वर्षांत 61% पर्यंत पोहोचण्याची अपेक्षा आहे.
पण प्रत्यक्षात हे परिवर्तन व्यवहारात कसे दिसते?
मुलाने एक ठोस उदाहरण दिले. पूर्वी, जर एखाद्या कंपनीच्या CFO ला अंदाज अंदाज प्रदान करणे आवश्यक असेल, तर ते अशी प्रणाली तयार करण्यात मदत करण्यासाठी डेटा अभियांत्रिकी कार्यसंघाकडे वळतील ज्याने विक्रेत्याच्या करारासारख्या असंरचित डेटाला स्टॅटिक डॅशबोर्डमधील महसूल क्रमांकांसारख्या संरचित डेटाशी जोडले असेल. विविध डेटा प्रकारांच्या या दोन जगांना जोडणे खूप वेळखाऊ आणि खर्चिक होते, कराराच्या प्रमुख अटी जाणून घेण्यासाठी वकिलांना प्रत्येक दस्तऐवज व्यक्तिचलितपणे वाचणे आणि ती माहिती डेटाबेसमध्ये अपलोड करणे आवश्यक होते.
आज, कार्यप्रवाह स्वतःच पूर्णपणे भिन्न दिसत आहे.
"डेटा अभियंते स्नोफ्लेक ओपनफ्लो सारख्या साधनाचा वापर करून, LLM ला डेटा उपलब्ध करून, स्नोफ्लेक सारख्या एका प्लॅटफॉर्मवर संरचित आर्थिक क्रमांकांसह, बॉक्स सारख्या स्त्रोतामध्ये अखंडितपणे पीडीएफ करार आणू शकतात." मुलाने सांगितले. "अंगमेहनतीसाठी जे तास लागायचे ते आता जवळजवळ तात्कालिक झाले आहे."
परिवर्तन म्हणजे केवळ वेग नाही. त्याचा संबंध कामाच्या स्वरूपाशीच असतो.
दोन वर्षांपूर्वी, सामान्य डेटा अभियंता दिवसामध्ये क्लस्टर ट्यून करणे, SQL परिवर्तने लिहिणे आणि मानवी विश्लेषकांसाठी डेटा तयार असल्याची खात्री करणे समाविष्ट होते. आज, तोच अभियंता कदाचित LLM ला समर्थन देणारे फनेल डीबग करत आहे आणि AI मॉडेल वर्कफ्लोसाठी गव्हर्नन्स नियम सेट करत आहे.
"डेटा अभियंत्यांची मुख्य कौशल्ये फक्त प्रोग्रामिंग नाहीत," मुलाने सांगितले. "हे डेटा फाउंडेशनशी सुसंवाद साधते आणि विश्वास, संदर्भ आणि प्रशासन सुनिश्चित करते जेणेकरून AI आउटपुट विश्वसनीय असतील."
टूल स्टॅक समस्या: जेव्हा मदत अडथळा बनते
इथेच कंपन्या डबघाईला येतात.
AI-चालित डेटा टूल्सचे वचन आकर्षक आहे: स्वयंचलित पाइपलाइन ऑप्टिमायझेशन, डीबगिंगला गती देणे आणि एकत्रीकरण सुलभ करणे. परंतु व्यवहारात, बऱ्याच संस्था शोधत आहेत की त्यांनी जोडलेले प्रत्येक नवीन AI साधन स्वतःच्या एकत्रीकरण समस्या निर्माण करते.
सर्वेक्षण डेटा हे सूचित करते. AI ने आउटपुटचे प्रमाण (74% नोंदवलेले वाढ) आणि गुणवत्तेत (77% सुधारणा नोंदवल्या) सुधारणा घडवून आणल्या आहेत, परंतु हे नफा स्वतंत्र साधनांचे व्यवस्थापन करण्याच्या ऑपरेशनल खर्चाने भरून काढले आहेत.
"दुसरी समस्या आपण पाहतो ती म्हणजे AI टूल्स अनेकदा ऑफ-द-शेल्फ MBA सह एकाधिक डेटा स्रोत एकत्र करून प्रोटोटाइप तयार करणे सोपे करतात." मुलाने सांगितले. "परंतु जेव्हा तुम्हाला ते उत्पादनात घ्यायचे असेल, तेव्हा तुमच्या लक्षात येते की तुमच्याकडे प्रवेश करण्यायोग्य डेटा नाही आणि तुम्हाला कोणते व्यवस्थापन आवश्यक आहे हे तुम्हाला माहीत नाही, त्यामुळे तुमच्या वापरकर्त्यांसाठी टूल रोल आउट करणे कठीण होते."
तांत्रिक निर्णय घेणाऱ्यांसाठी सध्या त्यांच्या डेटा इंजिनीअरिंग स्टॅकचे मूल्यमापन करण्यासाठी, चाइल्डने स्पष्ट फ्रेमवर्क प्रदान केले आहे.
"कार्यसंघांनी उत्पादनक्षमतेला गती देणाऱ्या एआय साधनांना प्राधान्य दिले पाहिजे, त्याच वेळी पायाभूत सुविधा आणि ऑपरेशनल जटिलता दूर केली पाहिजे." तो म्हणाला. "हे अभियंत्यांना त्यांचे लक्ष डेटा अभियांत्रिकीच्या “एकसंध कार्य” व्यवस्थापित करण्यापासून आणि व्यवसाय परिणामांच्या जवळ हलविण्यास अनुमती देते."
एजंट एआय डिप्लॉयमेंट विंडो: ते योग्य करण्यासाठी १२ महिने
सर्वेक्षणात असे दिसून आले आहे की 54% संस्था पुढील 12 महिन्यांत एजंटिक एआय तैनात करण्याची योजना आखत आहेत. एजंट AI स्वायत्त एजंट्सचा संदर्भ देते जे मानवी हस्तक्षेपाशिवाय निर्णय घेऊ शकतात आणि कृती करू शकतात. आणखी 20% लोकांनी आधीच असे करणे सुरू केले आहे.
डेटा अभियांत्रिकी संघांसाठी, एजंटिक AI एक मोठी संधी आणि एक मोठा धोका या दोन्हींचे प्रतिनिधित्व करते. योग्यरित्या केले असल्यास, स्वायत्त एजंट पुनरावृत्ती होणारी कार्ये हाताळू शकतात जसे की चार्ट ड्रिफ्ट शोधणे किंवा रूपांतरण त्रुटी सुधारणे. त्यांनी चूक केल्यास, ते डेटा संच दूषित करू शकते किंवा संवेदनशील माहिती उघड करू शकते.
"एजंटिक एआय स्केलवर तैनात करण्यासाठी डेटा अभियंत्यांनी पाइपलाइन ऑप्टिमायझेशन आणि मॉनिटरिंगला प्राधान्य दिले पाहिजे." मुलाने सांगितले. "हा एक कमी-जोखीम, उच्च-परताव्याचा प्रारंभ बिंदू आहे जो एजंट AI ला सुरक्षितपणे पुनरावृत्ती होणारी कार्ये जसे की लेआउट ड्रिफ्ट शोधणे किंवा योग्यरित्या पूर्ण केल्यावर रूपांतरण त्रुटी सुधारण्यास अनुमती देतो."
पण मुलांवर जोर होता की आधी रेलिंग लावले पाहिजे.
"संस्थांनी एजंटांना उत्पादन डेटामध्ये प्रवेश करण्याची परवानगी देण्यापूर्वी, दोन सुरक्षा उपाय आवश्यक आहेत: मजबूत प्रशासन आणि वंश आणि सक्रिय मानवी देखरेख." तो म्हणाला. "एजंटना दाणेदार परवानग्या मिळाल्या पाहिजेत आणि त्यांनी स्थापित शासनाच्या चौकटीत काम केले पाहिजे."
या पायऱ्या वगळण्याचे धोके खरे आहेत. "योग्य विशेषता किंवा प्रवेश व्यवस्थापनाशिवाय, एजंट अनवधानाने डेटा संच दूषित करू शकतो किंवा संवेदनशील माहिती उघड करू शकतो," मुलाला चेतावणी द्या.
कंपन्यांच्या AI यशाची किंमत असलेल्या धारणा अंतर
सर्वेक्षणातील कदाचित सर्वात आश्चर्यकारक निष्कर्ष म्हणजे वरिष्ठ व्यवस्थापन स्तरावरील डिस्कनेक्ट.
80% मुख्य डेटा अधिकारी आणि 82% मुख्य AI अधिकारी डेटा अभियंत्यांना व्यवसायाच्या यशाचा अविभाज्य घटक मानतात, तर केवळ 55% आयटी व्यवस्थापक हे मत सामायिक करतात.
"हे दर्शविते की प्रगत डेटा लीडर्स डेटा आर्किटेक्चरचे धोरणात्मक मूल्य ओळखतात, परंतु बाकीच्या गटांना हे समजण्यास मदत करण्यासाठी आम्हाला आणखी काही करणे आवश्यक आहे की एका एकीकृत, स्केलेबल डेटा संस्थेमध्ये गुंतवणूक करणे आणि त्या गुंतवणुकीचे नेतृत्व करण्यात मदत करणारे लोक ही केवळ IT ऑपरेशन्स नव्हे तर AI यशामध्ये गुंतवणूक आहे." मुलाने सांगितले.
आकलनातील या अंतराचे खरे परिणाम आहेत.
सर्वेक्षण केलेल्या संस्थांमधील डेटा अभियंत्यांचा AI वापर प्रकरण व्यवहार्यता (53% प्रतिसादकर्त्यांनी) आणि व्यवसाय युनिट्सच्या AI मॉडेल्सचा वापर (56%) बद्दलच्या निर्णयांवर आधीच प्रभाव आहे. परंतु जर IT व्यवस्थापक डेटा अभियंत्यांना धोरणात्मक भागीदार म्हणून ओळखत नसतील, तर ते या संघांना साधनांचा प्रसार आणि समाकलनाच्या समस्यांना प्रतिबंध करण्यासाठी आवश्यक असलेली संसाधने, अधिकार किंवा टेबलवर बसण्याची शक्यता नाही.
अंतर दृष्टीशी संबंधित असल्याचे दिसते. मुख्य डेटा अधिकारी आणि मुख्य AI अधिकारी दररोज डेटा अभियांत्रिकी संघांसह थेट कार्य करतात आणि ते काय व्यवस्थापित करतात याची जटिलता समजून घेतात. आयटी व्यवस्थापक, जे पायाभूत सुविधा आणि ऑपरेशन्सवर अधिक व्यापकपणे लक्ष केंद्रित करतात, त्यांना डेटा अभियंत्यांनी वाढत्या प्रमाणात केले जाणारे धोरणात्मक आर्किटेक्चर कार्य पाहू शकत नाही.
हे डिस्कनेक्ट डेटा अभियांत्रिकी संघांसमोरील आव्हानांचे विविध अधिकारी कसे मूल्यांकन करतात हे देखील दर्शविते. डेटा अभियंत्यांचा वर्कलोड अधिकाधिक जड होत आहे (93% वि. 75%) हे IT व्यवस्थापकांपेक्षा वरिष्ठ AI प्रशासक मान्य करतात. एकूण AI धोरणावर डेटा अभियंत्यांच्या प्रभावाविषयी देखील ते जाणून घेण्याची शक्यता आहे.
डेटा अभियंत्यांना आता काय शिकण्याची आवश्यकता आहे
सर्वेक्षणात डेटा अभियंत्यांना विकसित करण्यासाठी आवश्यक असलेली तीन महत्त्वाची कौशल्ये ओळखण्यात आली: AI कौशल्य, व्यावसायिक कौशल्य आणि संप्रेषण क्षमता.
20 लोकांचा डेटा अभियांत्रिकी संघ असलेल्या संस्थेसाठी, हे एक व्यावहारिक आव्हान आहे. तुम्ही ही कौशल्ये नियुक्त करत आहात, विद्यमान अभियंत्यांना प्रशिक्षण देत आहात किंवा संघाची पुनर्रचना करत आहात? मुलाच्या उत्तराने असे सुचवले की व्यवसाय समजून घेण्यास प्राधान्य दिले पाहिजे.
"डेटा अभियंत्यांना त्यांच्या व्यवसायाच्या अंतिम वापरकर्त्यांसाठी काय महत्त्वाचे आहे हे समजून घेणे आणि त्या प्रश्नांची उत्तरे सुलभ आणि जलद कशी बनवायची याला प्राधान्य देणे हे आता सर्वात महत्त्वाचे कौशल्य आहे." तो म्हणाला.
संस्थांसाठी धडा: तांत्रिक प्रमाणपत्रे जोडण्यापेक्षा व्यवसाय संदर्भ अधिक महत्त्वाचा आहे. चाइल्डने जोर दिला की “का” डेटा अभियंते काही कार्ये करतात याचा व्यावसायिक प्रभाव समजून घेतल्याने त्यांना ग्राहकांच्या गरजांचा अधिक चांगल्या प्रकारे अंदाज लावता येईल, तत्काळ अधिक व्यवसाय मूल्य प्रदान करेल.
"डेटा अभियांत्रिकी कार्यसंघ असलेल्या संस्था ज्या या व्यवसायाच्या समजून घेण्यास प्राधान्य देतात त्या स्पर्धेपासून स्वतःला वेगळे करतील."
AI मध्ये नेतृत्व करू पाहणाऱ्या संस्थांसाठी, डेटा अभियांत्रिकी उत्पादकता संकटावर उपाय अधिक AI साधने नाहीत. ज्या संस्था जलद गतीने पुढे जातील त्या आता त्यांचे टूल सेट प्रमाणित करत आहेत, एजंट उत्पादनात जाण्यापूर्वी प्रशासनाच्या पायाभूत सुविधा तैनात करत आहेत आणि डेटा अभियंत्यांना सपोर्ट स्टाफ ते स्ट्रॅटेजिक इंजिनियर बनवत आहेत.
खिडकी अरुंद आहे. 12 महिन्यांत AI तैनात करण्याच्या 54% नियोजनासह, आणि डेटा अभियंत्यांनी त्यांचा 61% वेळ दोन वर्षांत AI प्रकल्पांवर खर्च करण्याची अपेक्षा केली आहे, ज्या संघांनी साधनांचा प्रसार आणि प्रशासनातील तफावत दूर केली नाही त्यांना त्यांचे AI उपक्रम शाश्वत प्रायोगिक मोडमध्ये अडकलेले आढळतील.
