डीबीटी किंवा फाइव्हट्रान सारखी पारंपारिक ईटीएल साधने अहवालासाठी डेटा तयार करतात: स्टॅटिक चार्टसह संरचित विश्लेषणे आणि डॅशबोर्ड. एआय ऍप्लिकेशन्सना काहीतरी वेगळे हवे आहे: रिअल-टाइम मॉडेल अनुमानासाठी गोंधळलेला, अत्याधुनिक ऑपरेशनल डेटा तयार करणे.
उत्स्फूर्तपणे या भेदाला म्हणतात "तर्कशुद्धता" उलट "सुरक्षा अहवाल." डेटा तयार करणे ही एक वेगळी सिस्टीम मानण्याऐवजी, गोल्डन लाइन्स AI ऍप्लिकेशनच्या वर्कफ्लोमध्ये थेट नॉर्मलायझेशन समाकलित करते, साधारणपणे 14 दिवसांच्या मॅन्युअल इंजिनिअरिंगची आवश्यकता एका तासापेक्षा कमी करते, कंपनी म्हणते. उत्स्फूर्त "गोल्डन पाइपलाइन" डेटा तयार करण्याची गती वाढवण्याचा आणि डेटाची अचूकता सुनिश्चित करण्याचा दृष्टिकोन हा एक मार्ग आहे.
कंपनी प्रामुख्याने मध्य-मार्केट आणि एंटरप्राइझ क्लायंटसह नियमन केलेल्या उद्योगांमध्ये काम करते जेथे डेटा अचूकता आणि अनुपालन गैर-निगोशिएबल आहे. फिनटेक हे आरोग्यसेवा आणि कायदेशीर तंत्रज्ञानातील अतिरिक्त ग्राहकांसह एम्प्रोम्प्टूचे सर्वात वेगाने वाढणारे क्षेत्र आहे. हे प्लॅटफॉर्म HIPAA अनुरूप आणि SOC 2 प्रमाणित आहे.
"एंटरप्राइझ एआय मॉडेल स्तरावर खंडित होत नाही, जेव्हा गोंधळलेला डेटा वास्तविक वापरकर्त्यांना भेटतो तेव्हा तो खंडित होतो," Empromptu चे सीईओ आणि सह-संस्थापक शानिया लेव्हिन यांनी व्हेंचरबीटला एका खास मुलाखतीत सांगितले. "गोल्डन पाइपलाइन डेटा, तयारी आणि व्यवस्थापन थेट AI ॲप्लिकेशन वर्कफ्लोमध्ये आणते जेणेकरून टीम्स अशा सिस्टीम तयार करू शकतात ज्या प्रत्यक्षात उत्पादनात काम करतात."
सोन्याच्या पाइपलाइन कशा काम करतात?
गोल्डन पाइपलाइन एक ऑटोमेशन लेयर म्हणून काम करतात जो कच्चा ऑपरेशनल डेटा आणि एआय ऍप्लिकेशन वैशिष्ट्यांमध्ये बसतो.
प्रणाली पाच मूलभूत कार्ये संबोधित करते. प्रथम, ते फायली, डेटाबेस, API आणि असंरचित दस्तऐवजांसह कोणत्याही स्त्रोताकडील डेटा अंतर्भूत करते. ते नंतर त्या डेटावर स्वयंचलित स्कॅनिंग आणि साफसफाई, स्कीमा व्याख्यांसह रचना, टॅगिंग आणि संवर्धनाद्वारे अंतर भरण्यासाठी आणि रेकॉर्डचे वर्गीकरण करून प्रक्रिया करते. अंगभूत शासन आणि अनुपालन तपासण्यांमध्ये ऑडिट ट्रेल्स, प्रवेश नियंत्रणे आणि गोपनीयता अंमलबजावणी यांचा समावेश होतो.
तांत्रिक दृष्टीकोन निर्धारक प्रीप्रोसेसिंग आणि एआय-सहाय्यित सामान्यीकरण एकत्र करते. प्रत्येक परिवर्तनाचे कठोरपणे कोडिंग करण्याऐवजी, सिस्टम विसंगती ओळखते, गहाळ रचना शोधते आणि मॉडेल संदर्भावर आधारित वर्गीकरण तयार करते. प्रत्येक रूपांतरण रेकॉर्ड केले जाते आणि थेट AI मूल्यांकनाशी जोडलेले असते.
सोन्याच्या पाइपलाइन कशा काम करतात यासाठी फीडबॅक लूप मूलभूत आहे. जर डेटा सामान्यीकरण डाउनस्ट्रीम अचूकता कमी करते, तर सिस्टम उत्पादन वर्तनाच्या विरूद्ध सतत मूल्यमापन करून ते कॅप्चर करते. लेविनच्या म्हणण्यानुसार, डेटा तयार करणे आणि मॉडेल कार्यप्रदर्शन यांच्यातील फीडबॅक जोडणे गोल्डन पाइपलाइनला पारंपारिक ईटीएल टूल्सपासून वेगळे करते.
गोल्डन पाइपलाइन्स थेट एम्प्रोम्प्टू बिल्डरमध्ये तयार केल्या जातात आणि एआय ॲप्लिकेशन तयार करण्याचा भाग म्हणून आपोआप चालतात. वापरकर्त्याच्या दृष्टीकोनातून, संघ एआय वैशिष्ट्ये तयार करतात. हूड अंतर्गत, गोल्डन पाइपलाइन्स या वैशिष्ट्यांना फीड करणारा डेटा स्वच्छ, संघटित, नियंत्रित आणि उत्पादन वापरासाठी सज्ज असल्याची खात्री करते.
अखंडता विरुद्ध तर्कशुद्धता अहवाल देणे
डीबीटी, फाइव्हट्रान किंवा डेटाब्रिक्स सारख्या पारंपारिक ईटीएल टूल्सपेक्षा पूर्णपणे भिन्न समस्या सोडवण्यासाठी लेव्हिन गोल्डन पाइपलाइनला स्थान देतात.
"अहवालाची अखंडता सुनिश्चित करण्यासाठी Dbt आणि Fiftran मध्ये सुधारणा करण्यात आली आहे. गोल्डन पाइपलाइन अनुमान एकत्रीकरणासाठी ऑप्टिमाइझ केल्या आहेत," लेव्हिन म्हणाले. "पारंपारिक ETL साधने पूर्व-परिभाषित नियमांवर आधारित संरचित डेटा हलविण्यासाठी आणि रूपांतरित करण्यासाठी डिझाइन केलेली आहेत. ते स्कीमा स्थिरता, ज्ञात परिवर्तने आणि तुलनेने स्थिर तर्क गृहीत धरतात."
"आम्ही dbt किंवा Fivetran बदलत नाही आणि संस्था त्यांचा वापर वेअरहाऊस अखंडता आणि संरचित अहवालासाठी करत राहतील," लेव्हिन म्हणाले. "गोल्डन पाइपलाइन एआय ऍप्लिकेशन लेयरजवळ स्थित आहेत. हे शेवटच्या-माईलच्या समस्येचे निराकरण करते: तुम्ही अपूर्ण वास्तविक-जगातील ऑपरेशनल डेटा कसा घ्याल आणि मॅन्युअल रँगलिंगशिवाय AI वैशिष्ट्यांमध्ये तो वापरण्यायोग्य कसा बनवाल?"
AI-आधारित सामान्यीकरणासाठी विश्वासार्ह युक्तिवाद ऑडिटेबिलिटी आणि चालू मूल्यमापनावर अवलंबून आहे.
"ही पर्यवेक्षित जादू नाही. उत्पादन वर्तनाच्या तुलनेत हे सतत पुनरावलोकन, ऑडिट आणि मूल्यांकनाच्या अधीन आहे," लेव्हिन म्हणाले. "फ्लॅटनिंगमुळे डाउनस्ट्रीम अचूकता कमी होत असल्यास, मूल्यांकन लूप ते उचलते. डेटा तयार करणे आणि मॉडेल कार्यप्रदर्शन दरम्यान अभिप्राय जोडणे ही अशी गोष्ट आहे जी पारंपारिक ईटीएल पाइपलाइन प्रदान करत नाही."
ग्राहक उपयोजन: VOW उच्च-जोखीम इव्हेंट डेटावर प्रक्रिया करते
गोल्डन पाइपलाइन दृष्टिकोनाचा वास्तविक जगात आधीपासूनच प्रभाव पडत आहे.
इव्हेंट मॅनेजमेंट प्लॅटफॉर्म नवस सारख्या संस्थांसाठी उच्च प्रोफाइल कार्यक्रम हाताळते आनंदी अनेक क्रीडा संघटना व्यतिरिक्त. जेव्हा GLAAD एखाद्या इव्हेंटची योजना करते, तेव्हा प्रायोजक आमंत्रणे, तिकीट खरेदी, टेबल, आसन आणि बरेच काही यावर डेटा भरला जातो. प्रक्रिया जलद आहे आणि डेटा सुसंगतता नॉन-निगोशिएबल आहे.
"आमचा डेटा सरासरी प्लॅटफॉर्मपेक्षा अधिक जटिल आहे," VOW चे मुख्य कार्यकारी अधिकारी जेनिफर प्रेसमन यांनी VentureBeat ला सांगितले. "जेव्हा GLAAD एखाद्या इव्हेंटची योजना करते, तेव्हा प्रायोजक आमंत्रणे, तिकीट खरेदी, टेबल आणि आसनव्यवस्था आणि बरेच काही यावर डेटा भरला जातो. आणि हे सर्व खूप लवकर व्हायला हवे."
VOW regex स्क्रिप्ट्स स्वहस्ते लिहित होते. जेव्हा कंपनीने AI-व्युत्पन्न फ्लोअर प्लॅन वैशिष्ट्य तयार करण्याचा निर्णय घेतला जे जवळच्या रिअल-टाइममध्ये डेटा अपडेट करते आणि संपूर्ण प्लॅटफॉर्मवर माहिती प्रसारित करते, तेव्हा डेटाची अचूकता महत्त्वपूर्ण बनली. गोल्डन पाइपलाइनने फ्लोअर प्लॅनमधून डेटा काढण्याची प्रक्रिया स्वयंचलित केली जी अनेकदा गोंधळलेली, विसंगत आणि अव्यवस्थित होते, त्यानंतर संपूर्ण अभियांत्रिकी कार्यसंघामध्ये व्यापक मॅन्युअल प्रयत्नांशिवाय स्वरूपित आणि सबमिट करते.
VOW ने सुरुवातीला एआय-व्युत्पन्न केलेल्या फ्लोअर प्लॅनचे विश्लेषण करण्यासाठी एम्प्रोम्प्टूचा वापर केला ज्याचे निराकरण Google ची AI टीम किंवा Amazon ची AI टीम करू शकत नाही. कंपनी आता एम्प्रॉम्प्टूवर आपले प्लॅटफॉर्म पूर्णपणे पुनर्लेखन करत आहे.
एंटरप्राइझ AI उपयोजनांसाठी याचा अर्थ काय आहे
गोल्डन पाइपलाइन्स एका विशिष्ट उपयोजन शैलीला लक्ष्य करते: ज्या संस्था एंड-टू-एंड एआय ऍप्लिकेशन्स बनवतात जेथे डेटा तयार करणे सध्या प्रोटोटाइप आणि उत्पादनामध्ये मॅन्युअल अडथळे आहे.
ज्या संघांकडे आधीच परिपक्व डेटा अभियांत्रिकी संस्था आहेत त्यांच्या विशिष्ट डोमेनसाठी अनुकूल केलेल्या ETL प्रक्रियांसह किंवा एकात्मिक अनुप्रयोगांऐवजी स्वतंत्र AI मॉडेल तयार करणाऱ्या संस्थांसाठी हा दृष्टिकोन कमी अर्थपूर्ण आहे.
निर्णयाचा मुद्दा हा आहे की डेटा तयार करणे संस्थेतील AI च्या चपळतेला अडथळा आणते का. जर डेटा शास्त्रज्ञांनी प्रयोगासाठी डेटासेट तयार केले आणि नंतर अभियांत्रिकी कार्यसंघ उत्पादनासाठी सुरवातीपासून पुनर्बांधणी करतात, तर एकात्मिक डेटा तयार करणे हे अंतर दूर करते.
जर एआय डेव्हलपमेंट लाइफसायकलमध्ये अडचण इतरत्र स्थित असेल तर असे होणार नाही. ट्रेड-ऑफ म्हणजे प्लॅटफॉर्म इंटिग्रेशन विरुद्ध टूल लवचिकता. गोल्डन पाइपलाइन्स वापरणाऱ्या टीम एका एकात्मिक दृष्टिकोनासाठी वचनबद्ध आहेत जिथे डेटा तयार करणे, एआय ऍप्लिकेशन डेव्हलपमेंट आणि गव्हर्नन्स हे सर्व एकाच व्यासपीठावर आहेत. ज्या संस्था प्रत्येक फंक्शनसाठी सर्वोत्कृष्ट साधने बंडल करण्यास प्राधान्य देतात त्यांना हा दृष्टिकोन मर्यादित वाटेल. डेटा तयार करणे आणि ऍप्लिकेशन डेव्हलपमेंटमधील हँडऑफ दूर करणे हा फायदा आहे. ही कार्ये कशी अंमलात आणली जातात त्यामध्ये पर्यायी खर्च कमी केला जातो.
