आधुनिक AI युगाच्या सुरुवातीला वेक्टर डेटाबेस एक अपरिहार्य तांत्रिक पाया म्हणून उदयास आले.
तथापि, गेल्या वर्षभरात काय बदलले आहे ते म्हणजे वेक्टर, जे LLM वापरतात त्या डेटाचे संख्यात्मक प्रतिनिधित्व आहेत, सर्व प्रकारच्या विविध डेटाबेसमध्ये वाढत्या प्रमाणात डेटाचा एक प्रकार बनला आहे. आता, Amazon Web Services (AWS) Amazon S3 Vectors च्या सामान्य उपलब्धतेसह व्हेक्टर सर्वव्यापकतेमध्ये पुढची झेप घेत आहे.
Amazon S3 ही AWS ची क्लाउड ऑब्जेक्ट स्टोरेज सेवा आहे जी कोणत्याही आणि सर्व प्रकारचा डेटा संचयित करण्यासाठी सर्व आकारांच्या संस्थांद्वारे मोठ्या प्रमाणावर वापरली जाते. अनेकदा, डेटा वेअरहाऊस आणि लेक डिप्लॉयमेंटचा मुख्य घटक म्हणून S3 देखील वापरला जातो. Amazon S3 Vectors आता नेटिव्ह वेक्टर स्टोरेज आणि समानता शोधण्याची क्षमता थेट S3 ऑब्जेक्ट स्टोरेजमध्ये जोडते. वेगळ्या वेक्टर डेटाबेसची आवश्यकता न ठेवता, संस्था S3 मध्ये वेक्टर एम्बेडिंग संग्रहित करू शकतात आणि त्यांना शब्दार्थ शोध, वाढीव पुनर्प्राप्ती जनरेशन (RAG) ऍप्लिकेशन्स आणि AI एजंट वर्कफ्लोसाठी डेटा विशेष इन्फ्रास्ट्रक्चरमध्ये न हलवता क्वेरी करू शकतात.
एका निर्देशांकात 50 दशलक्ष वाहकांच्या प्रारंभिक क्षमतेसह या सेवेचे जुलैमध्ये प्रथम पूर्वावलोकन करण्यात आले. GA च्या रिलीझसह, AWS ने नाटकीयरित्या एका निर्देशांकात 2 अब्ज बसेस आणि प्रति S3 बकेट 20 ट्रिलियन बसेस पर्यंत वाढवले आहेत.
AWS च्या मते, पूर्वावलोकन लाँच झाल्यापासून चार महिन्यांत ग्राहकांनी 250,000 हून अधिक वेक्टर इंडेक्स तयार केले आहेत आणि 40 अब्जाहून अधिक वेक्टर्सचे सेवन केले आहे. GA लाँच झाल्यामुळे स्केलमध्ये झालेली वाढ आता संस्थांना संपूर्ण वेक्टर डेटासेटला पायाभूत सुविधांमध्ये खंडित करण्याऐवजी सिंगल कॅटलॉगमध्ये एकत्रित करण्याची परवानगी देते. GA लाँच केल्याने एंटरप्राइझ डेटा लँडस्केपमध्ये देखील आमूलाग्र बदल होतो आणि वेक्टरसाठी नवीन उत्पादन-तयार दृष्टीकोन प्रदान करते ज्यामध्ये उद्देशाने तयार केलेल्या वेक्टर डेटाबेससाठी बाजारपेठेत व्यत्यय आणण्याची क्षमता आहे.
स्पर्धात्मक आगीत इंधन जोडणे, AWS दावे S3 वेक्टर संस्थांना असे करण्यास मदत करू शकते "स्पेशलाइज्ड वेक्टर डेटाबेस सोल्यूशन्सच्या तुलनेत व्हेक्टर संचयित आणि क्वेरी करण्याचा एकूण खर्च 90% पर्यंत कमी करा."
AWS S3 व्हेक्टर डेटाबेसला वेक्टर डेटाबेसला स्पर्धक नव्हे तर पूरक म्हणून स्थान देते
Amazon S3 Vectors जरी वेक्टर क्षमतांचा एक शक्तिशाली संच प्रदान करत असले तरी, ते समर्पित वेक्टर डेटाबेसची आवश्यकता बदलते की नाही याचे उत्तर अगदी सूक्ष्म आहे – आणि तुम्ही कोणाला विचारता यावर अवलंबून आहे.
खर्चाचे मोठे दावे आणि लक्षणीय सुधारणा असूनही, AWS S3 व्हेक्टरला स्पेशलाइज्ड वेक्टर डेटाबेसेससाठी थेट बदलण्याऐवजी पूरक स्टोरेज लेयर म्हणून ठेवते.
"ग्राहक S3 व्हेक्टर किंवा वेक्टर डेटाबेस वापरायचे की नाही हे निवडतात त्यांच्या अनुप्रयोगास विलंबतेसाठी काय आवश्यक आहे यावर आधारित," AWS मधील तंत्रज्ञानाचे उपाध्यक्ष माई-लॅन थॉमसेन बुकोविक यांनी VentureBeat ला सांगितले.
त्याबद्दल विचार करण्याचा एक मार्ग म्हणजे संस्थेच्या अर्जाच्या गरजांवर आधारित “कार्यप्रदर्शनाचे वर्गीकरण” करणे, बुकोविचने नमूद केले. एखाद्या ॲप्लिकेशनला अल्ट्रा-फास्ट लो-लेटन्सी रिस्पॉन्स टाइम्सची आवश्यकता असल्यास, Amazon OpenSearch सारखा व्हेक्टर डेटाबेस हा एक चांगला पर्याय आहे, तिने नमूद केले.
"परंतु अनेक प्रकारच्या ऑपरेशन्ससाठी, जसे की तुमचा विद्यमान डेटा समजून घेण्याचा एक अर्थपूर्ण स्तर तयार करणे किंवा एजंटची मेमरी खूप मोठ्या संदर्भासह विस्तृत करणे, S3 व्हेक्टर योग्य आहेत."
S3 आणि त्याचे कमी किमतीचे क्लाउड ऑब्जेक्ट स्टोरेज डेटाबेस प्रकार पुनर्स्थित करेल की नाही हा प्रश्न डेटा व्यावसायिकांसाठी नवीन नाही. बुकोविकने आज कंपन्या डेटा लेक कसे वापरतात याचे एक साधर्म्य रेखाटले.
"मला अपेक्षा आहे की आम्ही डेटा लेकमधील टॅब्युलर डेटा प्रमाणेच व्हेक्टर स्टोरेज विकसित होताना दिसेल, कारण ग्राहक विशिष्ट प्रकारच्या वर्कलोड्ससाठी Amazon Aurora सारख्या व्यवहारात्मक डेटाबेसचा वापर करत आहेत आणि समांतर वापरात S3 अनुप्रयोग स्टोरेज आणि विश्लेषणासाठी, कार्यप्रदर्शन प्रोफाइल कार्य करते आणि त्यांना S3 च्या मजबूती, स्केलेबिलिटी, उपलब्धता आणि डेटा आर्थिक वाढीची देय वैशिष्ट्ये आवश्यक आहेत."
ग्राहकांची मागणी आणि आवश्यकता Amazon S3 Vector सेवांना कशी आकार देतात
पूर्वावलोकनाच्या पहिल्या काही महिन्यांदरम्यान, AWS ने व्हेक्टर डेटा वेअरहाऊसमधून वास्तविक एंटरप्राइझ ग्राहकांना काय हवे आहे आणि आवश्यक आहे हे शिकले.
"आम्हाला पूर्वावलोकनातून खूप सकारात्मक अभिप्राय मिळाला आणि ग्राहकांनी आम्हाला सांगितले की त्यांना क्षमता हव्या आहेत, परंतु खूप जास्त प्रमाणात आणि कमी विलंबाने, त्यामुळे ते S3 चा प्राथमिक वेक्टर स्टोअर म्हणून वापर करू शकतील, जे व्हेक्टर स्टोरेजला वेगाने स्केलिंग करू शकतील," बुकोविक म्हणाले.
सुधारित स्केलिंग व्यतिरिक्त, वारंवार येणाऱ्या क्वेरींसाठी क्वेरी प्रतिसाद वेळ सुमारे 100 मिलीसेकंद किंवा त्यापेक्षा कमी करण्यात आला आहे, दुर्मिळ क्वेरी एका सेकंदापेक्षा कमी वेळेत पूर्ण होतात. AWS ने प्रति क्वेरी कमाल शोध परिणाम 30 वरून 100 पर्यंत वाढवले आहेत आणि लेखन कार्यप्रदर्शन आता एकल वेक्टर अद्यतनांसाठी प्रति सेकंद 1,000 PUT व्यवहारांना समर्थन देते.
ट्रॅक्शन मिळवणाऱ्या केसेस वापरा ज्यामध्ये हायब्रिड शोध, एजंट मेमरी वाढवणे आणि विद्यमान डेटावर सिमेंटिक लेयर तयार करणे समाविष्ट आहे.
एक पूर्वावलोकन ग्राहक, मार्च नेटवर्क, मोठ्या प्रमाणात व्हिडिओ आणि प्रतिमा बुद्धिमत्तेसाठी S3 वेक्टर वापरत आहे, बुकोविचने नमूद केले.
"वेक्टर स्टोरेज आणि फाईल लेटन्सीचे अर्थशास्त्र म्हणजे मार्च नेटवर्क्स आर्थिकदृष्ट्या कोट्यवधी वेक्टर एम्बेडिंग संचयित करू शकतात," ती म्हणाली. "Amazon Bedrock सह आमचे अंगभूत एकत्रीकरण म्हणजे वेक्टर स्टोरेज जनरेटिव्ह AI आणि व्हिडिओ वर्कफ्लोमध्ये समाकलित करणे सोपे आहे."
वेक्टर डेटाबेस विक्रेते कार्यक्षमतेतील अंतर हायलाइट करतात
विशेष वेक्टर डेटाबेस प्रदाते त्यांच्या ऑफरिंग आणि AWS च्या स्टोरेज-केंद्रित दृष्टीकोनामधील महत्त्वपूर्ण कार्यप्रदर्शन अंतर हायलाइट करतात.
या उद्देशासाठी डिझाइन केलेले वेक्टर डेटाबेस प्रदाते, यासह पाइनकोनWeaviate, Qdrant आणि Chroma, इतरांसह, प्रगत अनुक्रमणिका अल्गोरिदम, रीअल-टाइम अपडेट्स आणि विलंब-संवेदनशील वर्कलोडसाठी उद्देश-निर्मित क्वेरी ऑप्टिमायझेशन वापरून उत्पादन उपयोजन तयार केले आहे.
उदाहरणार्थ, Pinecone Amazon S3 Vectors ला त्याच्या वेक्टर डेटाबेससाठी स्पर्धात्मक आव्हान म्हणून पाहत नाही.
"आम्ही प्रथम Amazon S3 Vectors लाँच करण्यापूर्वी, आम्हाला प्रकल्पाबद्दल आधीच माहिती देण्यात आली होती आणि आम्ही खर्चाची कामगिरी मोठ्या प्रमाणावर थेट स्पर्धात्मक मानली नाही;" जेफ चू, पिनकोन येथील उत्पादनाचे व्हीपी यांनी व्हेंचरबीटला सांगितले. "हे आता विशेषतः आमच्या समर्पित रीड नोड्ससह खरे आहे, जेथे, उदाहरणार्थ, आमच्या प्रमुख ई-कॉमर्स मार्केटप्लेस ग्राहकांपैकी एकाने अलीकडेच 1.4B व्हेक्टर वापरून शिफारस वापर केस मोजले आणि 26ms p50 आणि 60ms p99 वर 5.7k QPS प्राप्त केले."
वेक्टर डेटाबेसच्या भविष्याबद्दल विश्लेषकांची विभागणी केली जाते
हे प्रक्षेपण व्हेक्टर शोध ही एक स्वतंत्र उत्पादन श्रेणी राहिली आहे की नाही या वादाला पुनरुज्जीवित करते की मुख्य क्लाउड प्लॅटफॉर्म स्टोरेज एकत्रीकरणाद्वारे कमोडिटीज करत आहेत.
"हे काही काळासाठी स्पष्ट झाले आहे की वेक्टर हे एक वैशिष्ट्य आहे, उत्पादन नाही." द डकबिल ग्रुपचे मुख्य क्लाउड इकॉनॉमिस्ट कोरी क्विन यांनी एका लेखात लिहिले संदेश एक्स (पूर्वीचे ट्विटर) वर VentureBeat च्या चौकशीला प्रतिसाद म्हणून. "आता सर्व काही बोलले जाते; बाकी लवकरच येत आहे."
नक्षत्र संशोधन विश्लेषक होल्गर म्युलर देखील ॲमेझॉन S3 व्हेक्टरला स्टँडअलोन वेक्टर डेटाबेस विक्रेत्यांसाठी स्पर्धात्मक धोका म्हणून पाहतात.
"ते पुढे आणि सर्वोत्कृष्ट असल्याची खात्री करणे हे आता नवीन आणि येणाऱ्या विक्रेत्यांवर अवलंबून आहे," म्युलर यांनी व्हेंचरबीटला सांगितले. "एंटरप्राइझ सॉफ्टवेअरमध्ये पंख नेहमी जिंकतात."
म्युलरने ट्रॅफिक दूर करण्यासाठी AWS च्या दृष्टिकोनाचा फायदा देखील हायलाइट केला. त्यांनी नमूद केले की वेक्टर म्हणजे एलएलएम विद्यार्थ्यांना संस्थेचा डेटा समजण्याचा मार्ग. व्हेक्टर कसे तयार करायचे हे खरे आव्हान आहे, ज्यामध्ये डेटा कसा आणि किती वेळा हस्तांतरित केला जातो. S3 मध्ये व्हेक्टर सपोर्ट जोडून, जेथे मोठ्या प्रमाणात एंटरप्राइझ डेटा आधीपासूनच संग्रहित केला जातो, डेटा चळवळीचे आव्हान सोडवले जाऊ शकते.
"CxO ला हा दृष्टिकोन आवडतो, कारण व्हेक्टर तयार करण्यासाठी डेटा ट्रान्सफरची आवश्यकता नसते;" म्युलर म्हणाले.
एड अँडरसन, गार्टनरचे प्रतिष्ठित उपाध्यक्ष, नवीन सेवांसह AWS ची वाढ पाहतात, परंतु ते व्हेक्टर डेटाबेसच्या शेवटी शब्दलेखन करेल अशी त्यांची अपेक्षा नाही. त्यांनी नमूद केले की वस्तू साठवण्यासाठी S3 वापरणाऱ्या संस्था त्यांचा S3 चा वापर वाढवू शकतात आणि समर्पित विक्रेता डेटाबेसची गरज संपुष्टात आणू शकतात. हे S3 क्लायंटसाठी मूल्य वाढवेल कारण ते S3 स्टोरेजवर अधिक अवलंबून आहेत.
AWS साठी या वाढीच्या संभाव्यतेसह, व्हेक्टर डेटाबेस अजूनही आवश्यक आहेत, किमान आतासाठी.
"ॲमेझॉन S3 व्हेक्टर ग्राहकांसाठी मौल्यवान असतील, परंतु ते वेक्टर डेटाबेसची आवश्यकता दूर करणार नाहीत, विशेषत: जेव्हा वापराच्या प्रकरणांमध्ये कमी विलंब आणि उच्च-कार्यक्षमता डेटा सेवा आवश्यक असतात," अँडरसन यांनी व्हेंचरबीटला सांगितले.
सतत कार्यप्रदर्शन सुधारणेकडे निर्देश करताना AWS स्वतः हा पूरक दृष्टिकोन घेत असल्याचे दिसते.
"आम्ही फक्त S3 वेक्टर्सच्या आकार आणि कार्यप्रदर्शनाच्या दृष्टीने सुरुवात करत आहोत," बुकोविक म्हणाले. "ज्याप्रमाणे आम्ही व्हिडिओ फाइल्सपासून ते Parquet फाइल्सपर्यंत सर्व गोष्टींसाठी S3 मध्ये डेटा वाचण्यासाठी आणि लिहिण्यासाठी कार्यप्रदर्शन सुधारले आहे, आम्ही व्हेक्टरसाठी तेच करू."
व्यवसायांसाठी याचा अर्थ काय आहे
वेक्टर डेटाबेस स्टँडअलोन उत्पादने म्हणून टिकून राहतील की नाही या वादाच्या पलीकडे, एंटरप्राइझ अभियंते उत्पादन एआय वर्कलोडसाठी वेक्टर स्टोरेज कसे तैनात करायचे याबद्दल त्वरित निर्णय घेतात.
कार्यप्रदर्शन स्तर फ्रेमवर्क वेक्टर स्टोरेज पर्यायांचे मूल्यांकन करणाऱ्या एंटरप्राइझ अभियंत्यांसाठी एक स्पष्ट निर्णय मार्ग प्रदान करते.
S3 वेक्टर्स 100ms लेटन्सीसह वर्कलोड्सवर चालतात: मोठ्या दस्तऐवज संग्रहांवर अर्थपूर्ण शोध, प्रॉक्सी मेमरी सिस्टम, व्हेक्टर एम्बेडिंगवरील बॅच विश्लेषणे आणि पार्श्वभूमी RAG संदर्भ पुनर्प्राप्ती. ज्या संस्थांनी आधीच AWS पायाभूत सुविधांमध्ये गुंतवणूक केली आहे त्यांच्यासाठी अर्थशास्त्र व्यापकपणे आकर्षक बनले आहे.
विलंब-संवेदनशील वापर प्रकरणांसाठी विशेष वेक्टर डेटाबेस आवश्यक राहतात: रीअल-टाइम शिफारस इंजिन, उच्च-थ्रूपुट शोध हजारो समवर्ती क्वेरी, परस्परसंवादी अनुप्रयोग जेथे वापरकर्ते परिणामांसाठी समकालिकपणे प्रतीक्षा करतात आणि कार्यभार जेथे कामगिरीची स्थिरता खर्च होते.
दोन्ही प्रकारचे वर्कलोड चालवणाऱ्या संस्थांसाठी, हायब्रीड दृष्टीकोन संस्था आधीच डेटा लेक कसे वापरतात हे प्रतिबिंबित करते, मोठ्या प्रमाणात स्टोरेज आणि कमी वेळ-संवेदनशील ऑपरेशन्ससाठी S3 व्हेक्टर वापरताना कामगिरी-गंभीर प्रश्नांसाठी विशेष वेक्टर डेटाबेस तैनात करतात.
विद्यमान पायाभूत सुविधा पुनर्स्थित कराव्यात की नाही हा महत्त्वाचा प्रश्न नसून कार्यभाराच्या आवश्यकतांवर आधारित कार्यप्रदर्शन स्तरांवर वेक्टर संचयन कसे डिझाइन करावे हा आहे.
