Snowflake चे नवीन Ontology Stack Builder नॉलेज-ग्राफ-आधारित डेटा मॉडेल तयार करण्याचा वेळ महिन्यांवरून सुमारे एक तासावर आणतो, ज्यामुळे Large Language Models (LLMs) ला क्वेरीज अचूकपणे उत्तर देण्यासाठी आवश्यक असलेला बिझनेस कॉन्टेक्स्ट (व्यावसायिक संदर्भ) मिळतो.

ज्या उद्योगांनी त्यांच्या डेटा वेअरहाऊसवर जनरेटिव्ह AI (Generative AI) वापरण्याचा प्रयत्न केला आहे, त्यांना एका मोठ्या अडचणीचा सामना करावा लागत आहे: मॉडेल्सना फक्त रो (rows) आणि कॉलमची नावे दिसतात, पण निर्णय घेण्यास कारणीभूत असणाऱ्या वास्तविक जगातील घटक—जसे की लोक, टीम्स, कॉन्ट्रॅक्ट्स—ते दिसत नाहीत. सिमेंटिक ब्रिज (semantic bridge) शिवाय, AI-द्वारे तयार केलेले SQL गोंधळात टाकणारे ठरते, लॉजिकमधील चुका वाढतात आणि कॉन्फिडन्स स्कोअर (confidence scores) दिशाभूल करणारे ठरतात.

रॉ टेबल्स (Raw tables) मुळे LLMs का गोंधळतात

एक सामान्य डेटा वेअरहाऊस माहिती 'फॉरेन कीज' (foreign keys) द्वारे जोडलेल्या 'नॉर्मलाईज्ड टेबल्स'मध्ये साठवते. कॉलमची नावे अनेकदा संक्षिप्त रूपे किंवा अंतर्गत तांत्रिक शब्द (jargon) असतात. वेब टेक्स्टवर प्रशिक्षित केलेले LLM कोणत्याही व्यावसायिक संदर्भात “EMP_ID” किंवा “CNTRCT_AMT” पाहिलेले नसते, त्यामुळे जेव्हा त्याला “Which sales reps closed the biggest deals last quarter?” असा प्रश्न विचारला जातो, तेव्हा त्याला प्रथम प्रत्येक फील्डचा अर्थ लावणे आणि नंतर अनेक टेबल्समध्ये योग्य 'जॉइन' (join) तयार करणे आवश्यक असते. याचा परिणाम म्हणजे केवळ अंदाज लावणे हा होतो, ज्यामुळे उत्तरे दिसायला योग्य वाटू शकतात पण ती चुकीची असू शकतात.

ब्लूप्रिंट म्हणून ऑन्टोलॉजी (Ontology)

ऑन्टोलॉजी क्लासेस (उदा. Person, Organization, Contract) आणि त्यांच्यामधील संबंध (उदा. Person works for Organization) परिभाषित करते. त्या ऑन्टोलॉजीपासून तयार केलेला नॉलेज ग्राफ ठोस तथ्ये साठवतो—जसे की John Doe works for Acme Inc., a contract belongs to Acme Inc.—आणि AI ला केवळ रॉ कॉलम आयडेंटिफायर्सऐवजी अशा उच्च-स्तरीय संकल्पनांच्या आधारे विचार करण्यास मदत करतो.

Snowflake चा पाच-स्तरीय दृष्टिकोन

वेअरहाऊसचे ऑन्टोलॉजी-चालित प्रणालीमध्ये रूपांतर करण्यासाठी Snowflake चे आर्किटेक्चर पाच स्तर वापरते:

  • Layer 1: Physical storage – दोन मुख्य टेबल्स नोड्स (entities) आणि एडजेस (relationships) साठवतात. नवीन एंटिटी प्रकार जोडण्यासाठी स्कीमा (schema) बदलण्याची गरज नसते, फक्त नवीन रो (rows) जोडणे पुरेसे असते.
  • Layer 2: Metadata configuration – संबंध हार्ड-कोडेड SQL ऐवजी कॉन्फिगरेशन फाइल्सद्वारे घोषित केले जातात, ज्यामुळे मॉडेल पोर्टेबल होते आणि त्याची देखभाल करणे सोपे जाते.
  • Layer 3: Automatic compiler – कंपायलर मेटाडेटा वाचतो आणि युनिफाइड व्ह्यूज (unified views) तयार करतो जे प्रत्यक्ष टेबल्सना अमूर्त संकल्पनांशी (abstract concepts) त्वरित जोडतात.
  • Layer 4: Purpose-built models – एक मॉडेल जलद तथ्य शोधण्यासाठी (fact retrieval) ऑप्टिमाइझ करते, दुसरे ग्राफमधील अमूर्त तर्कासाठी (abstract reasoning) मदत करते आणि तिसरे गव्हर्नन्स आणि परवानग्या (permissions) लागू करते.
  • Layer 5: Cortex agent layer – एक इंटेलिजेंट राउटिंग इंजिन वापरकर्त्याच्या हेतूवर (intent) आधारित कोणत्या मूळ मॉडेलला क्वेरी करायची हे ठरवते.

हे स्तर हाताने तयार करण्यासाठी सहसा डेटा-मॉडेलिंग, स्कीमा विश्लेषण आणि कस्टम कोड यांसारख्या प्रक्रियांमुळे अनेक महिने लागतात. Snowflake चे Ontology Stack Builder यातील बहुतेक कामे स्वयंचलित (automate) करते.

Stack Builder कसे काम करते

हे टूल एक इंटरअॅक्टिव्ह वर्कफ्लो सुरू करते जो अस्तित्वात असलेल्या Snowflake स्कीमाचे स्कॅनिंग करतो, संभाव्य एंटिटी प्रकार आणि संबंध सुचवतो आणि विश्लेषकांना (analysts) व्हिज्युअल एडिटरमध्ये ते कन्फर्म किंवा ॲडजस्ट करण्याची परवानगी देतो. एकदा ऑन्टोलॉजी परिभाषित झाली की, Builder नोड/एज टेबल्स तयार करते, मेटाडेटा भरते आणि युनिफाइड व्ह्यूज तयार करण्यासाठी ऑटोमॅटिक कंपायलर चालवते. मध्यम आकाराच्या वेअरहाऊससाठी संपूर्ण पाइपलाइन एक तासाच्या आत तयार केली जाऊ शकते.

उद्योगांना काय फायदा होतो

  • Faster AI integration – टीम्स रॉ SQL जनरेशनशी संघर्ष करण्याऐवजी LLMs ला सिमेंटिकली समृद्ध (semantically rich) लेयरमध्ये जोडतात.
  • Reduced maintenance – नवीन डेटा सोर्स जोडण्यासाठी फक्त नोड/एज टेबल्समध्ये नवीन रो इन्सर्ट करणे आवश्यक असते; मेटाडेटा आणि कंपाईल केलेले व्ह्यूज आपोआप अपडेट होतात.
  • Governance baked in – समर्पित परवानग्या मॉडेल (permissions model) कोणती एंटिटी कोण पाहू शकतो हे सुनिश्चित करते, जे नियमन केलेल्या (regulated) उद्योगांसाठी एक अत्यंत महत्त्वाचे वैशिष्ट्य आहे.

निष्कर्ष (Takeaway)

महिन्यांचा, मॅन्युअली केल्या जाणाऱ्या मॉडेलिंगचा प्रयत्न एका तासाच्या वर्कफ्लोमध्ये रूपांतरित करून, Snowflake उद्योगांना LLMs ला आवश्यक असलेला बिझनेस सिमेंटिक्स (business semantics) प्रदान करण्याचा एक व्यावहारिक मार्ग देते. याचा परिणाम म्हणजे असा AI जो वापरकर्त्याचा हेतू (intent) समजून घेतो.