Snowflake का नया Ontology Stack Builder नॉलेज-ग्राफ-आधारित डेटा मॉडल बनाने के समय को महीनों से घटाकर लगभग एक घंटा कर देता है, जिससे लार्ज लैंग्वेज मॉडल्स (LLMs) को सटीक रूप से प्रश्नों का उत्तर देने के लिए आवश्यक बिजनेस कॉन्टेक्स्ट (व्यावसायिक संदर्भ) मिल जाता है।

वे उद्यम (Enterprises) जिन्होंने अपने डेटा वेयरहाउस पर जनरेटिव AI का उपयोग करने की कोशिश की है, वे बार-बार एक बाधा का सामना करते हैं: मॉडल केवल पंक्तियों (rows) और कॉलम के नाम देखते हैं, न कि वास्तविक दुनिया की संस्थाओं (entities)—जैसे लोग, टीमें, अनुबंध (contracts)—जो निर्णयों को संचालित करती हैं। एक सिमेंटिक ब्रिज (semantic bridge) के बिना, AI-जनरेटेड SQL शोर भरा हो जाता है, लॉजिक संबंधी त्रुटियां आ जाती हैं, और कॉन्फिडेंस स्कोर भ्रामक हो जाते हैं।

रॉ टेबल्स (raw tables) LLMs को क्यों भ्रमित करती हैं

एक सामान्य डेटा वेयरहाउस जानकारी को फॉरेन कीज़ (foreign keys) द्वारा जुड़े हुए नॉर्मलाइज्ड टेबल्स में स्टोर करता है। कॉलम के नाम अक्सर संक्षिप्त रूप (abbreviations) या आंतरिक शब्दावली (jargon) होते हैं। वेब टेक्स्ट पर प्रशिक्षित एक LLM ने बिजनेस कॉन्टेक्स्ट में कभी “EMP_ID” या “CNTRCT_AMT” नहीं देखा होता है, इसलिए जब उससे पूछा जाता है “पिछले तिमाही में किन सेल्स प्रतिनिधियों ने सबसे बड़ी डील्स क्लोज कीं?”, तो उसे पहले हर फील्ड का अर्थ समझना पड़ता है, और फिर कई टेबल्स के बीच एक सही जॉइन (join) बनाना पड़ता है। इसका परिणाम अनुमानों की एक ऐसी श्रृंखला होती है जो विश्वसनीय दिखने वाले लेकिन गलत उत्तर दे सकती है।

ब्लूप्रिंट के रूप में ऑन्टोलॉजी (Ontology)

एक ऑन्टोलॉजी क्लासेस (जैसे, Person, Organization, Contract) और उनके बीच मौजूद संबंधों (जैसे, Person works for Organization) को परिभाषित करती है। उस ऑन्टोलॉजी से बना नॉलेज ग्राफ ठोस तथ्यों को स्टोर करता है—जैसे John Doe Acme Inc. के लिए काम करता है, एक अनुबंध Acme Inc. का है—और AI को रॉ कॉलम आइडेंटिफायर्स के बजाय उन उच्च-स्तरीय अवधारणाओं (concepts) के आधार पर तर्क करने की अनुमति देता है।

Snowflake का पांच-स्तरीय दृष्टिकोण (five-layer approach)

वेयरहाउस को ऑन्टोलॉजी-संचालित सिस्टम में बदलने के लिए Snowflake का आर्किटेक्चर पांच परतों (layers) को जोड़ता है:

  • Layer 1: Physical storage – दो मुख्य टेबल्स नोड्स (entities) और एडजेस (relationships) को होल्ड करती हैं। एक नया एंटिटी टाइप जोड़ने के लिए स्कीमा परिवर्तन की आवश्यकता नहीं होती, केवल नई पंक्तियाँ (rows) जोड़नी होती हैं।
  • Layer 2: Metadata configuration – संबंधों को हार्ड-कोडेड SQL के बजाय कॉन्फ़िगरेशन फाइलों के माध्यम से घोषित किया जाता है, जिससे मॉडल पोर्टेबल और बनाए रखने में आसान हो जाता है।
  • Layer 3: Automatic compiler – कंपाइलर मेटाडेटा को पढ़ता है और यूनिफाइड व्यूज (unified views) बनाता है जो वास्तविक टेबल्स को तुरंत (on the fly) अमूर्त अवधारणाओं (abstract concepts) से मैप करते हैं।
  • Layer 4: Purpose-built models – एक मॉडल तेज़ तथ्य पुनर्प्राप्ति (fact retrieval) को ऑप्टिमाइज़ करता है, दूसरा ग्राफ में अमूर्त तर्क (abstract reasoning) का समर्थन करता है, और तीसरा गवर्नेंस और अनुमतियों (permissions) को लागू करता है।
  • Layer 5: Cortex agent layer – एक इंटेलिजेंट रूटिंग इंजन उपयोगकर्ता के इरादे (intent) के आधार पर यह तय करता है कि किस अंतर्निहित मॉडल से क्वेरी करनी है।

इन परतों को हाथ से बनाना आमतौर पर महीनों तक चलता है, जिसमें डेटा-मॉडलिंग, स्कीमा विश्लेषण और कस्टम कोड शामिल होता है। Snowflake का Ontology Stack Builder उस काम के अधिकांश हिस्से को ऑटोमेट कर देता है।

Stack Builder कैसे काम करता है

यह टूल एक इंटरैक्टिव वर्कफ़्लो शुरू करता है जो मौजूदा Snowflake स्कीमा को स्कैन करता है, संभावित एंटिटी प्रकारों और संबंधों का सुझाव देता है, और विश्लेषकों को एक विजुअल एडिटर में उन्हें कन्फर्म या एडजस्ट करने की अनुमति देता है। एक बार ऑन्टोलॉजी परिभाषित हो जाने के बाद, Builder नोड/एज टेबल्स बनाता है, मेटाडेटा भरता है, और यूनिफाइड व्यूज बनाने के लिए ऑटोमैटिक कंपाइलर को चलाता है। एक मध्यम आकार के वेयरहाउस के लिए पूरी पाइपलाइन को एक घंटे से भी कम समय में तैयार किया जा सकता है।

उद्यमों को क्या लाभ मिलता है

  • तेज़ AI इंटीग्रेशन – टीमें रॉ SQL जनरेशन से जूझने के बजाय LLMs को एक सिमेंटिक रूप से समृद्ध लेयर से जोड़ती हैं।
  • कम रखरखाव (Reduced maintenance) – एक नया डेटा सोर्स जोड़ने के लिए केवल नोड/एज टेबल्स में पंक्तियाँ (rows) डालनी पड़ती हैं; मेटाडेटा और कंपाइल्ड व्यूज अपने आप अपडेट हो जाते हैं।
  • इन-बिल्ट गवर्नेंस – समर्पित परमिशन मॉडल यह लागू करता है कि कौन सी संस्थाएं (entities) कौन देख सकता है, जो विनियमित उद्योगों (regulated industries) के लिए एक महत्वपूर्ण विशेषता है।

निष्कर्ष (Takeaway)

महीनों लंबे, मैन्युअल रूप से गहन मॉडलिंग प्रयास को एक घंटे के वर्कफ़्लो में बदलकर, Snowflake उद्यमों को LLMs को आवश्यक बिजनेस सिमेंटिक्स देने का एक व्यावहारिक रास्ता प्रदान करता है। इसका परिणाम एक ऐसा AI है जो इरादे (intent) को समझता है।