Snowflake નું નવું Ontology Stack Builder નોલેજ-ગ્રાફ-આધારિત ડેટા મોડેલ બનાવવાનો સમય મહિનાઓમાંથી ઘટાડીને લગભગ એક કલાક કરી દે છે, જે લાર્જ લેંગ્વેજ મોડલ્સ (LLMs) ને પ્રશ્નોના સચોટ જવાબો આપવા માટે જરૂરી બિઝનેસ સંદર્ભ (business context) પૂરો પાડે છે.

જે એન્ટરપ્રાઇઝ્સે તેમના ડેટા વેરહાઉસ પર જનરેટિવ AI નો ઉપયોગ કરવાનો પ્રયાસ કર્યો છે તેઓ વારંવાર એક અવરોધનો સામનો કરે છે: મોડલ્સ માત્ર રો (rows) અને કોલમ (column) ના નામ જુએ છે, વાસ્તવિક દુનિયાની એન્ટિટીઝ (entities)—જેમ કે લોકો, ટીમો, કોન્ટ્રાક્ટ્સ—નહીં જે નિર્ણયો લેવામાં મદદ કરે છે. સેમેન્ટિક બ્રિજ (semantic bridge) વગર, AI દ્વારા જનરેટ થયેલ SQL અસ્પષ્ટ બની જાય છે, લોજિકલ ભૂલો થાય છે, અને કોન્ફિડન્સ સ્કોર ભ્રામક બની જાય છે.

કાચા ટેબલ્સ (raw tables) LLMs ને કેમ મૂંઝવણમાં મૂકે છે

એક સામાન્ય ડેટા વેરહાઉસ માહિતીને ફોરેન કી (foreign keys) દ્વારા જોડાયેલા નોર્મલાઈઝ્ડ ટેબલ્સમાં સંગ્રહિત કરે છે. કોલમના નામ ઘણીવાર ટૂંકાક્ષરો અથવા આંતરિક શબ્દાવલી (jargon) હોય છે. વેબ ટેક્સ્ટ પર તાલીમ પામેલા LLM એ બિઝનેસ સંદર્ભમાં “EMP_ID” અથવા “CNTRCT_AMT” ક્યારેય જોયા હોતા નથી, તેથી જ્યારે તેને “ગયા ક્વાર્ટરમાં કયા સેલ્સ પ્રતિનિધિઓએ સૌથી મોટી ડીલ કરી હતી?” તેવો પ્રશ્ન પૂછવામાં આવે છે, ત્યારે તેણે પહેલા દરેક ફિલ્ડનો અર્થ સમજવો પડે છે અને પછી ઘણા ટેબલ્સ વચ્ચે સાચું જોઇન (join) બનાવવું પડે છે. પરિણામે અનુમાનનો એક પ્રવાહ સર્જાય છે જે જોવામાં સાચું લાગે તેવું પણ ખોટું જવાબ આપી શકે છે.

બ્લુપ્રિન્ટ તરીકે ઓન્ટોલોજી (Ontology)

ઓન્ટોલોજી ક્લાસ (દા.ત., Person, Organization, Contract) અને તેમની વચ્ચેના સંબંધો (Person works for Organization) વ્યાખ્યાયિત કરે છે. તે ઓન્ટોલોજીમાંથી બનાવેલ નોલેજ ગ્રાફ ચોક્કસ તથ્યો સંગ્રહિત કરે છે—જેમ કે John Doe works for Acme Inc., a contract belongs to Acme Inc.—અને AI ને કાચા કોલમ આઈડેન્ટિફાયરને બદલે તે ઉચ્ચ-સ્તરના ખ્યાલોના આધારે તર્ક કરવા દે છે.

Snowflake નો પાંચ-સ્તરીય અભિગમ

વેરહાઉસને ઓન્ટોલોજી-સંચાલિત સિસ્ટમમાં બદલવા માટે Snowflake નું આર્કિટેક્ચર પાંચ સ્તરો ધરાવે છે:

  • Layer 1: Physical storage – બે મુખ્ય ટેબલ્સ નોડ્સ (entities) અને એજિસ (relationships) ધરાવે છે. નવી એન્ટિટી પ્રકાર ઉમેરવા માટે સ્કીમા ફેરફારની જરૂર નથી, માત્ર નવી રો (rows) ઉમેરવી પડે છે.
  • Layer 2: Metadata configuration – સંબંધોને હાર્ડ-કોડેડ SQL ને બદલે કોન્ફિગરેશન ફાઇલો દ્વારા જાહેર કરવામાં આવે છે, જે મોડેલને પોર્ટેબલ અને જાળવવામાં સરળ બનાવે છે.
  • Layer 3: Automatic compiler – કમ્પાઈલર મેટાડેટા વાંચે છે અને યુનિફાઇડ વ્યૂઝ (unified views) બનાવે છે જે ચોક્કસ ટેબલ્સને તરત જ અમૂર્ત ખ્યાલો સાથે મેપ કરે છે.
  • Layer 4: Purpose-built models – એક મોડેલ ઝડપી તથ્ય પુનઃપ્રાપ્તિ (fact retrieval) ને ઓપ્ટિમાઇઝ કરે છે, બીજું ગ્રાફ પર અમૂર્ત તર્ક કરવામાં મદદ કરે છે, અને ત્રીજું ગવર્નન્સ અને પરમિશનનું પાલન કરે છે.
  • Layer 5: Cortex agent layer – એક ઇન્ટેલિજન્ટ રાઉટિંગ એન્જિન વપરાશકર્તાના હેતુ (intent) ના આધારે નક્કી કરે છે કે કયા અન્ડરલાઇંગ મોડેલનો ઉપયોગ કરવો.

આ સ્તરો જાતે બનાવવા માટે સામાન્ય રીતે મહિનાઓનો સમય લાગે છે, જેમાં ડેટા-મોડેલિંગ, સ્કીમા એનાલિસિસ અને કસ્ટમ કોડિંગ સામેલ હોય છે. Snowflake નું Ontology Stack Builder આ કામના મોટાભાગના ભાગને ઓટોમેટ કરે છે.

Stack Builder કેવી રીતે કામ કરે છે

આ ટૂલ એક ઇન્ટરેક્ટિવ વર્કફ્લો શરૂ કરે છે જે હાલના Snowflake સ્કીમાને સ્કેન કરે છે, સંભવિત એન્ટિટી પ્રકારો અને સંબંધો સૂચવે છે, અને એનાલિસ્ટ્સને વિઝ્યુઅલ એડિટરમાં તેને કન્ફર્મ અથવા એડજસ્ટ કરવાની મંજૂરી આપે છે. એકવાર ઓન્ટોલોજી વ્યાખ્યાયિત થઈ જાય પછી, Builder નોડ/એજ ટેબલ્સ બનાવે છે, મેટાડેટા ભરે છે, અને યુનિફાઇડ વ્યૂઝ બનાવવા માટે ઓટોમેટિક કમ્પાઈલર ચલાવે છે. મધ્યમ કદના વેરહાઉસ માટે આખી પાઇપલાઇન એક કલાકથી ઓછા સમયમાં તૈયાર કરી શકાય છે.

એન્ટરપ્રાઇઝ્સે શું લાભ મેળવે છે

  • Faster AI integration – ટીમો કાચા SQL જનરેશન સાથે ઝઘડવાને બદલે LLMs ને સેમેન્ટિકલી સમૃદ્ધ લેયર સાથે જોડે છે.
  • Reduced maintenance – નવો ડેટા સોર્સ ઉમેરવા માટે માત્ર નોડ/એજ ટેબલ્સમાં નવી રો ઉમેરવાની જરૂર છે; મેટાડેટ