Snowflake యొక్క కొత్త Ontology Stack Builder, నాలెడ్జ్-గ్రాఫ్ ఆధారిత డేటా మోడల్‌ను నిర్మించడానికి పట్టే సమయాన్ని నెలల నుండి సుమారు ఒక గంటకు తగ్గిస్తుంది. ఇది లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLMs) క్వెరీలకు ఖచ్చితంగా సమాధానం ఇవ్వడానికి అవసరమైన బిజినెస్ కాంటెక్స్ట్‌ను అందిస్తుంది.

తమ డేటా వేర్‌హౌస్‌లపై జనరేటివ్ AIని ఉపయోగించడానికి ప్రయత్నించిన సంస్థలు ఒక సమస్యను ఎదుర్కొంటున్నాయి: ఈ మోడల్స్ కేవలం రోస్ (rows) మరియు కాలమ్ పేర్లను మాత్రమే చూస్తాయి, నిర్ణయాలను ప్రభావితం చేసే నిజ ప్రపంచ ఎంటిటీలను (ఉదాహరణకు: వ్యక్తులు, బృందాలు, కాంట్రాక్టులు) కాదు. ఒక సెమాంటిక్ బ్రిడ్జ్ (semantic bridge) లేకపోతే, AI ద్వారా రూపొందించబడిన SQL తప్పుగా మారుతుంది, లాజిక్ ఎర్రర్స్ వస్తాయి మరియు కాన్ఫిడెన్స్ స్కోర్లు తప్పుదారి పట్టించేలా ఉంటాయి.

ముడి టేబుల్స్ (raw tables) ఎందుకు LLMsను అయోమయానికి గురిచేస్తాయి

సాధారణ డేటా వేర్‌హౌస్ సమాచారాన్ని ఫారిన్ కీలతో (foreign keys) అనుసంధానించబడిన నార్మలైజ్డ్ టేబుల్స్‌లో నిల్వ చేస్తుంది. కాలమ్ పేర్లు తరచుగా సంక్షిప్త రూపాలు (abbreviations) లేదా అంతర్గత సాంకేతిక పదాలుగా ఉంటాయి. వెబ్ టెక్స్ట్ ఆధారంగా శిక్షణ పొందిన LLM, బిజినెస్ కాంటెక్స్ట్‌లో “EMP_ID” లేదా “CNTRCT_AMT” వంటి పదాలను ఎప్పుడూ చూడదు. కాబట్టి, "గత త్రైమాసికంలో ఏ సేల్స్ ప్రతినిధులు అతిపెద్ద డీల్స్ క్లోజ్ చేశారు?" అని అడిగినప్పుడు, అది మొదట ప్రతి ఫీల్డ్ యొక్క అర్థాన్ని గ్రహించాలి, ఆపై అనేక టేబుల్స్ మధ్య సరైన జాయిన్‌ను (join) రూపొందించాలి. దీని ఫలితంగా వచ్చే అంచనాలు చూడటానికి నిజంలా అనిపించినా, తప్పు సమాధానాలను ఇవ్వవచ్చు.

బ్లూప్రింట్‌గా ఆంటాలజీ (Ontology)

ఆంటాలజీ అనేది క్లాసులను (ఉదాహరణకు: Person, Organization, Contract) మరియు వాటి మధ్య ఉండగల సంబంధాలను (Person works for Organization) నిర్వచిస్తుంది. ఆ ఆంటాలజీ నుండి నిర్మించబడిన నాలెడ్జ్ గ్రాఫ్ స్పష్టమైన వాస్తవాలను నిల్వ చేస్తుంది—John Doe Acme Inc. కోసం పనిచేస్తున్నారు, ఒక కాంట్రాక్ట్ Acme Inc. కి చెందినది—మరియు AI ముడి కాలమ్ ఐడెంటిఫైయర్‌ల కంటే ఆ ఉన్నత స్థాయి కాన్సెప్ట్‌ల ఆధారంగా ఆలోచించేలా చేస్తుంది.

Snowflake యొక్క ఐదు-అంచెల (five-layer) విధానం

డేటా వేర్‌హౌస్‌ను ఆంటాలజీ-డ్రివెన్ సిస్టమ్‌గా మార్చడానికి Snowflake యొక్క ఆర్కిటెక్చర్ ఐదు పొరలను కలిగి ఉంటుంది:

  • Layer 1: Physical storage – రెండు కోర్ టేబుల్స్ నోడ్స్ (entities) మరియు ఎడ్జెస్ (relationships)ను కలిగి ఉంటాయి. కొత్త ఎంటిటీ రకాన్ని జోడించడానికి స్కీమా మార్పులు అవసరం లేదు, కేవలం కొత్త రోస్ (rows) మాత్రమే సరిపోతాయి.
  • Layer 2: Metadata configuration – సంబంధాలను హార్డ్-కోడెడ్ SQL ద్వారా కాకుండా కాన్ఫిగరేషన్ ఫైల్స్ ద్వారా ప్రకటిస్తారు, దీనివల్ల మోడల్ పోర్టబుల్‌గా ఉంటుంది మరియు నిర్వహించడం సులభం అవుతుంది.
  • Layer 3: Automatic compiler – కంపైలర్ మెటాడేటాను చదివి, ముడి టేబుల్స్‌ను అబ్‌స్ట్రాక్ట్ కాన్సెప్ట్‌లతో అనుసంధానించే యూనిఫైడ్ వ్యూస్‌ను (unified views) వెంటనే సృష్టిస్తుంది.
  • Layer 4: Purpose-built models – ఒక మోడల్ వేగవంతమైన ఫ్యాక్ట్ రిట్రీవల్‌ను ఆప్టిమైజ్ చేస్తుంది, మరొకటి గ్రాఫ్ అంతటా అబ్‌స్ట్రాక్ట్ రీజనింగ్‌కు మద్దతు ఇస్తుంది, మరియు మూడవది గవర్నెన్స్ మరియు పర్మిషన్లను అమలు చేస్తుంది.
  • Layer 5: Cortex agent layer – యూజర్ యొక్క ఉద్దేశ్యం (intent) ఆధారంగా ఏ అండర్లయింగ్ మోడల్‌ను క్వెరీ చేయాలో ఒక ఇంటెలిజెంట్ రూటింగ్ ఇంజిన్ నిర్ణయిస్తుంది.

ఈ పొరలను మాన్యువల్‌గా నిర్మించడం సాధారణంగా డేటా-మోడలింగ్, స్కీమా అనాలిసిస్ మరియు కస్టమ్ కోడ్‌తో కూడిన నెలల కొద్దీ సమయం తీసుకుంటుంది. Snowflake యొక్క Ontology Stack Builder ఆ పనిలో ఎక్కువ భాగాన్ని ఆటోమేట్ చేస్తుంది.

Stack Builder ఎలా పనిచేస్తుంది

ఈ టూల్ ఒక ఇంటరాక్టివ్ వర్క్‌ఫ్లోను ప్రారంభిస్తుంది, ఇది ఇప్పటికే ఉన్న Snowflake స్కీమాను స్కాన్ చేస్తుంది, సాధ్యమయ్యే ఎంటిటీ రకాలు మరియు సంబంధాలను సూచిస్తుంది, మరియు విజువల్ ఎడిటర్‌లో అనలిస్టులు వాటిని ధృవీకరించడానికి లేదా సర్దుబాటు చేయడానికి అనుమతిస్తుంది. ఆంటాలజీని నిర్వచించిన తర్వాత, Builder నోడ్/ఎడ్జ్ టేబుల్స్‌ను రూపొందిస్తుంది, మెటాడేటాను నింపుతుంది మరియు యూనిఫైడ్ వ్యూస్‌ను రూపొందించడానికి ఆటోమేటిక్ కంపైలర్‌ను రన్ చేస్తుంది. మధ్యస్థ పరిమాణం ఉన్న వేర్‌హౌస్ కోసం మొత్తం పైప్‌లైన్‌ను ఒక గంటలోపు సిద్ధం చేయవచ్చు.

సంస్థలకు కలిగే ప్రయోజనాలు

  • Faster AI integration – టీమ్‌లు ముడి SQL జనరేషన్‌తో పోరాడటానికి బదులుగా, LLMsలను సెమాంటికల్‌గా రిచ్‌గా ఉండే లేయర్‌కు అనుసంధానిస్తారు.
  • Reduced maintenance – కొత్త డేటా సోర్స్‌ను జోడించడానికి నోడ్/ఎడ్జ్ టేబుల్స్‌లో రోస్ (rows) ఇన్సర్ట్ చేస్తే సరిపోతుంది; మెటాడేటా మరియు కంపైల్డ్ వ్యూస్ ఆటోమేటిక్‌గా అప్‌డేట్ అవుతాయి.
  • Governance baked in – ప్రత్యేక పర్మిషన్ మోడల్ ఎవరు ఏ ఎంటిటీలను చూడగలరో నియంత్రిస్తుంది, ఇది నియంత్రిత పరిశ్రమలకు (regulated industries) చాలా ముఖ్యమైన ఫీచర్.

ముగింపు (Takeaway)

నెలల తరబడి సాగే మాన్యువల్ మోడలింగ్ ప్రయత్నాన్ని ఒక గంట వ్యవధి గల వర్క్‌ఫ్లోగా మార్చడం ద్వారా, Snowflake సంస్థలకు LLMsలకు అవసరమైన బిజినెస్ సెమాంటిక్స్‌ను అందించడానికి ఒక ఆచరణాత్మక మార్గాన్ని అందిస్తుంది. దీని ఫలితం ఏమిటంటే, యూజర్ యొక్క ఉద్దేశ్యాన్ని (intent) అర్థం చేసుకునే AI.