Snowflake ನ ಹೊಸ Ontology Stack Builder,नॉಲೆಡ್ಜ್-ಗ್ರಾಫ್ ಆಧಾರಿತ ಡೇಟಾ ಮಾಡೆಲ್ ಅನ್ನು ನಿರ್ಮಿಸುವ ಸಮಯವನ್ನು ತಿಂಗಳುಗಳಿಂದ ಸುಮಾರು ಒಂದು ಗಂಟೆಗೆ ಇಳಿಸುತ್ತದೆ, ಇದು ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳಿಗೆ (LLMs) ಪ್ರಶ್ನೆಗಳಿಗೆ ನಿಖರವಾಗಿ ಉತ್ತರಿಸಲು ಅಗತ್ಯವಿರುವ ವ್ಯವಹಾರದ ಸಂದರ್ಭವನ್ನು (business context) ಒದಗಿಸುತ್ತದೆ.

ತಮ್ಮ ಡೇಟಾ ವೇರ್‌ಹೌಸ್‌ಗಳ ಮೇಲೆ ಜನರೇಟಿವ್ AI ಅನ್ನು ಬಳಸಲು ಪ್ರಯತ್ನಿಸಿದ ಉದ್ಯಮಗಳು ಒಂದು ಅಡೆತಡೆ ಎದುರಿಸುತ್ತಿದ್ದಾರೆ: ಈ ಮಾದರಿಗಳು ಕೇವಲ ಸಾಲುಗಳು (rows) ಮತ್ತು ಕಾಲಮ್ ಹೆಸರುಗಳನ್ನು ಮಾತ್ರ ನೋಡುತ್ತವೆ, ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವ ನಿಜವಾದ ಪ್ರಪಂಚದ ಘಟಕಗಳನ್ನು (entities)—ಜನರು, ತಂಡಗಳು, ಒಪ್ಪಂದಗಳು—ಅಲ್ಲ. ಒಂದು ಸೆಮ್ಯಾಂಟಿಕ್ ಸೇತುವೆಯಿಲ್ಲದೆ, AI-ಜನರೇಟೆಡ್ SQL ಗೊಂದಲಮಯವಾಗುತ್ತದೆ, ತಾರ್ಕಿಕ ತಪ್ಪುಗಳು (logic errors) ಸಂಭವಿಸುತ್ತವೆ ಮತ್ತು ಕಾನ್ಫಿಡೆನ್ಸ್ ಸ್ಕೋರ್‌ಗಳು ದಾರಿತಪ್ಪಿಸುವಂತಿರುತ್ತವೆ.

ಕಚ್ಚಾ ಟೇಬಲ್‌ಗಳು (raw tables) ಏಕೆ LLMಗಳನ್ನು ಗೊಂದಲಕ್ಕೀಡುಮಾಡುತ್ತವೆ

ಒಂದು ಸಾಮಾನ್ಯ ಡೇಟಾ ವೇರ್‌ಹೌಸ್ ಮಾಹಿತಿಯನ್ನು ಫಾರೆನ್ ಕೀಗಳಿಂದ (foreign keys) ಸಂಪರ್ಕಿಸಲ್ಪಟ್ಟ ನಾರ್ಮಲೈಸ್ಡ್ ಟೇಬಲ್‌ಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಕಾಲಮ್ ಹೆಸರುಗಳು ಹೆಚ್ಚಾಗಿ ಸಂಕ್ಷಿಪ್ತ ರೂಪಗಳು ಅಥವಾ ಆಂತರಿಕ ತಾಂತ್ರಿಕ ಪದಗಳಾಗಿರುತ್ತವೆ (jargon). ವೆಬ್ ಪಠ್ಯದ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದ LLM ಎಂದಿಗೂ ವ್ಯವಹಾರದ ಸಂದರ್ಭದಲ್ಲಿ “EMP_ID” ಅಥವಾ “CNTRCT_AMT” ಅನ್ನು ನೋಡಿರುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ "ಕಳೆದ ತ್ರೈಮಾಸಿಕದಲ್ಲಿ ಯಾವ ಸೇಲ್ಸ್ ಪ್ರತಿನಿಧಿಗಳು ದೊಡ್ಡ ಡೀಲ್‌ಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಿದರು?" ಎಂದು ಕೇಳಿದಾಗ, ಅದು ಮೊದಲು ಪ್ರತಿಯೊಂದು ಫೀಲ್ಡ್‌ನ ಅರ್ಥವನ್ನು ಗ್ರಹಿಸಬೇಕು ಮತ್ತು ನಂತರ ಹಲವಾರು ಟೇಬಲ್‌ಗಳ ನಡುವೆ ಸರಿಯಾದ ಜೋಡಣೆಯನ್ನು (join) ಮಾಡಬೇಕು. ಇದರ ಪರಿಣಾಮವಾಗಿ ಅಂದಾಜು ಊಹೆಗಳ ಸರಣಿ ಉಂಟಾಗಿ, ನೋಡಲು ಸರಿಯಾಗಿ ಕಂಡರೂ ತಪ್ಪು ಉತ್ತರಗಳು ಬರಬಹುದು.

ಬ್ಲೂಪ್ರಿಂಟ್ ಆಗಿ ಆಂಟಾಲಜಿ (Ontology)

ಆಂಟಾಲಜಿಯು ವರ್ಗಗಳನ್ನು (ಉದಾಹರಣೆಗೆ, Person, Organization, Contract) ಮತ್ತು ಅವುಗಳ ನಡುವೆ ಇರಬಹುದಾದ ಸಂಬಂಧಗಳನ್ನು (Person works for Organization) ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ. ಆ ಆಂಟಾಲಜಿಯಿಂದ ನಿರ್ಮಿಸಲಾದनॉಲೆಡ್ಜ್ ಗ್ರಾಫ್ ನಿರ್ದಿಷ್ಟ ಸತ್ಯಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ—John Doe works for Acme Inc., a contract belongs to Acme Inc.—ಮತ್ತು AI ಅನ್ನು ಕಚ್ಚಾ ಕಾಲಮ್ ಐಡೆಂಟಿಫೈಯರ್‌ಗಳ ಬದಲಿಗೆ ಅಂತಹ ಉನ್ನತ ಮಟ್ಟದ ಪರಿಕಲ್ಪನೆಗಳ ಆಧಾರದ ಮೇಲೆ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಅನುಮತಿಸುತ್ತದೆ.

Snowflake ನ ಐದು-ಪದರಗಳ ವಿಧಾನ

ವೇರ್‌ಹೌಸ್ ಅನ್ನು ಆಂಟಾಲಜಿ-ಚಾಲಿತ ವ್ಯವಸ್ಥೆಯಾಗಿ ಪರಿವರ್ತಿಸಲು Snowflake ನ ಆರ್ಕಿಟೆಕ್ಚರ್ ಐದು ಪದರಗಳನ್ನು ಒಳಗೊಂಡಿದೆ:

  • Layer 1: Physical storage – ಎರಡು ಪ್ರಮುಖ ಟೇಬಲ್‌ಗಳು ನೋಡ್‌ಗಳನ್ನು (entities) ಮತ್ತು ಎಡ್ಜ್‌ಗಳನ್ನು (relationships) ಹೊಂದಿರುತ್ತವೆ. ಹೊಸ ಎಂಟಿಟಿ ಪ್ರಕಾರವನ್ನು ಸೇರಿಸಲು ಸ್ಕೀಮಾ ಬದಲಾವಣೆಗಳ ಅಗತ್ಯವಿಲ್ಲ, ಕೇವಲ ಹೊಸ ಸಾಲುಗಳು ಬೇಕು.
  • Layer 2: Metadata configuration – ಸಂಬಂಧಗಳನ್ನು ಹಾರ್ಡ್-ಕೋಡೆಡ್ SQL ಬದಲಿಗೆ ಕಾನ್ಫಿಗರೇಶನ್ ಫೈಲ್‌ಗಳ ಮೂಲಕ ಘೋಷಿಸಲಾಗುತ್ತದೆ, ಇದು ಮಾಡೆಲ್ ಅನ್ನು ಪೋರ್ಟಬಲ್ ಆಗಿ ಮತ್ತು ಸುಲಭವಾಗಿ ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ.
  • Layer 3: Automatic compiler – ಕಾಂಪೈಲರ್ ಮೆಟಾಡೇಟಾವನ್ನು ಓದುತ್ತದೆ ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಟೇಬಲ್‌ಗಳನ್ನು ಅಮೂರ್ತ ಪರಿಕಲ್ಪನೆಗಳಿಗೆ (abstract concepts) ನೈಜ ಸಮಯದಲ್ಲಿ ಮ್ಯಾಪ್ ಮಾಡುವ ಏಕೀಕೃತ ವೀಕ್ಷಣೆಗಳನ್ನು (unified views) ರಚಿಸುತ್ತದೆ.
  • Layer 4: Purpose-built models – ಒಂದು ಮಾಡೆಲ್ ವೇಗದ ಸತ್ಯಗಳ ಹುಡುಕಾಟವನ್ನು (fact retrieval) ಉತ್ತಮಗೊಳಿಸುತ್ತದೆ, ಇನ್ನೊಂದು ಗ್ರಾಫ್‌ನಾದ್ಯಂತ ಅಮೂರ್ತ ತರ್ಕವನ್ನು (abstract reasoning) ಬೆಂಬಲಿಸುತ್ತದೆ ಮತ್ತು ಮೂರನೆಯದು ಗವರ್ನೆನ್ಸ್ ಮತ್ತು ಅನುಮತಿಗಳನ್ನು (permissions) ಜಾರಿಗೊಳಿಸುತ್ತದೆ.
  • Layer 5: Cortex agent layer – ಬಳಕೆದಾರರ ಉದ್ದೇಶದ ಆಧಾರದ ಮೇಲೆ ಯಾವ ಅಡಿಯಲ್ಲಿರುವ ಮಾಡೆಲ್ ಅನ್ನು ಪ್ರಶ್ನಿಸಬೇಕೆಂದು ಒಂದು ಬುದ್ಧಿವಂತ ರೂಟಿಂಗ್ ಇಂಜಿನ್ ನಿರ್ಧರಿಸುತ್ತದೆ.

ಈ ಪದರಗಳನ್ನು ಕೈಯಿಂದ ನಿರ್ಮಿಸುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಡೇಟಾ-ಮಾಡೆಲಿಂಗ್, ಸ್ಕೀಮಾ ವಿಶ್ಲೇಷಣೆ ಮತ್ತು ಕಸ್ಟಮ್ ಕೋಡ್ ಒಳಗೊಂಡಿದ್ದು ತಿಂಗಳುಗಳ ಕಾಲ ಹಿಡಿಯುತ್ತದೆ. Snowflake ನ Ontology Stack Builder ಆ ಕೆಲಸದ ಹೆಚ್ಚಿನ ಭಾಗವನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತದೆ.

Stack Builder ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ

ಈ ಸಾಧನವು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ Snowflake ಸ್ಕೀಮಾವನ್ನು ಸ್ಕ್ಯಾನ್ ಮಾಡುವ, ಸಂಭವನೀಯ ಎಂಟಿಟಿ ಪ್ರಕಾರಗಳು ಮತ್ತು ಸಂಬಂಧಗಳನ್ನು ಸೂಚಿಸುವ ಮತ್ತು ವಿಶ್ಲೇಷಕರು ಅವುಗಳನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಿದ ಎಡಿಟರ್‌ನಲ್ಲಿ (visual editor) ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಅಥವಾ ಹೊಂದಿಸಲು ಅನುಮತಿಸುವ ಸಂವಾದಾತ್ಮಕ ವರ್ಕ್‌ಫ್ಲೋವನ್ನು ಪ್ರಾರಂಭಿಸುತ್ತದೆ. ಒಮ್ಮೆ ಆಂಟಾಲಜಿಯನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಿದ ನಂತರ, Builder ನೋಡ್/ಎಡ್ಜ್ ಟೇಬಲ್‌ಗಳನ್ನು ರಚಿಸುತ್ತದೆ, ಮೆಟಾಡೇಟಾವನ್ನು ತುಂಬುತ್ತದೆ ಮತ್ತು ಏಕೀಕೃತ ವೀಕ್ಷಣೆಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಸ್ವಯಂಚಾಲಿತ ಕಾಂಪೈಲರ್ ಅನ್ನು ಚಾಲನೆ ಮಾಡುತ್ತದೆ. ಸಾಧಾರಣ ಗಾತ್ರದ ವೇರ್‌ಹೌಸ್‌ಗೆ ಇಡೀ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಒಂದು ಗಂಟೆಗಿಂತ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಸಿದ್ಧಪಡಿಸಬಹುದು.

ಉದ್ಯಮಗಳು ಏನನ್ನು ಪಡೆಯುತ್ತವೆ

  • Faster AI integration – ತಂಡಗಳು ಕಚ್ಚಾ SQL ಜನರೇಶನ್‌ನೊಂದಿಗೆ ಹೋರಾಡುವ ಬದಲು LLMಗಳನ್ನು ಸೆಮ್ಯಾಂಟಿಕಲಿ ಶ್ರೀಮಂತ ಪದರಕ್ಕೆ (semantically rich layer) ಜೋಡಿಸಬಹುದು.
  • Reduced maintenance – ಹೊಸ ಡೇಟಾ ಮೂಲವನ್ನು ಸೇರಿಸಲು ನೋಡ್/ಎಡ್ಜ್ ಟೇಬಲ್‌ಗಳಿಗೆ ಕೇವಲ ಸಾಲುಗಳನ್ನು ಸೇರಿಸುವುದು ಸಾಕಾಗುತ್ತದೆ; ಮೆಟಾಡೇಟಾ ಮತ್ತು ಕಾಂಪೈಲ್ ಮಾಡಿದ ವೀಕ್ಷಣೆಗಳು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಅಪ್‌ಡೇಟ್ ಆಗುತ್ತವೆ.
  • Governance baked in – ಮೀಸಲಾದ ಅನುಮತಿ ಮಾಡೆಲ್ ಯಾರು ಯಾವ ಎಂಟಿಟಿಗಳನ್ನು ನೋಡಬಹುದು ಎಂಬುದನ್ನು ಜಾರಿಗೊಳಿಸುತ್ತದೆ, ಇದು ನಿಯಂತ್ರಿತ ಉದ್ಯಮಗಳಿಗೆ (regulated industries) ಒಂದು ನಿರ್ಣಾಯಕ ವೈಶಿಷ್ಟ್ಯವಾಗಿದೆ.

ಸಾರಾಂಶ

ತಿಂಗಳುಗಳ ಕಾಲ ನಡೆಯುವ, ಕೈಯಿಂದ ಮಾಡುವ ತೀವ್ರವಾದ ಮಾಡೆಲಿಂಗ್ ಪ್ರಯತ್ನವನ್ನು ಒಂದು ಗಂಟೆಯ ವರ್ಕ್‌ಫ್ಲೋ ಆಗಿ ಪರಿವರ್ತಿಸುವ ಮೂಲಕ, Snowflake ಉದ್ಯಮಗಳಿಗೆ LLMಗಳಿಗೆ ಅಗತ್ಯವಿರುವ ವ್ಯವಹಾರದ ಸೆಮ್ಯಾಂಟಿಕ್ಸ್ ನೀಡಲು ಪ್ರಾಯೋಗಿಕ ಮಾರ್ಗವನ್ನು ನೀಡುತ್ತದೆ. ಇದರ ಫಲಿತಾಂಶವೆಂದರೆ ಉದ್ದೇಶವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ AI.