Snowflake ਦਾ ਨਵਾਂ Ontology Stack Builder ਗਿਆਨ-ਗ੍ਰਾਫ (knowledge-graph) 'ਤੇ ਅਧਾਰਤ ਡਾਟਾ ਮਾਡਲ ਬਣਾਉਣ ਦੇ ਸਮੇਂ ਨੂੰ ਮਹੀਨਿਆਂ ਤੋਂ ਘਟਾ ਕੇ ਲਗਭਗ ਇੱਕ ਘੰਟਾ ਕਰ ਦਿੰਦਾ ਹੈ, ਜੋ ਕਿ ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲਾਂ (LLMs) ਨੂੰ ਸਵਾਲਾਂ ਦੇ ਸਹੀ ਜਵਾਬ ਦੇਣ ਲਈ ਲੋੜੀਂਦਾ ਬਿਜ਼ਨਸ ਸੰਦਰਭ (business context) ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਉਹ ਉਦਯੋਗ (Enterprises) ਜਿਨ੍ਹਾਂ ਨੇ ਆਪਣੇ ਡਾਟਾ ਵੇਅਰਹਾਊਸਾਂ (data warehouses) ਉੱਤੇ ਜਨਰੇਟਿਵ AI ਦੀ ਪਰਤ ਲਗਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ ਹੈ, ਉਹ ਅਕਸਰ ਇੱਕ ਰੁਕਾਵਟ ਦਾ ਸਾਹਮਣਾ ਕਰਦੇ ਹਨ: ਮਾਡਲ ਸਿਰਫ਼ ਰੋਅ (rows) ਅਤੇ ਕਾਲਮ ਦੇ ਨਾਮ ਦੇਖਦੇ ਹਨ, ਨਾ ਕਿ ਅਸਲ ਦੁਨੀਆ ਦੀਆਂ ਇਕਾਈਆਂ (entities)—ਜਿਵੇਂ ਕਿ ਲੋਕ, ਟੀਮਾਂ, ਕੰਟਰੈਕਟ—ਜੋ ਫੈਸਲੇ ਲੈਣ ਵਿੱਚ ਮਦਦ ਕਰਦੀਆਂ ਹਨ। ਇੱਕ ਸੈਮੈਂਟਿਕ ਬ੍ਰਿਜ (semantic bridge) ਤੋਂ ਬਿਨਾਂ, AI ਦੁਆਰਾ ਤਿਆਰ ਕੀਤਾ ਗਿਆ SQL ਗਲਤ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਰਕ ਦੀਆਂ ਗਲਤੀਆਂ (logic errors) ਵਧ ਜਾਂਦੀਆਂ ਹਨ, ਅਤੇ ਕਨਫੀਡੈਂਸ ਸਕੋਰ ਭਰਮਾਊ ਹੋ ਜਾਂਦੇ ਹਨ।

ਰਅਅ (raw) ਟੇਬਲ LLMs ਨੂੰ ਕਿਉਂ ਉਲਝਾਉਂਦੇ ਹਨ

ਇੱਕ ਆਮ ਡਾਟਾ ਵੇਅਰਹਾਊਸ ਜਾਣਕਾਰੀ ਨੂੰ ਫੋਰਨ ਕੀਜ਼ (foreign keys) ਦੁਆਰਾ ਜੁੜੀਆਂ ਹੋਈਆਂ ਨਾਰਮਲਾਈਜ਼ਡ ਟੇਬਲਾਂ ਵਿੱਚ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਕਾਲਮ ਦੇ ਨਾਮ ਅਕਸਰ ਸੰਖੇਪ (abbreviations) ਜਾਂ ਅੰਦਰੂਨੀ ਸ਼ਬਦਾਵਲੀ (jargon) ਹੁੰਦੇ ਹਨ। ਵੈੱਬ ਟੈਕਸਟ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਇੱਕ LLM ਨੇ ਕਦੇ ਵੀ ਬਿਜ਼ਨਸ ਸੰਦਰਭ ਵਿੱਚ “EMP_ID” ਜਾਂ “CNTRCT_AMT” ਨਹੀਂ ਦੇਖਿਆ ਹੁੰਦਾ, ਇਸ ਲਈ ਜਦੋਂ ਇਸ ਨੂੰ ਪੁੱਛਿਆ ਜਾਂਦਾ ਹੈ “ਪਿਛਲੀ ਤਿਮਾਹੀ ਵਿੱਚ ਕਿਸ ਸੇਲਜ਼ ਰੈਪ (sales rep) ਨੇ ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਡੀਲਜ਼ ਕੀਤੀਆਂ?” ਤਾਂ ਇਸ ਨੂੰ ਪਹਿਲਾਂ ਹਰ ਫੀਲਡ ਦਾ ਅਰਥ ਕੱਢਣਾ ਪੈਂਦਾ ਹੈ, ਅਤੇ ਫਿਰ ਕਈ ਟੇਬਲਾਂ ਵਿੱਚ ਸਹੀ ਜੁਆਇਨ (join) ਬਣਾਉਣਾ ਪੈਂਦਾ ਹੈ। ਨਤੀਜਾ ਅੰਦਾਜ਼ਿਆਂ ਦੀ ਇੱਕ ਲੜੀ ਹੁੰਦਾ ਹੈ ਜੋ ਦੇਖਣ ਵਿੱਚ ਸਹੀ ਲੱਗਣ ਵਾਲੇ ਪਰ ਗਲਤ ਜਵਾਬ ਦੇ ਸਕਦੇ ਹਨ।

ਇੱਕ ਬਲੂਪ੍ਰਿੰਟ ਵਜੋਂ Ontology

ਇੱਕ Ontology ਕਲਾਸਾਂ (ਜਿਵੇਂ ਕਿ Person, Organization, Contract) ਅਤੇ ਉਹਨਾਂ ਵਿਚਕਾਰ ਹੋਣ ਵਾਲੇ ਸਬੰਧਾਂ (ਜਿਵੇਂ ਕਿ Person works for Organization) ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੀ ਹੈ। ਉਸ Ontology ਤੋਂ ਬਣਾਇਆ ਗਿਆ ਗਿਆਨ-ਗ੍ਰਾਫ (knowledge graph) ਅਸਲ ਤੱਥਾਂ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ—ਜਿਵੇਂ ਕਿ John Doe works for Acme Inc., ਇੱਕ ਕੰਟਰੈਕਟ Acme Inc. ਨਾਲ ਸਬੰਧਤ ਹੈ—ਅਤੇ AI ਨੂੰ ਰਅਅ ਕਾਲਮ ਆਈਡੈਂਟੀਫਾਇਰਾਂ ਦੀ ਬਜਾਏ ਉਹਨਾਂ ਉੱਚ-ਪੱਧਰੀ ਸੰਕਲਪਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਵਿਚਾਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

Snowflake ਦਾ ਪੰਜ-ਪੱਧਰੀ ਪਹੁੰਚ

ਵੇਅਰਹਾਊਸ ਨੂੰ Ontology-driven ਸਿਸਟਮ ਵਿੱਚ ਬਦਲਣ ਲਈ Snowflake ਦਾ ਆਰਕੀਟੈਕਚਰ ਪੰਜ ਪੱਧਰਾਂ (layers) ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ:

  • Layer 1: Physical storage – ਦੋ ਮੁੱਖ ਟੇਬਲ ਨੋਡਸ (entities) ਅਤੇ ਐਜਸ (relationships) ਨੂੰ ਰੱਖਦੇ ਹਨ। ਨਵੇਂ ਐਂਟੀਟੀ ਟਾਈਪ ਨੂੰ ਜੋੜਨ ਲਈ ਸਕੀਮਾ (schema) ਵਿੱਚ ਬਦਲਾਅ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ, ਸਿਰਫ਼ ਨਵੀਆਂ ਰੋਅ (rows) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
  • Layer 2: Metadata configuration – ਸਬੰਧਾਂ ਨੂੰ ਹਾਰਡ-ਕੋਡਡ SQL ਦੀ ਬਜਾਏ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲਾਂ ਰਾਹੀਂ ਘੋਸ਼ਿਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਮਾਡਲ ਨੂੰ ਇੱਕ ਥਾਂ ਤੋਂ ਦੂਜੀ ਥਾਂ ਲੈ ਕੇ ਜਾਣਾ (portable) ਅਤੇ ਰੱਖ-ਰਖਾਅ ਕਰਨਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ।
  • Layer 3: Automatic compiler – ਕੰਪਾਈਲਰ ਮੈਟਾਡਾਟਾ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਅਜਿਹੇ ਯੂਨੀਫਾਈਡ ਵਿਊਜ਼ (unified views) ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਤੁਰੰਤ ਅਸਲ ਟੇਬਲਾਂ ਨੂੰ ਅਮੂਰਤ ਸੰਕਲਪਾਂ (abstract concepts) ਨਾਲ ਜੋੜਦੇ ਹਨ।
  • Layer 4: Purpose-built models – ਇੱਕ ਮਾਡਲ ਤੇਜ਼ੀ ਨਾਲ ਤੱਥ ਪ੍ਰਾਪਤ ਕਰਨ (fact retrieval) ਲਈ ਆਪਟੀਮਾਈਜ਼ ਕਰਦਾ ਹੈ, ਦੂਜਾ ਗ੍ਰਾਫ ਵਿੱਚ ਅਮੂਰਤ ਤਰਕ (abstract reasoning) ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਅਤੇ ਤੀਜਾ ਗਵਰਨੈਂਸ ਅਤੇ ਪਰਮਿਸ਼ਨਾਂ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ।
  • Layer 5: Cortex agent layer – ਇੱਕ ਸਮਾਰਟ ਰੂਟਿੰਗ ਇੰਜਣ ਉਪਭੋਗਤਾ ਦੇ ਇਰਾਦੇ (intent) ਦੇ ਅਧਾਰ 'ਤੇ ਇਹ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਕਿਸ ਅੰਡਰਲਾਈਂਗ ਮਾਡਲ ਤੋਂ ਜਾਣਕਾਰੀ ਲੈਣੀ ਹੈ।

ਇਹਨਾਂ ਪੱਧਰਾਂ ਨੂੰ ਹੱਥ ਨਾਲ ਬਣਾਉਣ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਮਹੀਨੇ ਲੱਗ ਜਾਂਦੇ ਹਨ, ਜਿਸ ਵਿੱਚ ਡਾਟਾ-ਮਾਡਲਿੰਗ, ਸਕੀਮਾ ਵਿਸ਼ਲੇਸ਼ਣ ਅਤੇ ਕਸਟਮ ਕੋਡ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ। Snowflake ਦਾ Ontology Stack Builder ਇਸ ਕੰਮ ਦੇ ਜ਼ਿਆਦਾਤਰ ਹਿੱਸੇ ਨੂੰ ਆਟੋਮੇਟ ਕਰ ਦਿੰਦਾ ਹੈ।

Stack Builder ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ

ਇਹ ਟੂਲ ਇੱਕ ਇੰਟਰਐਕਟਿਵ ਵਰਕਫਲੋ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ ਜੋ ਮੌਜੂਦਾ Snowflake ਸਕੀਮਾ ਨੂੰ ਸਕੈਨ ਕਰਦਾ ਹੈ, ਸੰਭਵ ਐਂਟੀਟੀ ਟਾਈਪ ਅਤੇ ਸਬੰਧਾਂ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਵਿਸ਼ੂਅਲ ਐਡੀਟਰ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਕਾਂ ਨੂੰ ਉਹਨਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਜਾਂ ਉਹਨਾਂ ਨੂੰ ਐਡਜਸਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਇੱਕ ਵਾਰ ਜਦੋਂ Ontology ਪਰਿਭਾਸ਼ਿਤ ਹੋ ਜਾਂਦੀ ਹੈ, ਤਾਂ Builder ਨੋਡ/ਐਜ ਟੇਬਲ ਬਣਾਉਂਦਾ ਹੈ, ਮੈਟਾਡਾਟਾ ਭਰਦਾ ਹੈ, ਅਤੇ ਯੂਨੀਫਾਈਡ ਵਿਊਜ਼ ਬਣਾਉਣ ਲਈ ਆਟੋਮੈਟਿਕ ਕੰਪਾਈਲਰ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ। ਇੱਕ ਦਰਮਿਆਨੇ ਆਕਾਰ ਦੇ ਵੇਅਰਹਾਊਸ ਲਈ ਪੂਰੀ ਪਾਈਪਲਾਈਨ ਇੱਕ ਘੰਟੇ ਤੋਂ ਵੀ ਘੱਟ ਸਮੇਂ ਵਿੱਚ ਤਿਆਰ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ।

ਉਦਯੋਗਾਂ ਨੂੰ ਕੀ ਫਾਇਦਾ ਹੁੰਦਾ ਹੈ

  • ਤੇਜ਼ AI ਇੰਟੀਗ੍ਰੇਸ਼ਨ – ਟੀਮਾਂ ਰਅਅ SQL ਜਨਰੇਸ਼ਨ ਨਾਲ ਜੂਝਣ ਦੀ ਬਜਾਏ LLMs ਨੂੰ ਇੱਕ ਸੈਮੈਂਟਿਕਲੀ ਅਮੀਰ (semantically rich) ਪਰਤ ਨਾਲ ਜੋੜਦੀਆਂ ਹਨ।
  • ਘੱਟ ਰੱਖ-ਰਖਾਅ – ਨਵੇਂ ਡਾਟਾ ਸਰੋਤ ਨੂੰ ਜੋੜਨ ਲਈ ਸਿਰਫ਼ ਨੋਡ/ਐਜ ਟੇਬਲਾਂ ਵਿੱਚ ਰੋਅ (rows) ਪਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ; ਮੈਟਾਡਾਟਾ ਅਤੇ ਕੰਪਾਈਲਡ ਵਿਊਜ਼ ਆਪਣੇ ਆਪ ਅਪਡੇਟ ਹੋ ਜਾਂਦੇ ਹਨ।
  • ਗਵਰਨੈਂਸ ਸ਼ਾਮਲ ਹੈ – ਸਮਰਪਿਤ ਪਰਮਿਸ਼ਨ ਮਾਡਲ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ ਕਿ ਕੌਣ ਕਿਹੜੀਆਂ ਇਕਾਈਆਂ (entities) ਨੂੰ ਦੇਖ ਸਕਦਾ ਹੈ, ਜੋ ਕਿ ਨਿਯਮਤ ਉਦਯੋਗਾਂ (regulated industries) ਲਈ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ।

ਸਿੱਟਾ

ਮਹੀਨਿਆਂ ਦੀ ਮਾਨੁਅਲ ਮਾਡਲਿੰਗ ਕੋਸ਼ਿਸ਼ ਨੂੰ ਇੱਕ ਘੰਟੇ ਦੇ ਵਰਕਫਲੋ ਵਿੱਚ ਬਦਲ ਕੇ, Snowflake ਉਦਯੋਗਾਂ ਨੂੰ LLMs ਨੂੰ ਲੋੜੀਂਦੀ ਬਿਜ਼ਨਸ ਸੈਮੈਂਟਿਕਸ (business semantics) ਦੇਣ ਲਈ ਇੱਕ ਵਿਹਾਰਕ ਰਸਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਸਦਾ ਨਤੀਜਾ ਇੱਕ ਅਜਿਹਾ AI ਹੈ ਜੋ ਇਰਾਦੇ (intent) ਨੂੰ ਸਮਝਦਾ ਹੈ।