Snowflake의 새로운 Ontology Stack Builder는 지식 그래프 기반 데이터 모델 구축 시간을 수개월에서 약 1시간으로 단축하여, 대규모 언어 모델(LLM)이 질의에 정확하게 답변하는 데 필요한 비즈니스 컨텍스트를 제공합니다.

데이터 웨어하우스 위에 생성형 AI를 계층화하려는 기업들은 계속해서 한계에 부딪히고 있습니다. 모델은 의사결정을 주도하는 실제 세계의 엔티티(사람, 팀, 계약 등)가 아니라 행과 열 이름만을 보기 때문입니다. 시맨틱 브리지(semantic bridge)가 없으면 AI가 생성한 SQL은 노이즈가 심해지고, 논리적 오류가 발생하며, 신뢰도 점수는 오해의 소지가 생깁니다.

원시 테이블이 LLM을 혼란스럽게 만드는 이유

일반적인 데이터 웨어하우스는 외래 키(foreign key)로 연결된 정규화된 테이블에 정보를 저장합니다. 열 이름은 종종 약어나 내부 전문 용어로 되어 있습니다. 웹 텍스트로 학습된 LLM은 비즈니스 컨텍스트에서 “EMP_ID”나 “CNTRCT_AMT”를 본 적이 없습니다. 따라서 “지난 분기에 어떤 영업 사원이 가장 큰 계약을 체결했나요?”라는 질문을 받으면, 먼저 모든 필드의 의미를 추론한 다음 여러 테이블에 걸쳐 정확한 조인(join)을 구성해야 합니다. 그 결과는 그럴듯해 보이지만 틀린 답을 내놓을 수 있는 일련의 추측으로 이어집니다.

청사진으로서의 온톨로지(Ontology)

온톨로지는 클래스(예: Person, Organization, Contract)와 그들 사이에 존재할 수 있는 관계(Person works for Organization)를 정의합니다. 해당 온톨로지를 기반으로 구축된 지식 그래프는 구체적인 사실(예: John Doe works for Acme Inc., a contract belongs to Acme Inc.)을 저장하며, AI가 원시 열 식별자 대신 이러한 상위 수준의 개념을 바탕으로 추론할 수 있게 합니다.

Snowflake의 5계층 접근 방식

웨어하우스를 온톨로지 기반 시스템으로 전환하기 위한 Snowflake의 아키텍처는 다음 5개 계층으로 구성됩니다.

  • Layer 1: Physical storage – 두 개의 핵심 테이블이 노드(엔티티)와 엣지(관계)를 보유합니다. 새로운 엔티티 유형을 추가할 때 스키마 변경 없이 새로운 행만 추가하면 됩니다.
  • Layer 2: Metadata configuration – 관계를 하드코딩된 SQL 대신 구성 파일을 통해 선언하므로 모델의 이식성이 높고 유지 관리가 쉽습니다.
  • Layer 3: Automatic compiler – 컴파일러가 메타데이터를 읽어 구체적인 테이블을 추상적인 개념으로 즉시 매핑하는 통합 뷰(unified views)를 생성합니다.
  • Layer 4: Purpose-built models – 하나의 모델은 빠른 사실 검색을 최적화하고, 다른 모델은 그래프 전반의 추상적 추론을 지원하며, 세 번째 모델은 거버넌스와 권한을 강제합니다.
  • Layer 5: Cortex agent layer – 지능형 라우팅 엔진이 사용자의 의도에 따라 어떤 기반 모델에 질의할지 결정합니다.

이러한 계층을 수동으로 구축하려면 데이터 모델링, 스키마 분석, 커스텀 코드 작성 등이 포함되어 보통 수개월이 걸립니다. Snowflake의 Ontology Stack Builder는 이러한 작업의 대부분을 자동화합니다.

Stack Builder 작동 방식

이 도구는 기존 Snowflake 스키마를 스캔하고 가능한 엔티티 유형과 관계를 제안하며, 분석가가 시각적 에디터에서 이를 확인하거나 조정할 수 있는 대화형 워크플로를 실행합니다. 온톨로지가 정의되면 Builder가 노드/엣지 테이블을 생성하고 메타데이터를 채운 뒤, 자동 컴파일러를 실행하여 통합 뷰를 생성합니다. 중간 규모의 웨어하우스라면 전체 파이프라인을 1시간 이내에 구축할 수 있습니다.

기업이 얻는 이점

  • 더 빠른 AI 통합 – 팀은 원시 SQL 생성과 씨름하는 대신 시맨틱이 풍부한 계층에 LLM을 연결할 수 있습니다.
  • 유지 관리 감소 – 새로운 데이터 소스를 추가하려면 노드/엣지 테이블에 행을 삽입하기만 하면 됩니다. 메타데이터와 컴파일된 뷰는 자동으로 업데이트됩니다.
  • 내장된 거버넌스 – 전용 권한 모델을 통해 누가 어떤 엔티티를 볼 수 있는지 강제할 수 있으며, 이는 규제가 엄격한 산업 분야에서 매우 중요한 기능입니다.

요약

수개월이 걸리는 수동 모델링 작업을 1시간의 워크플로로 전환함으로써, Snowflake는 기업이 LLM에 필요한 비즈니스 시맨틱을 제공할 수 있는 실질적인 경로를 제시합니다. 그 결과, 의도를 이해하는 AI를 구현할 수 있습니다.