신뢰할 수 있는 데이터 에이전트의 핵심, ‘에이전트 컨텍스트 계층’

오랜 기간 데이터 분야에 몸담아 온 만큼, 최근 '컨텍스트 계층'에 대한 관심이 급격히 증가한 흐름은 반갑기도 하고 흥미롭습니다. 이는 새로운 개념이 아니라 컴퓨터 과학의 기본 원칙 중 하나입니다. 시맨틱 계층이 다시 주목받는 이유는 오늘날 많은 기업이 동일한 한계에 직면하고 있기 때문입니다. 모델은 똑똑해 보이지만, 여전히 틀린 답을 자신 있게 내놓곤 합니다.

이러한 실패는 모델의 추론 능력 부족 때문이라기보다 컨텍스트의 문제에 가깝습니다. 모델은 이미 충분히 고도화됐고, 앞으로도 계속 발전할 것입니다. 결국 승부는 ‘적절한 컨텍스트’에 달려 있습니다.

통제된 데모 환경에서는 에이전트가 매우 뛰어나 보일 수 있습니다. 하지만 실제 엔터프라이즈 환경에서는 비즈니스 개념이 제각각 정의돼 있고, 규칙은 명확히 드러나 있지 않으며, 이력도 충분히 남아 있지 않은 경우가 많습니다. 여기에 시스템마다 ‘진실’의 기준까지 달라집니다.

분석가의 실제 업무는 다단계로 구성되어 있으며, 여러 도메인을 넘나듭니다. 때로는 조직 내 이해관계까지 고려해야 합니다. 비즈니스 리더는 단순한 SQL 쿼리가 아니라 다음과 같은 질문을 던집니다.

• “변경된 부분과 그 이유를 설명해 주고, 앞으로의 대응 방안도 제안해줘.”

• “서로 다른 두 정의를 비교해서 차이를 조정하고, 이사회 보고용으로 정리해줘.”

• “이상 징후를 살펴보고, 어떤 운영 이벤트가 원인이었는지 파악해줘.”

이 지점에서 기업의 현실이 드러납니다.

• 의미의 파편화: '고객'이라는 개념이 시스템마다 다르게 정의됨

• ‘왜(why)’의 부재: 데이터 웨어하우스에 상태는 저장되나, 그 결과에 이르기까지 어떤 의사결정이 있었는지 알기 어려움

• 암묵적 규칙: 회계 달력, 자격 기준, 승인 정책, 허용되지 않는 지표 등이 조직 전반에 흩어져 있음

• 충돌하는 진실: 재무 시스템과 CRM은 모두 신뢰할 수 있으나, 서로 다른 결과가 나타날 수 있음

이제 핵심 질문은 “모델이 SQL을 생성할 수 있는가?”에서 “에이전트가 기업의 의미와 정책, 이력을 이해하고 그 안에서 제대로 작동하는지 입증할 수 있는가?”로 바뀌었습니다.

신뢰할 수 있는 에이전트를 이해하기 위한 주요 개념

먼저 핵심 개념을 정리해 보겠습니다.

• 분석 시맨틱 모델: 사용자가 스키마나 SQL을 몰라도 데이터를 분석할 수 있도록, 지표와 차원, 엔터티를 정의하고 이를 실제 데이터와 연결해 주는 인터페이스

• 관계 및 아이덴티티 계층(‘온톨로지’라고 불리기도 함): 도메인 전반의 개념, 관계, 규칙을 기계가 읽을 수 있는 형태로 표현한 계층으로, 아이덴티티 식별, 동의어 처리, 제약 조건 등을 포함해 안전하고 명확한 도메인 간 통합을 지원(예: OWL/RDF, 조인 관계를 체계적으로 정리한 구조, 또는 거버넌스가 적용된 데이터 제품과 개념 간 매핑 등)

• 비즈니스 절차: 라우팅, 승인, 예외 처리, 정책 적용 방식 등을 정의한 버전 관리된 운영 플레이북

• 근거 및 출처: 답변이 도출되기까지의 근거와 추적 정보로서, 사용된 데이터 소스, 적용된 변환, 데이터 계보, 그리고 서로 다른 소스 중 어떤 것이 선택되거나 제외됐는지에 대한 판단 기준을 포함함

• 정책 및 권한: 사용자(또는 사용자를 대신하는 에이전트)가 어떤 데이터를 조회하고 계산할 수 있는지, 또 외부에 공개할 수 있는지를 결정하는 규칙으로, 시스템에서 자동으로 적용됨 

시맨틱과 에이전트 컨텍스트: 익숙한 개념의 재조명

시맨틱 모델과 온톨로지는 새로운 개념이 아닙니다. 기업은 BI 시맨틱 계층, 마스터 데이터 관리(MDM), 데이터 카탈로그, 지식 그래프 등을 통해 수십 년간 일관된 의미 체계를 구축해 왔습니다. 온톨로지는 라이프사이언스 및 헬스케어 등의 분야에서도 발전해 왔습니다. 복잡한 생의학 개념과 표준화된 임상 용어 체계가 자연스럽게 그래프 구조를 형성하는 환경이기 때문입니다. 최근 시맨틱 계층과 온톨로지에 대한 관심이 빠르게 증가하는 추세는 자료 1을 통해 확인할 수 있습니다.

이러한 흐름은 충분히 이해할 수 있습니다. 실제로 시맨틱 계층과 온톨로지는 LLM 기반 에이전트를 여러 측면에서 보완합니다. 예를 들어 다음과 같습니다.

• LLM은 사용자의 의도를 해석하고 모호한 상황에서도 추론할 수 있지만, 엔터프라이즈 환경에 필요한 컨텍스트는 부족한 경우가 많습니다. 반면 시맨틱 모델과 온톨로지는 이러한 컨텍스트를 재사용 가능한 형태로 구조화합니다.

• LLM의 출력은 확률에 기반하지만, 시맨틱 자산은 근거가 명확하고 검증이 가능합니다.

• 또한 시맨틱 자산은 그동안 구축 비용이 높고 시간이 지나면서 일관성이 흔들리기 쉬웠지만, 자연어 인터페이스와 에이전트 도구의 발전에 따라 생성하고 관리하며 최신 상태로 유지하기가 훨씬 수월해졌습니다.

목적은 ‘온톨로지’ 자체가 아닌, 고품질 데이터 에이전트를 구축하는 것입니다. 자연어가 주요 인터페이스로 자리 잡으면서, 시스템이 제공해야 하는 역할도 달라지고 있습니다. 이제는 질문을 SQL로 변환하는 것만으로는 충분하지 않습니다. 에이전트는 시맨틱, 아이덴티티, 제약 조건, 정책, 출처까지 아우르는 컨텍스트 계층을 갖춰야 합니다.

이것이 바로 전환점입니다.

• 모델은 '텍스트 → 데이터'를 현실적으로 가능하게 만들었고,

• 에이전트 컨텍스트는 '에이전틱 분석'에 신뢰를 부여합니다.

시맨틱 분석 모델은 지표와 정의를 표준화해 특정 도메인 내에서 신뢰할 수 있는 분석을 제공하는 데 가장 적합합니다. 도메인 간 분석은 에이전트가 엔터티 간 관계, 아이덴티티 식별, 조인 가능성, 제약 조건 등을 명확히 이해하고 있을 때 비로소 신뢰할 수 있게 됩니다. 이는 정식 온톨로지, 잘 정의된 조인 그래프, 또는 개념과 분석 오브젝트 간 매핑 등 다양한 방식으로 구현할 수 있습니다.

실무적으로는 온톨로지나 시맨틱 계층을 그대로 적용하기보다, 에이전트가 실제 엔터프라이즈 환경에서 원활하게 작동하는 데 필요한 요소를 중심으로 선택적으로 활용하는 것이 중요합니다.

신뢰할 수 있는 데이터 에이전트를 위한 실용적 아키텍처

다단계로 구성된 신뢰 가능한 에이전트 분석을 위해서는, 규정 준수가 반영된 시맨틱과 명확한 관계 정의, 감사 가능한 의사 결정 기반이 필요합니다. 또한 엔터프라이즈 환경에서는 이러한 계층들이 유기적으로 함께 작동해야 합니다.

분석 계층

분석 계층은 지표, 차원, 엔터티를 실제 데이터와 연결해 제공합니다. 지표 정의(필터, 조인, 계산식)는 한 곳에서 관리되며, 다양한 에이전트 경험 전반에서 공통으로 재사용됩니다. 시맨틱 뷰는 분석 계층을 위한 정제된 인터페이스로, 거버넌스가 적용되어 안전한 분석을 지원합니다.

'수익'이나 'NRR'과 같은 자연어 질의는 특정 지표 정의로 정확히 매핑되어야 합니다. 여기에는 올바른 필터(예: “계약 성사 건만 집계해줘”), 기본 시간 범위, 허용된 데이터 집계 수준(grain) 등이 포함됩니다.

관계 및 아이덴티티 계층(온톨로지): 개념과 매핑

이 계층은 고객, 계정, 인시던트와 같은 표준 엔터티와 그 사이의 관계를 정의하며, ID, 시맨틱 오브젝트, 테이블 등 데이터 영역과의 매핑도 함께 포함합니다. 아울러 동의어 및 별칭 처리, 시스템 간 아이덴티티 매핑 기능도 제공합니다. 도메인 간 질의에서는 서로 다른 시스템에서 동일한 실제 엔터티를 연결해야 하는 경우가 많습니다(예: CRM 계정 ID와 지원 시스템 조직 ID). 이 계층에서는 이러한 매핑과 함께 도메인 간 연결에 필요한 관계 구조를 제공합니다. 

Snowflake에서는 내부 실험을 통해 여러 시맨틱 뷰를 함께 활용해야 답할 수 있는 쿼리 세트를 구성했습니다. 성능은 최종 답변 정확도, 전체 지연 시간, 그리고 도구 호출 횟수를 기준으로 측정했습니다. 그 결과, 에이전트에 단순한 텍스트 형태의 ‘데이터 온톨로지’(조인 키, 테이블 단위, 카디널리티 및 팬아웃(fan-out) 관련 힌트) 정보를 보강하는 것만으로도, 기준 대비 최종 답변 정확도는 20% 향상되고, 평균 도구 호출 횟수는 약 39% 감소했으며, 전체 지연 시간도 약 20% 개선되는 것을 확인했습니다.

다음은 해당 쿼리 세트입니다.

운영 플레이북(지침): 절차 및 라우팅

이 계층은 에이전트가 특정 요청을 어떻게 처리해야 하는지를 정리해 둔 지침입니다. 신뢰할 수 있는 데이터 소스로 연결하는 방식이나, 필요한 확인 절차, 반드시 거쳐야 할 검증 단계 등이 포함됩니다(예: '가격 정보는 인증된 테이블만 사용', '수주율(win rate) 지표 사용 제한').

일부 쿼리는 일관된 절차에 따라 처리될 필요가 있습니다. 플레이북은 에이전트, BI 어시스턴트, 임베디드 애플리케이션 등 다양한 사용자와 채널 전반에서 동일한 처리 방식을 제공합니다.

근거 및 추적 정보: 사용된 데이터와 결과 산출 과정

이 계층은 답변이 어떻게 생성되었는지 확인할 수 있는 기록을 제공합니다. 선택된 시맨틱 오브젝트, 적용된 필터, 수행된 조인, 그리고 타임스탬프나 데이터 최신성 등이 이에 포함됩니다. 서로 다른 결과가 충돌하는 경우에는 어떤 데이터 소스를 선택했는지, 그리고 어떤 기준에 따라 판단했는지도 함께 제공합니다.

사용자는 종종 “이 값은 어떻게 계산된 거야?”, “왜 다른 보고서와 결과가 다르지?”와 같은 후속 질문을 합니다. 이 계층은 이러한 질문에 일관된 기준으로 답을 제공합니다.

이벤트 및 의사 결정 메모리: 상태 및 근거

이 계층은 비즈니스 엔터티와 연결된 이벤트 흐름과 의사 결정에 관한 정보를 저장합니다. 승인 이력, 인시던트 타임라인, 변경 이벤트, 관련 티켓이나 스레드 등이 여기에 포함됩니다. 이러한 메모리는 다양한 형태로 활용될 수 있습니다. 예를 들어 분석 로직(적절한 조인 방식), 비즈니스 개념(지표 계산 방식의 변경), 정합성 판단 기준(데이터 간 충돌 시 어떤 정보를 신뢰할지) 등에 반영될 수 있습니다. 이는 “왜 이런 결과가 나왔는가”에 대한 근거를 제공합니다. 많은 워크플로우에서는 현재 상태뿐 아니라, 운영 과정에서의 이력까지 함께 설명해야 합니다.

프롬프트 엔지니어링만으로는 부족한 이유

정교한 프롬프트만으로도 에이전트올로지(agentology)를 대체할 수 있다고 생각하기 쉽습니다. 하지만 실제 환경에서는 프롬프트만으로 구성된 시스템이 규모가 커질수록 한계를 드러냅니다. 내부 동작이 불투명하고, 감사가 어렵고, 시간이 지나면서 일관성이 무너질 수 있기 때문입니다.

반면 에이전트올로지 기반 접근 방식은 지속적으로 활용 가능하고, 거버넌스가 적용된 자산을 만들어냅니다.

• 변경 관리: 검토 가능하고 버전이 관리된 형태로 운영 가능

• 감사 가능성: 라우팅 결정, 조인, 지표 정의 등을 설명 가능

• 상호운용성: 하나의 시맨틱 기반으로 BI 도구와 에이전트를 함께 지원

• 거버넌스: 규칙이 단순 지침이 아니라 실제로 적용되는 제약으로 작동

• 재사용성: 개념을 한 번 정의해 다양한 컨텍스트에서 중복 없이 활용 가능

에이전트 컨텍스트 구축 및 유지: AI가 바꾸는 비용 구조

Cortex Code와 같은 강력한 에이전트의 등장으로, 에이전트 컨텍스트를 구축하고 유지하는 작업이 훨씬 수월해졌습니다. 그동안 비즈니스 시맨틱 계층이 어려웠던 이유는 단순합니다. 구축 비용이 높고, 시간이 지나면 금세 뒤처지며, 비즈니스 변화 속도를 따라가기 어려웠기 때문입니다. 반면 AI 에이전트를 활용하면 워크플로우를 훨씬 단순화할 수 있습니다. 에이전트가 문서, 지식 그래프, 온톨로지, 대화 기록, 기타 시스템 데이터를 읽어 컨텍스트를 생성하고 이를 지속적으로 최신 상태로 유지할 수 있습니다.

간단한 AI 에이전트 워크플로우 예시는 다음과 같습니다.

1. 에이전트와 정제된 시맨틱 계층에서 시작합니다(기존 대시보드와 쿼리 이력 활용).

2. 테이블 메타데이터, 과거 쿼리와 사용 패턴, 문서, 플레이북, 기존 온톨로지, 코드 파이프라인 등 기존 데이터 자산을 기반으로 에이전트 컨텍스트를 확장합니다. 이 단계만으로도 상당히 강력한 에이전트를 구성할 수 있습니다.

3. 실제 사용 패턴을 학습합니다.

4. 동의어, 매핑, 누락된 관계 등을 포함한 개선안을 제안합니다.

5. 사람의 검토와 승인을 유지합니다.

6. 비용은 줄이면서 적용 범위를 지속적으로 확장합니다.

전망과 결론

앞으로 이 분야는 다음과 같은 방향으로 발전할 것으로 보입니다.

• 모델이 점점 범용화되면서, 경쟁력의 중심은 모델이 아니라 ‘에이전트 컨텍스트’로 이동할 것입니다.

• 가장 성공적인 에이전트는 온톨로지와 같은 특정 기술 요소에 집중하기보다, 해결해야 할 비즈니스 문제에 초점을 맞추게 될 것입니다.

• 시맨틱 모델은 앞으로도 거버넌스가 적용된 지표와 신뢰할 수 있는 도메인 분석의 기반으로서 역할을 이어갈 것입니다. 또한 에이전트가 이러한 컨텍스트의 주요 소비자가 되면서, 이 계층의 정합성을 유지하고 기계가 이해할 수 있는 형태로 관리해야 할 필요도 더욱 커질 것입니다. 그에 따라, 이 계층은 기존의 정적인 문서에서 벗어나 지속적으로 관리되는 ‘살아 있는 자산’으로 전환될 것입니다.

• Cortex Code와 같은 AI 에이전트를 기반으로, 에이전트 컨텍스트 계층을 생성하고 지속적으로 발전시키기 위한 투자가 확대될 것입니다. 

• 활용이 확대됨에 따라, 플랫폼 간 상호운용성을 높이고 다양한 도구와 환경에서 LLM이 이러한 컨텍스트를 일관되게 해석하고 활용할 수 있도록 하는 표준이 등장할 것으로 보입니다. Open Semantic Interchange(OSI)와 같은 움직임이 이를 뒷받침하고 있습니다.

전반적으로 메타데이터와 데이터 카탈로그에 대한 관심이 다시 높아질 것으로 예상됩니다. 또한 이러한 계층은 사람과 에이전트가 함께 관리하는 형태로 발전할 것입니다. 

다음 단계

복잡한 컨텍스트와 도메인 간 오케스트레이션이 필요한 에이전트를 구축하고 있다면, Snowflake의 최신 기능을 확인해 보세요.

• Semantic Views: 도메인 간 오케스트레이션을 위한 기반을 구축하는 방법을 알아보세요.
• Snowflake Intelligence: 통합 인텔리전스 계층에 비즈니스 가드레일을 어떻게 적용하는지 확인해 보세요.

또한 Snowflake는 차세대 시맨틱 계층과 Snowflake Intelligence를 함께 설계할 전략적 파트너를 찾고 있습니다. Cortex Agents를 함께 구축하고 발전시켜 나가는 데 관심이 있으시다면, 간단한 신청서를 작성해 귀사의 사용 사례가 프로그램에 적합한지 확인해 보시기 바랍니다.