Behind the Build: GTM 팀을 위한 신뢰할 수 있는 AI 만들기

임원진 앞에서 진행되는 영업 미팅은 늘 긴장되는 자리입니다. 영업 담당자는 고객사의 비즈니스에 대해 최신 프로젝트와 향후 관심사는 물론, 그간 접점에서 얻은 모든 정보와 맥락까지 꿰고 있어야 합니다. 정확성이 관건이니 만큼 하루이틀 만에 끝낼 수 있는 준비가 아닙니다. 하지만 AI가 제품 및 CRM 데이터, 사내 영업 노하우 등 전사적 데이터에서 나온 정확하고 신뢰할 수 있는 인사이트를 제공한다면 사정은 달라질 것입니다.

이제 Snowflake Intelligence가 공개 미리 보기로 제공되므로, 이를 현실로 만들 수 있습니다. 우리는 지난 한 해 동안 우리 GTM 팀을 위한 생성형 AI 도구인 GTM AI Assistant를 개발해 왔습니다. 이 도구는 단순히 정보를 제공하는 것을 넘어, 정형 및 비정형 데이터를 해석하여 비즈니스 컨텍스트를 이해하고, 믿고 쓸 수 있는 인사이트를 대화 속도로 제공하도록 설계되었습니다.

이건 평범한 내부 AI 프로젝트가 아니었습니다. 이 엔터프라이즈급 시스템은 영업 프로세스 전반에서 영업 팀, 운영 팀 및 경영진에게 필요한 모든 정보를 표준화하여 전사적으로 공유할 수 있도록 지원함으로써 업무 효율 및 효과를 높입니다. 출력물의 정확성은 필수이며 이를 위해선 설계 결정 하나하나가 중요한 역할을 합니다.

그 과정에서 우리가 배운 교훈을 나누고자 합니다.

교훈 1: 문제점을 명확하게 파악할 것

우리가 처음 착수한 일은 영업 담당자의 워크플로우를 분석하여 애로점을 파악하는 것이었습니다. 고객 미팅 준비를 예로 들어 보겠습니다. 아마 여러 탭을 오가느라 분주한 영업 담당자의 모습이 떠오르실 겁니다. 대시보드, Salesforce, 내부 문서, 지원 시스템, 웹 검색 등의 탭을 오가며 필요한 컨텍스트를 수작업으로 조합하겠지요.

우리는 AI를 이용하면 이러한 경험이 대화형이 될 수 있다는 사실을 깨달았고, 이를 실현하기 위해 Snowflake Intelligence를 사용했습니다. GTM AI Assistant를 통해 영업 담당자는 모든 영업 데이터 및 지식 리포지토리의 정보를 간편하게 활용할 수 있으므로 정보를 찾고, 검증하고, 취합하느라 쓰던 시간을 크게 줄일 수 있습니다. 따라서 실제 비즈니스 성과로 이어지는 핵심 영업 활동에 더 많은 시간을 할애할 수 있게 됩니다.

영업 담당자는 AI 어시스턴트에게 이런 식으로 질문이나 요청을 할 수 있습니다.

• “이 사용 사례에 가장 적합한 교육은 뭘까?”
• “고객이 최근 채택한 피처가 어떤 이점이나 효과가 있을까?”
• “지난 달 고객사의 Snowflake 사용 현황 좀 요약해줘.”
• “이 고객사의 경우 주의가 필요한 부분은 어디일까?”
• “참고할 만한 유사 사례로 뭐가 있을까?”
  
  

그러면 AI 어시스턴트는 다음과 같은 고객 관련 정보를 포함하는 간결하고 맥락에 맞게 정리된 답변을 제공합니다.

• 회사 개요: 신뢰할 수 있는 공개 소스에서 발췌한 간략한 프로필
• Snowflake 활용 현황: 계약 조건, 워크로드, 계정 팀, 사용 추이 및 예측 등
• 소비 인사이트: 주요 패턴과 특이 사례로 분석한 지난 12개월간의 사용 실태
• 사용 사례 채택 현황: Snowflake 기능 및 산업 벤치마크에 매핑된 활성 및 신규 사용 사례
• 고객 지원 내역: 최근 생성 티켓, 고객 반응, 미해결 에스컬레이션 등의 요약
• 역량 강화 및 모범 사례: 산업, 페르소나 및 성숙도에 맞춰 큐레이팅된 교육, 제품 가이드, 토크 트랙 및 활용 사례

이는 단순한 검색 기능이 아니라 추론을 수반하는 기능입니다. AI 어시스턴트는 기초 리소스에서 컨텍스트 해석에 따른 핵심 정보를 추려 제시합니다. 그 결과 고객 상담 준비 시간은 줄고, 상담 임팩트는 커지며, 핵심 GTM 업무에 더 많은 시간을 쓸 수 있습니다.

교훈 2: 콘텐츠는 양보다 질

우리는 GTM AI Assistant 설계에 대해 많은 고민을 했습니다. Snowflake에 축적된 방대한 정보 가운데 신뢰할 수 있는 정확한 결과를 도출하는 데 유효한 정보가 무엇인지 결정해야 했습니다. 

어시스턴트 설계 초기 단계에서 내린 핵심 결정 중 하나는 모든 것을 인덱싱하지 않는다는 원칙이었습니다. AI가 프리젠테이션, 이메일, Slack 채널 등 모든 자료에 액세스할 수 있다고 해서 반드시 그래야 하는 것은 아닙니다.

LLM의 응답 품질은 제공받은 컨텍스트의 품질에 달려 있습니다. 엔터프라이즈 환경에서 컨텍스트는 종종 오래되거나 중복되기도 하고, 혼란스럽거나 상충되기도 합니다. 수십 개 시스템에 산재된 수천수만 개의 문서를 인덱싱하면 포괄적인 것처럼 보일 수 있겠지만, 실제로는 명확함보다 혼란을 초래하기 쉽습니다.

그래서 우리는 다른 접근법을 택했습니다.

모든 워크스페이스와 채팅 로그를 크롤링하는 대신 GTM AI Assistant의 추론에 쓰일 신뢰할 수 있는 최신 콘텐츠 세트를 큐레이팅하기로 했습니다. 여기에는 다음이 포함됩니다.

• 공식 영업 교육 자료
• 인증된 제품 및 솔루션 데크
• 신호 대 잡음 임계치를 적용한 주요 Slack 채널
• 제품 및 마케팅 팀의 역량 강화 설명서

그 결과는 이렇습니다. 영업 담당자가 "데이터 엔지니어에게 Snowpark를 포지셔닝하는 가장 좋은 방법은 뭘까?"와 같은 질문을 할 때, 어시스턴트는 오래된 영업 스크립트에 의존해 추측하는 게 아니라 바로 그 목적을 위해 제작된 검증된 자료를 활용합니다.

고품질 데이터로 입력을 한정하면 신호 품질은 크게 향상되고, 허위 응답은 크게 감소됩니다. 우리가 거듭 확인한 교훈은 이것입니다. 컨텍스트는 많을수록 좋은 게 아니라, 좋을수록 좋은 것입니다.

교훈 3: 정형 데이터의 생명은 정확성

질문의 유형에 따라 결과의 ‘정확성’은 해석과 평가가 매우 다를 수 있습니다. 개방형 질문의 경우, ‘정확한’ 정보를 제공하는 다양한 구문, 길이 또는 구조의 답변이 가능합니다. 

평범한 질문 하나를 놓고 살펴보겠습니다. “이 고객의 1분기 소비 금액은 얼마였나요?”

여기서 정확성은 융통성이 있을 수가 없습니다. 답은 1원까지 정확해야 하며, 오직 하나의 수치만이 정답입니다.

LLM에게는 이게 어려운 문제입니다. LLM은 확률 모델로, 다음 단어를 예측하도록 설계되어 있기 때문에, 정확성이 중요한 정형 데이터 질문에서 오류가 발생할 수 있습니다. 또한 결정론적 쿼리와 달리 LLM은 동일한 정확한 답변을 두 번 제공하지 못할 수 있으므로 정확도만큼 일관성이 중요합니다.

요구 수준이 그만큼 더 높은 것이지요. 거버넌스와 정밀성이 생성형 AI에도 중요한 이유입니다.

우리는 LLM의 유연성과 정형 데이터의 정밀성 사이의 간극을 어떻게 좁힐지 깊이 고민했습니다. 결국 우리는 세 가지 핵심 설계 원칙을 통해 이 문제를 접근했습니다.

1. 올바른 시맨틱 데이터 파운데이션 구축

정형 데이터에 대한 질문에 신뢰할 수 있는 답을 기대하려면 먼저 답의 의미에 대한 합의가 필요합니다. 

‘회계연도’나 ‘활성 고객’의 정의는 기업마다 다를 수 있습니다. 비즈니스 내에 이러한 모호함이 존재할 경우, LLM은 이를 증폭시킵니다.

우리는 공유 시맨틱 계층을 구축하여 이 문제를 해결했습니다. 영업, 마케팅 및 지원 부서 전체의 주요 지표, 개체 및 로직을 정의한 것입니다. 이 정의를 Snowflake Semantic Views에서 웨어하우스 수준으로 모델링하고, 인간과 AI 시스템이 모두 해석할 수 있도록 문서화했습니다.

2. 검증된 쿼리 리포지토리

우리는 자주 묻는 질문에 대해 데이터 팀이 검증한 SQL 쿼리를 모은 큐레이팅된 라이브러리를 유지하고 있습니다. 영업 담당자가 "내 고객의 현재 활용률은 얼마지?"라고 물으면, AI 어시스턴트는 새 쿼리를 작성하는 게 아니라 이미 검증된 쿼리에 이 요청을 매핑합니다. 검증된 쿼리를 사용할 때는 체크마크가 있는 방패 아이콘이 표시됩니다. 검증된 쿼리가 사용된 것을 사용자가 바로 알 수 있게요. 이 작은 신호가 사용자에게 신뢰를 주고, 영업 담당자가 실험적 출력물과 엔터프라이즈급 답변을 구별할 수 있도록 해줍니다.

3. 지속적인 테스트 및 평가

우리 팀은 품질과 일관성을 지속적으로 모니터링하며 승인된 프롬프트에 대해 자동화된 테스트를 실행합니다. 오류 사례를 발견하면 검증된 쿼리 확장, LLM 지침 개선, 메타데이터 추가 등의 방법으로 시스템을 보완합니다. 또한 샘플링, 수동 검토 및 LLM을 평가자로 활용하는 방법을 조합하여 실사용 성능을 평가함으로써 AI 어시스턴트가 사용자 요구 사항을 충족하는지 확인합니다.

향후 전망

앞으로 GTM 워크플로우가 AI 솔루션으로 지원되는 추세가 심화될 텐데 제대로 기능하려면 엄격한 기준을 바탕으로 구축해야 할 것입니다. 우리 팀의 목표는 마찰을 제거하고 반복 업무를 자동화하여 Snowflake 내 모든 워크플로우에서 인사이트가 자연스럽게 흐르도록 만드는 것입니다. 이미 GTM AI Assistant는 Snowflake의 많은 팀이 계정 현황을 신속히 파악하고, 고객 데이터에 대한 인사이트를 빠르게 얻고, 적절한 영업 리소스를 즉각적으로 활용할 수 있도록 지원하고 있습니다. 현재 우리는 주당 5천 건 이상의 사용자 쿼리를 처리하여 수백 시간을 절약하고 있으며, 이는 시작에 불과합니다. 

우리는 데이터를 퍼스트클래스 제품으로 여깁니다. 답에 신뢰를 직접 심어야 합니다. 그리고 시스템이 추측해도 될 때와 안 될 때를 알도록 설계해야 합니다.