한 주에 각각 1,000건의 AI 상호작용을 기록한 두 조직이 있다고 가정해 보겠습니다. 첫 번째 조직에서는 대부분의 상호작용이 설명 요청과 조회입니다. 두 번째 조직에서는 데이터 파이프라인을 구축하고, 이상 징후를 조사하며, 다단계 워크플로우를 실행하고 있습니다.
대부분의 엔터프라이즈 AI 대시보드는 이 두 조직을 동일하게 평가할 것입니다. 1세대 AI 개발자 지표는 접근 권한과 활동량, 즉 라이선스를 보유한 인원, 활성 사용자 수, 전송한 프롬프트 수를 측정했습니다. 하지만 이러한 지표만으로는 AI가 의미 있는 업무 성과를 만들어 내고 있는지 알 수 없습니다.
이 질문에 답하려면 사람들이 AI를 어떤 업무에 사용하는지, 그리고 그 사용 방식이 변화하고 있는지를 추적해야 합니다. 다음은 AI 가치를 측정하는 데 사용하는 프레임워크와, 이를 Snowflake 내부 두 팀에 적용해 확인한 결과입니다.
AI 가치 측정을 위한 4단계 프레임워크
1. AI가 수행하는 업무부터 파악
어시스턴트에게 SQL 문을 설명해 달라고 요청하는 것과 에이전트에게 파이프라인 구축이나 장애 조사를 맡기는 것은 전혀 다른 요청입니다. AI가 수행하는 업무를 다음 세 가지 수준으로 나눌 수 있습니다.
- 기초 업무: AI가 코드를 설명하고, 질문에 답하며, 낯선 개념을 이해하도록 돕습니다.
- 응용 개발: AI가 코드를 작성 및 수정하고, 데이터를 탐색하며, 문제를 해결하고, 보고서나 애플리케이션을 구축합니다.
- 에이전틱 업무: 이는 다단계 프로세스입니다. AI가 여러 맥락을 바탕으로 추론하고 도구를 사용하며, 단순히 하나의 질문에 답하는 데 그치지 않고 원하는 결과를 끝까지 완성하도록 돕습니다.
이 구분은 사용량이 아니라 업무의 성격을 설명하므로 점검할 기준을 제공합니다. AI가 실제로 업무 여력을 만들어 내고 있다면 절감된 시간은 에이전틱 수준에서 나타나야 합니다.
2. 도입률과 활용 숙련도의 분리 측정
다음 질문은 더 높은 가치의 사용 방식이 소수의 사람을 넘어 확산되었는지입니다. 이를 판단하는 데 필요한 차원은 두 가지입니다.
- 도입률: 대상 집단 전반에서 AI가 얼마나 널리 사용되는지를 측정합니다.
- AI 활용 숙련도: AI에 위임하는 업무가 얼마나 정교해졌는지를 보여줍니다.
이 두 차원을 함께 보면 네 가지 위치를 정의할 수 있습니다.
자료 1: AI 도입률과 AI 활용 숙련도 측정
3. 산업 벤치마크로 맥락 확보
숫자 하나만으로는 행동으로 옮기기 어렵습니다. 대상 개발자의 35%가 AI 코딩 에이전트를 적극적으로 사용한다고 해도, 그 수치만으로 35%가 좋은 수준인지 판단할 수 없습니다. 이는 비교 가능한 조직들이 무엇을 하고 있는지에 달려 있으며, 기대 수준도 산업마다 다릅니다. 소프트웨어 기업과 규제 산업에 속한 보험사는 같은 기준선에서 출발하지 않습니다.
동종 업계 벤치마킹은 두 차원 모두에서 상대적 위치를 보여줍니다. 도입률이 35%라고 보고하는 데 그치지 않고, 해당 산업에서 신흥, 성장, 숙련, 선도 조직 중 어디에 해당하는지 알려줄 수 있습니다.
활용 숙련도에도 같은 원리가 적용됩니다. 어떤 조직은 도입은 넓게 이루어졌지만 에이전틱 업무는 거의 없을 수 있습니다. 또 다른 조직은 소수의 사용자가 정교한 업무를 수행하고 있지만 그 방식이 아직 확산되지 않았을 수 있습니다. 이 두 결과에는 서로 다른 대응이 필요합니다.
4. 최고 사용자와 나머지 사용자 간 격차 확인
가장 앞선 사용자들은 주목해야 할 중요한 신호입니다.
대부분의 조직에서는 소수의 사람들이 동료들보다 먼저 효과적인 AI 워크플로우를 찾아냅니다. 이들은 더 큰 업무를 AI에 넘기고, 더 나은 맥락을 제공하며, 여러 도구를 결합하는 법을 익힙니다. 이러한 패턴을 단순한 일화 모음이 아니라 로드맵으로 봐야 합니다.
실질적인 질문은 한 사람의 행동을 어떻게 100명에게 확산할 것인가입니다. 저희에게 효과가 있었던 전술은 네 가지였습니다.
- 파워 유저가 시연에 그치지 않고 직접 가르치게 하기: 이미 성과를 내고 있는 팀원이 이끄는 실습형 워크숍은 벤더 교육 세션보다 효과적입니다. 회의실이 꽉 찼는지가 아니라 한 달 뒤에도 주간 사용량이 유지되는지를 봐야 합니다. 습관을 바꾸는 워크숍은 일시적인 사용량 급증만 만드는 워크숍과 확연히 다른 양상을 보입니다.
- 워크플로우를 레시피와 템플릿으로 전환하기: 누군가 문제를 잘 해결했다면, 동료가 읽기만 하는 자료가 아니라 직접 실행할 수 있는 형태로 기록하게 하세요. 검증 기준은 다음 사람이 작성자에게 질문하지 않고도 실행할 수 있는지입니다.
- 정기적인 사례 공유 세션 운영하기: 사람들이 자신이 구축한 워크플로우를 공유할 수 있는 정기 시간을 마련하고, 작동하지 않았던 부분까지 함께 설명하게 합니다. 실패 사례는 성공 사례보다 더 잘 전파됩니다. 어떤 문제가 시도할 가치가 있는지 다른 사람들에게 알려주기 때문입니다.
- 라이브러리를 쉽게 찾을 수 있게 하기: 대부분의 팀이 놓치는 단계가 바로 이것입니다. 재사용 가능한 워크플로우가 수십 개로 늘어나면 병목은 만드는 일이 아니라 찾는 일이 됩니다. 검색할 수 없는 라이브러리는 아무도 재사용하지 않는 라이브러리입니다.
목표는 검증된 관행을 소수에서 다수로 확산하는 것이며, 이때 열의보다 중요한 것은 이를 가능하게 하는 메커니즘입니다.
측정 결과를 행동으로
측정은 현재 상태를 보여주는 데 그치지 않고 다음 행동을 가리킬 때 비로소 가치를 발휘합니다. 일반적으로 세 가지 위치가 있으며, 각각 다른 실행 방향을 시사합니다.
- 정교하지만 좁은 사용: 얼리어답터는 고급 업무에 에이전트를 사용하지만, 대부분의 대상자는 아직 시작하지 않은 상태입니다. 접근 장벽을 낮추고, 내부 사례를 공유하며, 지원 및 교육을 확대해야 합니다.
- 넓지만 얕은 사용: 많은 사람이 AI를 사용하지만 대부분 설명 요청과 단순 코드 생성에 머물러 있습니다. 예시, 템플릿, 실습 교육을 통해 더 큰 업무를 AI에 넘기는 방법을 보여줘야 합니다.
- 넓고 정교한 사용: 도입 확대는 더 이상 우선순위가 아닙니다. 반복 가능한 워크플로우를 찾고, 재사용 가능한 에이전트를 구축하며, 개발 속도나 운영 효율성과 같은 성과를 측정해야 합니다.
같은 지표라도 조직이 어디에 위치해 있는지에 따라 서로 다른 권고로 이어집니다.
Snowflake 내부 팀에 프레임워크 적용
Snowflake 내부에서 저희는 두 분기 동안 이 프레임워크를 에이전틱 AI 개발 어시스턴트인 Snowflake CoCo에 적용했습니다. 업무 성격이 매우 다른 두 팀이 비슷한 위치에 도달했으며, 두 경우 모두 성과는 기초 수준의 사용이 아니라 에이전틱 워크플로우에서 나왔습니다.
제품 데이터 사이언스: 진단 런북 자동화
Snowflake의 제품 데이터 사이언스 팀은 수천 개의 데이터 파이프라인을 운영합니다. FY27 1분기에 이 파이프라인들은 960차례의 점검이 필요했으며, 이 규모에서는 일반적인 수준입니다. 숙련된 엔지니어가 사례 하나를 진단하는 데 약 30분이 걸렸습니다. 이를 환산하면 매월 약 160시간의 전문가 시간이 진단에 투입된 셈입니다.
이제 CoCo가 그 진단을 수행합니다. Q1과 Q2 동안 CoCo는 팀과 함께 일하며 다음과 같은 성과를 냈습니다.
- 500개 이상의 파이프라인 개선
- 병합된 PR 100건 이상 생성
- 인시던트 발생 후 테스트를 거쳐 리뷰 가능한 수정안이 나오기까지의 시간을 16분 미만으로 단축
- 매일 낭비되던 수백 크레딧 절감
비용이 큰 파이프라인을 최적화하는 일은 가치가 크지만 긴급한 경우는 드뭅니다. 그래서 끝없이 뒤로 밀리기 쉽습니다. 이러한 변경을 일상적으로 제안하는 에이전트라면, 여유가 생기는 한 주를 기다릴 필요가 없습니다.
CoCo가 투입되기 전부터 팀은 이미 중요한 작업을 해두었습니다. 수백 건의 인시던트를 거치며 작성된 엄격한 진단 런북이 있었고, 다양한 유형의 인시던트 원인을 파악하는 데도 충분히 일반화되어 있었습니다. 이처럼 철저한 체계 덕분에 인시던트를 일관되게 해결할 수 있었습니다. 런북은 이미 확장하기에 충분할 만큼 잘 정리되어 있었습니다. 필요했던 것은 누군가의 시간이 날 때까지 기다리지 않고 실행할 방법이었습니다.
그래서 팀은 런북을 CoCo에 넘기고, 사람이 키를 입력하는 대신 알림이 이를 실행하도록 했습니다. 단계도, 기준도 같았습니다. 다만 팀의 일정이 아니라 인시던트의 일정에 맞춰 실행됐습니다.
이것이 바로 프런티어에서 주류로 확산되는 패턴을 가장 문자 그대로 보여 주는 사례입니다. 한 팀 안에 머물던 방법이 스스로 실행되는 워크플로우가 된 것입니다. 신규 입사자 온보딩에 쓸 수 있을 만큼 명확한 방법이라면 AI에 맡겨도 충분합니다. 그리고 그 방법이 현재 한 전문가의 경험 속에만 있다면, 이를 문서화하는 것만으로도 충분히 가치가 있습니다.
리뷰 방식
CoCo가 제안하고 사람이 결정합니다. 모든 변경 사항은 풀 리퀘스트로 올라오며, 지정된 담당자가 이를 리뷰하고 승인합니다. 병합과 배포는 계속 팀이 담당합니다.
그 경계는 의도적으로 설계된 것이며, 실제 작업이 있는 지점으로 이동합니다. 이제 관리해야 할 대상은 리뷰어의 주의력입니다. 팀이 읽을 수 있는 것보다 더 많은 제안을 만들어낸다면, 제약을 제거한 것이 아니라 다른 위치로 옮긴 것에 불과합니다. 그 대신 엔지니어들은 160시간의 진단 작업을 마지막 판단 단계로 옮겼습니다. 바로 사람의 판단이 꼭 필요한 부분입니다.
실무적인 교훈은 다음과 같습니다. 작업의 결과물이 항상 사람이 리뷰할 수 있는 형태가 되도록 설계해야 합니다. 리뷰가 통제 장치가 되며, 그렇기 때문에 프로덕션 파이프라인을 대상으로도 수월하게 실행할 수 있습니다.
마케팅: 자신감 11.6%에서 주간 사용률 70%로
이 접근 방식이 일반화될 수 있다는 가장 분명한 증거는 엔지니어가 거의 없는 조직에서 나왔습니다. Snowflake의 마케팅 조직은 약 600명 규모이며, 대부분은 SQL 문보다 캠페인 슬로건에 더 익숙한 사람들입니다.
2025년 2월 북미 마케팅 팀을 대상으로 실시한 내부 설문조사에서, 자신의 역할에서 AI를 사용하는 데 매우 자신 있다고 답한 비율은 11.6%였습니다. 그해 말 Snowflake CoCo가 리서치 프리뷰로 제공되었을 때, 북미 마케터 8명이 매주 이를 사용했습니다.
2026년 5월에는 글로벌 마케팅 팀 전반의 주간 CoCo 사용률이 70%에 도달했습니다. 별도 조사에서는 93%가 AI 도구를 매일 사용한다고 답했습니다. 첫 번째는 관찰된 행동이고 두 번째는 자기 보고 결과이므로, 저희는 첫 번째 수치를 앞세웁니다.
마케팅 팀이 구축한 것:
Summit 작업 한 주 분량을 20분으로 단축한 모션 그래픽 내보내기 파이프라인.
인터뷰 일정을 예약하고 분기별 리더십 덱을 생성하는 CoCo 및 Streamlit 기반 수주 성패 보고 앱. 월 3시간의 인터뷰 대상자 선정 작업과 일주일 분량의 덱 작업이 이제 90% 가량 자동화됨.
사람의 개입 없이 글로벌 캠페인에 대한 하루 2,000~3,000건의 이메일 답장을 처리하며, 계획되어 있던 소프트웨어 구매를 대체하는 인바운드 자동화 엔진.
이후 마케터들은 개인 및 프로젝트 수준의 스킬을 600개 이상 만들었고, 100~200명은 처음부터 직접 구축함. 사용자당 주간 스킬 실행 횟수의 중앙값은 7개임.
이처럼 두 차원 모두 변화했습니다. 도입은 자신 있는 소수의 사용에서 주간 사용률 70%로 확대됐고, 숙련도는 질문을 던지는 수준에서 작성자가 없어도 실행되는 워크플로우를 직접 만드는 수준으로 발전했습니다. 도입만 살피는 대시보드였다면 이 변화의 절반을 놓쳤을 것입니다.
이 변화는 모두 동료 주도로 운영된 분기별 AI Days, 지역 해커톤, 뉴스레터, 오피스 아워에서 비롯됐습니다.
플랫폼 컨텍스트가 중요한 이유
어느 정도 성능을 갖춘 AI 어시스턴트라면 오류 메시지는 얼마든지 읽을 수 있습니다. 이 결과가 프로덕션에서도 유지되는 이유는 CoCo가 데이터 플랫폼 내부에서 작동하기 때문입니다. 실제 수정에 필요한 컨텍스트가 이미 그 안에 있습니다.
CoCo는 데이터 카탈로그와 리니지를 읽고, 데이터가 최신 상태인지 확인하며, 비즈니스의 어느 부분이 특정 테이블에 의존하는지 파악합니다. 인터랙티브 사용 시에는 이를 사용하는 사람의 권한으로 실행되므로, 범위도 해당 사용자와 일치합니다. 이러한 기반이 있기에 사람을 위해 작성된 런북을 에이전트로 이전할 수 있습니다.
Snowflake는 주장만 하지 않고 측정 결과도 공개했습니다. Snowflake AI Research는 결과 파이프라인이 실제로 작동하는지를 기준으로 평가한 103개의 실제 데이터 엔지니어링 작업으로 구성된 오픈 벤치마크 data-eng-bench를 구축했습니다. 이 벤치마크에서 CoCo는 저희가 테스트한 범용 코딩 어시스턴트보다 비용 대비 품질 측면에서 앞섰습니다.
첫 워크플로우 범위 설정 방법
이 결과를 만든 패턴은 ‘AI 도입’보다 훨씬 구체적이었고, 그래서 효과가 있었습니다.
- 반복 가능하고 명확히 정의된 작업부터 시작하기: 알려진 카테고리의 알림에 대응하거나, 정기 정리를 수행하거나, 누군가 매주 월요일 반복해서 실행하는 분석을 맡기는 식입니다. 전제 조건은 특정 기술이 아니라 문서화된 방법입니다.
- 판단이 많이 필요한 작업은 인터랙티브 방식으로 유지하기: 새로운 문제에서는 사람과 어시스턴트가 함께할 때 어느 한쪽만으로는 얻기 어려운 성과를 냅니다. 그리고 작업가 어느 카테고리에 속하는지 아는 것이 역량의 대부분입니다.
- 양보다 일관된 사용 추적하기: 양보다 일관된 사용을 추적합니다. 누군가 어시스턴트를 사용하기로 선택한 일수는 보낸 프롬프트 수보다 더 많은 것을 말해주며, 그 작업이 재사용 가능한 결과물을 만들어낼 때 신호는 가장 강해집니다.
이 패턴이 어디까지 적용되는지는 아직 파악해 나가는 중입니다. 개선된 파이프라인과 해결된 문제를 보고하고 있습니다. 제기된 제안 대비 수락된 제안의 비율은 다음에 공개할 계획인 지표입니다. 이 수치는 이 패턴이 그 대가로 얼마나 많은 리뷰어의 주의를 요구하는지를 보여주기 때문입니다. 현재 이를 측정할 수 있도록 계측을 진행 중입니다.
사용, 이해, 벤치마킹, 실행, 영향
프롬프트 수, 활성 사용자 수, 소비량은 출발점으로 여전히 중요합니다. 더 완전한 그림을 얻으려면 네 가지 질문에 답해야 합니다.
- 누가 AI를 사용하고 있는가?
- 어떤 작업에 AI를 사용하고 있는가?
- 그 작업은 동료와 조직 내 최고 사용자들의 작업에 비해 얼마나 정교한가?
- 다음으로 무엇을 해야 하는가?
이 네 단계는 사용, 이해, 벤치마킹, 실행, 영향이라는 순서로 이어집니다. 각 단계는 그 이전 단계에 의존합니다.
이 순서는 앞서 언급한 두 조직의 차이도 설명합니다. 두 조직의 차이는 상호작용 횟수에 있지 않았습니다. 한 조직은 문서화된 방법을 에이전틱 작업으로 옮겼고 다른 조직은 그렇지 않았습니다. 이 차이는 두 번째 유형의 측정에서만 드러납니다.
따라서 팀이 이미 실행하고 있는 반복 가능하고 잘 문서화된 프로세스 하나를 선택하고, 현재 그 비용이 얼마나 드는지 측정해 보세요.
Snowflake AI Research의 103개의 프로덕션급 작업으로 구성된 오픈 벤치마크인 data-eng-bench에서 실제 데이터 엔지니어링 작업의 에이전트 품질과 비용을 어떻게 측정하는지 확인해 보세요.
