에이전틱 인텔리전스로 계약 검토 시간을 70% 단축한 Snowflake의 접근법

이 글은 Snowflake의 Forward Deployed Engineer 팀이 Snowflake Platform 위에 AI 기반 계약 검토 에이전트를 구축한 과정을 소개하는 내부 사례 연구를 담고 있습니다. 이 도구는 현재 Snowflake 내부에서 사용되고 있으며, 고위험 규제 워크플로우를 최첨단 AI 역량으로 어떻게 혁신할 수 있는지 보여주는 사례로 공유합니다.

사용된 Snowflake 기술: Snowflake Openflow, Snowflake Cortex AI, Cortex Agent, Data Agent Run, Snowflake AI Extract, Streamlit in Snowflake, Snowflake CoWork

기존 계약 검토 프로세스

엔터프라이즈 소프트웨어 비즈니스에서는 견적부터 대금 회수까지 이어지는 전체 프로세스가 계약 검토의 속도와 정확성에 크게 좌우됩니다. 기존에는 회계 운영을 확대하려면, 맞춤형 고객 주문 양식, 기본 계약(MSA) 및 수정 계약서를 일일이 검토할 인력을 늘려야 했습니다. 이러한 수작업 방식은 운영상의 병목을 만들고, 수익 인식에 영향을 미치는 비표준 조항을 식별하는 과정에서 인적 오류 위험을 높일 수 있었습니다.

Snowflake는 엔터프라이즈 규모의 사업을 운영하면서 구조화된 용량 약정부터 특수한 마켓플레이스 계약에 이르기까지 매우 많은 고객 계약을 처리합니다. 각각의 계약에는 용량 약정, 할인 구조, 청구 주기, 인센티브 조항 등 서로 다른 상업적 조건이 포함되어 있으며, 이러한 조건은 수익 인식 규정 준수와 내부 감사 통제를 위해 세밀하게 검토되어야 합니다.

이 프로세스의 내부 통제를 검증하기 위해 감사인은 각 계약서의 PDF 파일을 한 줄씩 읽으며, 각 조항이 표준 또는 비표준에 해당하는지 판단한 뒤, 이에 따른 수익 처리 방식이 적절한지도 검토합니다. 하지만 Snowflake의 계약 규모가 커질수록 이러한 방식은 더 이상 지속 가능하지 않았습니다. 분기마다 수천 건의 주문서를 모두 사람이 직접 꼼꼼하게 검토해야 했기 때문입니다.

Snowflake 내부 감사 부문 VP인 Amrita Kapoor는 이렇게 설명합니다.“감사팀은 비표준 조항을 찾기 위해 PDF를 몇 시간씩 직접 검토했지만, 결국 전체 계약 중 일부 표본에 대해서만 감사 보증을 제공할 수 있었습니다. 우리는 이 모델을 바꿔야 했습니다. AI가 전체 계약서를 빠짐없이 검토하도록 하면 감사인은 예외 사항을 판단하는 데 전문성을 집중할 수 있습니다. 이를 통해 감사 보증 범위를 크게 확대할 수 있고, 궁극적으로는 이러한 시간 절감 효과를 업무 담당 부서에 돌려줄 수 있습니다.”

블랙박스가 아닌 감사인의 AI 코파일럿 구축

팀의 설계 원칙은 명확했습니다. 비표준 조항을 찾아내는 작업은 자동화하되, 무엇을 ‘비표준’으로 판단할지는 감사인이 직접 결정하도록 하는 것입니다. 즉, 감사인의 판단을 AI로 대체하려는 것이 아니라, 건초더미 속에서 바늘을 찾는 것처럼 반복적이고 시간이 많이 드는 작업을 AI가 대신 수행하고, 전문가는 발견된 사항을 어떻게 처리할지 결정하는 데 집중하도록 하는 것이 목표였습니다.

Contract Review Agent의 3단계 구조

수집 및 추출: 주문서 PDF는 소스 시스템에서 Google Drive를 거쳐 Snowflake Openflow를 통해 Snowflake 스테이지로 수집됩니다. 이후 Cortex AI Functions 기반의 Cortex Agent가 문서 레이아웃을 분석하고, AI Extract를 사용해 고객명, 계약 용량, 할인 조건, 결제 일정 등 수익 인식과 관련된 수십 개의 구조화된 필드를 추출합니다.

플레이북 기준 분류 및 비표준 조항 식별: 에이전트는 단순히 AI 모델의 판단에만 의존하지 않고, 사용자가 관리하는 플레이북을 기준으로 추출된 모든 조건을 평가합니다. 이 플레이북은 “표준”과 “비표준”을 정의하는 살아 있는 규칙 집합입니다. 플레이북은 감사팀이 소유하고 직접 편집하는 거버넌스 적용 Snowflake 테이블이며, 엔지니어링 티켓을 통해 별도 개발을 요청할 필요가 없습니다. 에이전트는 모든 계약 조항을 플레이북 기준으로 점수화하고 표준 또는 비표준으로 분류합니다. 이때 신뢰도 점수, 조항 수준의 발췌문, 페이지 참조, 해당 조건에 플래그가 지정된 이유에 대한 자연어 설명도 함께 제공합니다.

표시, 검토, 학습: 분석 결과는 감사인을 중심으로 설계된 애플리케이션에서 제공되며, 포트폴리오 수준 가시성을 위한 관리자 대시보드와 심층 검토를 위한 계약 상세 보기가 함께 제공됩니다. 감사인은 모든 결과에 대해 승인, 수정, 상위 검토 요청(에스컬레이션)을 수행할 수 있습니다. 또한 추출된 정보나 분류 결과를 수정하면 그 내용은 모두 기록되어 추출 팁(Extraction Tips)으로 저장됩니다. 이러한 추출 팁은 플레이북 규칙과 유사하게 장기 메모리에 저장되며, 이후 에이전트가 실행될 때마다 함께 활용됩니다. 각 스키마 필드마다 AI Extract 질문(Custom AI Extract Questions)을 별도로 정의할 수도 있습니다. 이를 통해 감사인은 특정 계약 조건을 AI가 어떻게 해석할지 지속적으로 개선할 수 있으며, 계약을 많이 검토할수록 정확도와 재현율도 함께 향상됩니다. 이와 함께 별도로 제공되는 Snowflake CoWork 에이전트를 사용하면 애플리케이션에 직접 접속하지 않아도 자연어로 감사 진행 상황이나 비표준 계약 비율 등을 조회할 수 있습니다.

_{AI로 생성한 예시 이미지입니다. 실제 고객 또는 회사 데이터를 기반으로 하지 않았습니다.}

감사인이 직접 정의하는 플레이북 규칙

대부분의 AI 계약 검토 도구는 무엇이 “정상”인지에 대한 고정된 모델을 전제로 제공됩니다. 하지만 감사 업무에서는 비표준의 정의가 비즈니스 맥락, 규제 변화, 거래 구조에 따라 계속 달라지기 때문에 이는 문제가 될 수 있습니다.

플레이북 관리자는 이러한 통제 권한을 감사인에게 직접 부여합니다. 이는 Snowflake에 저장되는 편집 가능한 규칙 엔진으로, 애플리케이션 UI를 통해 액세스할 수 있습니다.

• 각 규칙은 계약 조건, 해당 조건을 식별하는 기준, 그리고 분류(표준 또는 비표준)를 정의합니다.
• 모든 변경 사항은 변경 불가능한 감사 추적에 기록됩니다. 여기에는 수행된 작업, 규칙 ID, 변경한 사용자, 변경 시각, 변경 전 값, 변경 후 값이 포함됩니다.
• 규칙은 코드 수정이나 애플리케이션 재배포 없이도 다음 처리 작업부터 즉시 적용됩니다.

따라서 감사팀은 새로운 계약 패턴이 나타나도 몇 분 안에 대응할 수 있습니다. 예를 들어 4분기 계약에서 새로운 할인 구조가 등장하면 감사인이 규칙 하나만 추가하면 되고, 이후부터 에이전트는 전체 코퍼스에서 해당 조건을 식별해 표시하기 시작합니다. 즉, 플레이북은 엔지니어링 개발 속도가 아니라 비즈니스의 변화 속도에 맞춰 진화합니다.

_{AI가 생성한 설명용 예시입니다. 실제 고객 또는 회사 데이터를 기반으로 하지 않았습니다.}

미처 예상하지 못한 계약 조항까지 포착

규칙 기반 탐지는 이미 알려진 패턴을 찾아내는 데 효과적입니다. 하지만 계약서는 매우 다양한 형태로 작성되기 때문에 기존 규칙으로는 예상할 수 없는 새로운 조항이 계속 등장합니다. 이러한 경우를 위해 신규 계약 조항 탐지가 필요합니다.

이 시스템은 2단계 방식으로 동작합니다. 먼저, 표준 계약 조항으로 구성된 코퍼스를 임베딩하고 인덱싱합니다. 에이전트가 이 코퍼스와 의미적으로 거리가 먼 조항을 발견하면, 해당 조항을 새로운 계약 조건일 가능성이 있는 항목으로 표시합니다. 다음으로, 이렇게 플래그된 조항을 기존 플레이북 규칙과 대조해, 실제로 새로운 계약 조건인지 아니면 이미 알려진 패턴인지 다시 판단합니다.

새롭게 탐지된 신규 조항은 별도의 화면에 표시되며, 감사인은 이를 의미 있는 이상 사례인지 아니면 일상적인 노이즈인지 직접 분류하여 레이블을 지정합니다. 이러한 레이블은 다시 시스템에 반영되어, 이후 분석에서 무엇을 우선순위로 삼아야 하는지 학습시키는 데 활용됩니다. 시간이 지날수록 신규 계약 조항 탐지 기능은 더욱 더 정교해집니다. 계약을 가장 잘 이해하는 사람들이 직접 조율하기 때문입니다.

결과

• 계약 검토 시간 70% 단축: 이전에는 여러 단계의 사전 준비가 필요했던 작업을 AI가 처리하면서, 며칠씩 걸리던 검토를 몇 시간 안에 완료할 수 있게 되었습니다.
• 인력 증가 없이 전체 계약 검토 수행: 감사 인력을 계약 증가 속도에 맞춰 계속 늘리지 않고도, 분기마다 수천 건의 주문서를 수익 인식 관점에서 모두 검토할 수 있게 되었습니다.
• 설계 단계부터 확보한 감사 가능성: 모든 정보 추출, 분류, 규칙 변경, 수정 사항은 전체 프로비넌스와 함께 로그로 기록되어, 외부 감사인이 기대하는 수준의 증거 추적성을 제공합니다.
• 시간이 지날수록 향상되는 정확도: 모든 검토 과정에서 이루어진 수정과 분류 결과가 다시 시스템에 반영되어, 배치가 거듭될수록 정확도가 누적적으로 향상됩니다.

_{AI가 생성한 설명용 예시입니다. 실제 고객 또는 회사 데이터를 기반으로 하지 않았습니다.}

고객 계약을 넘어 더 다양한 계약으로

이와 동일한 아키텍처는 다른 유형의 계약으로도 확장되고 있습니다. 기본적인 방식을 동일합니다. 먼저 문서 유형에 맞는 정보 추출 스키마를 정의하고, 해당 문서에서 무엇을 표준(Standard)으로 볼 것인지 플레이북 규칙을 작성합니다. 그러면 에이전트가 방대한 계약서를 모두 검토하고, 전문가는 최종 판단이 필요한 부분에만 집중할 수 있습니다.

Snowflake의 비정형 데이터 애플리케이션 제품 관리자(PM)인 Nikolai Scholz는 이렇게 설명합니다.“계약 검토를 비즈니스 성장 속도에 맞춰 확장할 수 있는 방법은 이러한 시스템뿐입니다. 이런 시스템이 없으면 계약이 늘어날 때마다 운영 인력도 같은 비율로 늘려야 합니다. 하지만 이런 시스템이 있으면 적은 인력으로도 더 넓은 범위를 검토할 수 있으며, 전문가가 지속적으로 학습 데이터를 제공하기 때문에 시스템은 분기마다 더욱 똑똑해집니다.”