많은 엔터프라이즈 AI 워크로드는 결국 의사 결정의 문제입니다. 기록이 어떤 카테고리에 속하는지, 트랜잭션의 위험도가 어느 정도인지, 티켓을 추가로 처리해야 하는지를 판단하는 일이 여기에 해당합니다. 이러한 태스크 중 상당수는 가능한 답변 범위가 정해져 있으며, 대형 테이블 전반에서 대용량으로 실행됩니다.
범용 LLM도 이러한 태스크를 처리할 수 있지만, 실제 업무에 필요한 수준보다 더 높은 비용과 지연 시간이 발생할 수 있습니다. 의사 결정 모델은 복잡한 추론이 필요 없는 단순한 대용량 태스크에 맞게 설계되었습니다. 분류, 점수화, 필터링, 라우팅이 대표적입니다. 이 모델은 카테고리, 점수, 예/아니요 확률처럼 워크플로우가 바로 활용할 수 있는 정형화된 답변을 반환합니다.
고객은 이미 Cortex AI Functions를 사용해 데이터를 대규모로 분류하고, 점수화하고, 라우팅하고 있습니다. 이제 Snowflake는 단순한 대용량 태스크를 더 효율적으로 확장할 수 있도록 AI_COMPLETE를 통해 사용할 수 있는 의사 결정 모델인 Snowflake Decision(프라이빗 프리뷰)을 지원합니다. 이 호출은 Snowflake Cortex AI Functions에서 실행되므로, 이미 구축해 둔 거버넌스, 액세스 제어, 감사 정책이 모든 의사 결정에 그대로 적용됩니다.
효율적이고 정확한 구조화된 의사 결정을 위한 모델
수천 건에서 수백만 건의 티켓을 처리하는 지원 워크플로우를 생각해 보겠습니다. 각 티켓은 상담원에게 전달되기 전에 적절한 팀에 배정되어야 합니다. 동일한 메시지에 대해 고객의 불만 수준을 점수화하고, 긴급성을 확인해야 할 수 있습니다. 의사 결정 모델은 이러한 작업을 각각 별도의 모델 호출로 처리하지 않고 세 가지 질문을 함께 평가하고 워크플로우가 바로 사용할 수 있는 구조화된 답변을 반환할 수 있습니다.
이러한 워크플로우에 사용할 모델을 선택할 때는 속도, 비용, 응답 형식만큼 의사 결정 품질도 중요합니다. Snowflake Decision에 대해 기대하는 이유가 바로 여기에 있습니다. 평가 결과, Snowflake Decision은 Jev Decision Index 0.2.1 벤치마크에서 비교한 72개 모델 중 가장 높은 품질 점수를 기록했습니다. 고객 입장에서 더 높은 품질의 의사 결정은 대용량 워크플로우 전반에서 더 신뢰할 수 있는 분류, 점수화, 라우팅으로 이어질 수 있습니다.
참고: Snowflake는 현재 인터페이스 내에서 엔드투엔드로 실행되는 29개의 Jev Decision Index 0.2.1 벤치마크를 기준으로 Snowflake Decision을 평가했습니다. 추론, 언어, 검색, 도구 사용, 창의적 판단 영역 전반에 걸쳐 총 88,837건의 테스트 요청을 포함했습니다. 이 29개 벤치마크는 더 광범위한 Hugging Face 벤치마크의 하위 집합으로, 최대 32개 옵션과 같은 인터페이스 제한으로 인해 전체 벤치마크를 실행할 수 없었습니다. Snowflake Decision은 동일한 29개의 벤치마크에서 평가한 72개 모델 중 가장 높은 품질 점수인 57.63점을 기록했습니다. 동일 조건에서 비교하기 위해 모든 모델의 점수는 같은 벤치마크 결과를 바탕으로, 우연히 정답을 맞힐 가능성을 보정하는 해당 지수의 공개된 방법론을 적용해 계산했습니다.
Cortex AI Functions로 지원 티켓 선별
Cortex AI Functions는 모델 호출을 SQL로 가져옵니다. 프롬프트 인수에 요청을 JSON으로 전달하면 AI_COMPLETE를 통해 의사 결정 모델을 호출할 수 있습니다. 티켓 텍스트와 명확히 정의된 질문을 제공하고, 지원되는 세 가지 질문 유형을 사용합니다.
선택: 청구, 기술 지원, 영업처럼 정의된 목록에서 하나의 옵션을 선택합니다.
점수: ‘차분함’, ‘불만이 있지만 예의를 지킴’, ‘매우 화가 남’처럼 순서가 있는 평가 기준에 따라 입력 내용을 점수화합니다.
예/아니요(noul): “메시지에 긴급성이 드러난다”와 같은 진술이 참일 확률을 0에서 1 사이의 값으로 반환합니다.
이 예시에서 support_tickets 테이블의 각 행은 ticket_text 컬럼에 고객 메시지를 포함합니다. Snowflake Decision을 한 번만 호출하면 티켓 라우팅부터 불만 수준 점수화 및 긴급성 평가까지 가능합니다.
SELECT AI_COMPLETE(
model => 'snowflake-decision',
prompt => TO_JSON({
'state': ticket_text,
'questions': {
'department': {
'type': 'choice',
'instructions': 'Which team should handle this',
'criteria': {
'billing': 'Payment or subscription issues',
'technical': 'Bugs or integration problems',
'sales': 'Pricing or account questions'
}
},
'frustration': {
'type': 'score',
'instructions': 'How frustrated the customer appears',
'criteria': ['Calm', 'Frustrated but civil', 'Very angry']
},
'is_urgent': { 'type': 'noul', 'instructions': 'The message conveys urgency' }
}
})
) FROM support_tickets;
결과는 지정한 질문 이름을 키로 사용하는 응답 맵 형태로 반환됩니다. 여기에는 선택된 값과 옵션별 확률이 포함되며, 선택형 및 점수형 질문에는 신뢰도 값도 포함됩니다.
Response
{
"answers": {
"department": {
"choice": "billing",
"confidence": 0.9305973965815073,
"probabilities": {
"billing": 0.9537315977210048,
"sales": 0.017468203540633418,
"technical": 0.02880019873836161
},
"type": "choice"
},
"frustration": {
"confidence": 0.7082686180607838,
"legend": {
"0": "Calm",
"1": "Frustrated but civil",
"2": "Very angry"
},
"probabilities": {
"0": 0.014753474459327466,
"1": 0.1797341135001498,
"2": 0.8055124120405226
},
"score": 1.790758937581195,
"type": "score"
},
"is_urgent": {
"noul": 0.8807970779778823,
"type": "noul"
}
}
}
Snowflake에서 의사 결정 모델로 할 수 있는 일
현재 Cortex AI Functions는 다양한 태스크에 맞는 여러 모델 옵션을 제공합니다. Snowflake의 의사 결정 모델은 이미 제공 중인 범용 모델에 선택지를 더해 선택의 폭을 넓혀 줍니다. 이 모델은 분류, 라우팅, 점수화, 필터링, 우선순위 분류처럼 판단 범위가 정해진 작업을 대량의 행에 걸쳐 수행하는 데 적합합니다.
의사 결정 모델이 적합한 경우
- 답변이 알려진 옵션 중 하나이거나, 평가 기준에 따른 점수이거나, 예/아니요인 경우
- 수천 개의 행에 걸쳐 판단을 수행하는 경우
- 속도와 비용이 중요한 경우
- 임계값을 적용할 수 있는 확률 값이 필요한 경우
- 여러 단계로 구성된 LLM 파이프라인의 첫 단계에서 의사 결정 모델을 라우팅과 카테고리 분류에 사용하려는 경우
범용 모델이 더 적합한 경우
- 요약, 개방형 추론 또는 자유 형식의 정보 추출이 필요한 경우
- 가능한 답변의 범위가 정해져 있지 않은 경우
- 여러 단계의 추론이나 창의적인 콘텐츠 생성이 필요한 경우
팀들은 다음과 같은 업무에 의사 결정 모델을 활용하는 방안을 검토하고 있습니다.
- 고객 지원 운영: 지원 팀은 상담원이 티켓을 처리하기 전에 모든 인입 티켓을 대기열에 배정해야 합니다. 한 번의 호출로 테이블의 각 티켓에 대해 대기열, 불만 점수, 긴급성 플래그를 반환할 수 있습니다.
- 고객 리뷰 분석: 프로덕트 팀은 대규모 리뷰 코퍼스에서 어떤 문제가 가장 자주 언급되는지 파악하고자 합니다. 한 번의 호출로 리뷰 카테고리와 심각도 점수를 반환할 수 있으므로, 팀은 감정을 쉽게 집계하고 기능 우선순위를 정할 수 있습니다.
- 답변 품질 점검: AI 어시스턴트를 운영하는 팀은 해당 답변이 명시된 정책을 따르는지 확인하고자 합니다. 의사 결정 모델은 각 답변을 해당 정책에 비추어 판단하고, 고객 요청을 얼마나 완전하게 처리했는지 점수화합니다. 따라서 검토자는 기준에 미달하는 답변만 확인하면 됩니다.
- AI 데이터 파이프라인 구축: 현재 일부 파이프라인은 모든 요청을 대형 모델로 보냅니다. 의사 결정 모델은 각 요청에 필요한 추론 수준을 판단합니다. 고객은 이를 바탕으로 어려운 사례는 더 큰 모델로 보내고, 나머지는 더 비용 효율적인 경로에 유지하는 파이프라인을 구축할 수 있습니다.
시작하기
액세스를 요청하려면 Snowflake 계정 팀에 문의하세요. Snowflake 담당자가 프라이빗 프리뷰 설명서와 함께 다음 단계를 안내해 드립니다.
