불과 2주 전, Snowflake는 Cortex AI Functions에서 Snowflake Decision을 프라이빗 프리뷰로 공개했습니다. 분류, 스코어링, 필터링, 라우팅에 특화되어 설계된 이 모델은 정해진 범위의 응답으로 대량 작업을 처리합니다. 자유 형식의 텍스트 대신, 워크플로우가 직접 활용할 수 있는 특정 카테고리, 숫자 점수, 예/아니요 확률과 같은 데이터 유형이 지정된 응답을 반환합니다.
고객들은 실시간 라우팅 단계, 실시간 사기 탐지, 에이전트의 첫 번째 분류 단계처럼 상호작용이 필요하거나 지연 시간에 민감한 워크플로우 안에서 의사 결정에 필요한 ‘아케이드급 속도’의 필요성을 빠르게 강조했습니다. 이러한 환경에서는 속도가 핵심입니다.
오늘 Snowflake는 이러한 요구에 대응하기 위해 다음 기능을 프라이빗 프리뷰로 제공하며 Snowflake Decision의 선택지를 확대합니다. 모든 기능에는 기존에 사용하던 거버넌스, 액세스 제어, 감사 정책이 동일하게 적용됩니다.
snowflake-decision-fast: 의사 결정 품질만큼 응답 시간이 중요한 워크로드를 위해 설계된 snowflake-decision의 저지연 버전입니다.
REST API 지원: Cortex AI Gateway를 통해 Snowflake Decision 모델을 호출하여, SQL 외부의 애플리케이션, 서비스, 에이전트에서도 구조화된 의사 결정을 사용할 수 있습니다.
Cortex AI Functions: snowflake-decision-fast는 SQL의 AI_COMPLETE를 통해 네이티브로 사용할 수 있습니다.
실제로 작동하는 의사 결정: 실시간 텍스트 분류
사용자 입력에 즉각 반응하는 snowflake-decision-fast의 성능을 보여주기 위해 Snowflake는 실시간 텍스트 분류 애플리케이션을 구축했습니다. 고객이 이중 청구에 대한 불만 등 지원 티켓 내용을 입력하면, 애플리케이션은 라이브 텍스트를 빠르게 평가해 세 가지 결정을 동시에 내립니다. 티켓을 적절한 팀으로 라우팅하고, 긴급도를 표시하며, 고객 감정을 파악합니다.
이 인터랙티브 애플리케이션은 키 입력이 발생할 때마다 현재 텍스트 상태를 평가하고, 모델에 범위가 제한된 질문을 던져 다음 워크플로우 단계를 결정합니다. 이러한 실시간 상호작용 기능은 Cortex AI Gateway를 통해 외부에서도 실행할 수 있습니다.
import os
from typesafe_sdk import Choice, Noul, Score, TypeSafeClient
client = TypeSafeClient(
api_key=os.environ["SNOWFLAKE_PAT"],
base_url="https://<your-gateway-host>/api/v2/aigateways/<GATEWAY_NAME>",
model="snowflake-decision-fast",
)
response = client.system_one(
state=(
"hi i have a question about my account. i was charged twice for my "
"subscription and would like a refund. i need this resolved today "
"before our finance 5pm cutoff. this is the 3rd time i contacted support."
),
questions={
"needs_attention_now": Noul(
instructions="Does this ticket need attention now because it is urgent or time-sensitive?"
),
"team": Choice(
instructions="Which support team should handle this ticket?",
criteria={
"billing": "Payments, invoices, subscriptions, duplicate charges, refunds.",
"technical_support": "Product bugs, outages, broken integrations, API issues.",
"account_access": "Login, password, MFA, locked account, authentication.",
"sales": "Pricing, plan upgrades, renewals, contracts, purchasing.",
"general": "Unclear, mixed, or uncategorized requests.",
},
),
"customer_tone": Score(
instructions="How frustrated does the customer sound? This is about tone, not issue severity.",
criteria=["Calm", "Frustrated", "Very frustrated"],
),
},
)
print(response.nouls["needs_attention_now"].noul)
print(response.choices["team"].choice)
print(response.choices["team"].probabilities)
print(response.scores["customer_tone"].score) # 0=Calm, 1=Frustrated, 2=Very frustrated
실제 작동 모습은 다음과 같습니다.
자료 1: 텍스트 분류 도구에서 지원 티켓을 작성하면, snowflake-decision-fast가 실시간으로 세 가지 결정을 동시에 내립니다. 담당 팀, 긴급도, 고객 감정입니다.
이러한 실시간 상호작용 사례는 의사 결정 모델의 핵심 작동 원리를 잘 보여줍니다.
설계 단계에서 선택 범위 제한: 앱은 유효한 동작만 선택지로 제공합니다. 따라서 모델은 유효하지 않은 작업을 반환할 수 없으며, 코드에서 파서나 재시도 루프, 복잡한 오류 처리를 구현할 필요가 없습니다.
확률을 결과로 제공: 모델은 자유 형식의 추론 텍스트가 아니라 선택된 값과 선택지별 확률을 반환합니다. 예를 들어 ‘Billing’ 담당 팀으로의 라우팅에 0.99라는 높은 확률이 부여되면, 이를 명확한 판단 신호로 삼아 실시간 워크플로에 적용할 임계값을 설정할 수 있습니다.
체감 지연 시간: 실시간 인터페이스는 사용자가 입력하는 동안 거의 즉각적인 의사 결정에 의존하며, 엔드포인트 왕복은 지속적으로 300ms 미만에 완료됩니다. snowflake-decision-fast 로 실행하면 원활한 실시간 사용자 경험을 제공할 만큼 낮은 지연 시간을 유지할 수 있습니다.
대규모 테이블 처리로 확장
REST API는 단발성 인터랙티브 의사 결정에 이상적이지만, 동일한 구조화된 의사 결정 기능은 Cortex AI Functions에서도 사용할 수 있습니다. 개발자는 간단한 SQL만으로 대규모 데이터 세트에 분류 및 라우팅 로직을 직접 적용할 수 있습니다.
매일 수백만 건의 티켓이나 메시지를 접수해 분류하고 담당 팀에 라우팅해야 하는 글로벌 지원 플랫폼을 생각해 보겠습니다. 범위가 좁고 명확한 분류 작업에 범용 LLM을 사용하면 불필요한 복잡성, 비용, 처리 오버헤드가 발생할 수 있습니다. 특히 각 레코드에 필요한 것이 소수의 구조화된 의사 결정뿐인 경우에는 더욱 그렇습니다.
AI_COMPLETE에서 snowflake-decision-fast를 사용하면 팀은 별도의 추론 파이프라인을 구축하거나 외부 API 통합을 관리하지 않고도 전체 테이블에 동일한 의사 결정 로직을 적용할 수 있습니다.
예를 들어 다음 쿼리는 들어오는 지원 티켓을 라우팅 큐별로 분류하고 각 티켓의 에스컬레이션 필요 여부를 판단하여, 다운스트림 처리에 바로 사용할 수 있는 구조화된 출력을 반환합니다.
SELECT
ticket_id,
AI_COMPLETE(
model => 'snowflake-decision-fast',
prompt => TO_JSON({
'state': ticket_body,
'questions': {
'routing_queue': {
'type': 'choice',
'instructions': 'Determine the correct support queue for this ticket.',
'criteria': {
'billing': 'Invoices, payments, or subscription changes',
'technical': 'System errors, bugs, or API issues',
'account': 'Password resets or profile updates'
}
},
'requires_escalation': {
'type': 'noul',
'instructions': 'The customer is expressing extreme frustration or threatening to churn'
}
}
})
)::VARIANT AS decision_output
FROM incoming_support_tickets_10m;
실시간 REST API 호출에서 작동하던 방식은 데이터 파이프라인 내부에서 곧바로 대량 분류, 오프라인 스코어링, 비동기 초기 분류로 확장됩니다.
신뢰할 수 있는 품질과 속도
구조화된 AI 의사 결정 환경은 빠르게 진화하고 있으며, Snowflake는 모델의 품질과 순수 실행 속도를 모두 높이기 위해 빠르게 반복 개선하고 있습니다. Snowflake 엔지니어링 팀은 검증된 벤치마크에서 의사 결정 정확도의 한계를 끌어올리는 동시에, 실시간 애플리케이션의 지연 시간과 컴퓨팅 비용을 낮추는 데 집중하고 있습니다.
snowflake-decision-fast는 개발자가 자신의 아키텍처에 필요한 성능 프로파일을 정확히 선택할 수 있도록 하는 Snowflake의 최신 진전입니다. 앞으로 몇 달 동안 모델 품질도 빠르게, 지속적으로 업데이트될 예정입니다.
자료 2: 테이블 행 처리의 평균 정확도와 소요 시간 비교. snowflake-decision과 snowflake-decision-fast의 차이는 Snowflake 내부 의사 결정 벤치마크를 기준으로 계산했습니다.
시작하기
의사 결정 모델의 사전 액세스를 요청하려면 Snowflake 계정 담당 팀에 문의하세요. 담당자가 상세한 프라이빗 프리뷰 문서와 함께 다음 절차를 안내해 드립니다.
빠르고 구조화된 의사결정은 이전에는 현실적으로 구현하기 어려웠던 활용 방식을 가능하게 합니다. 실행에 앞서 각 단계를 확인하는 에이전트, 모든 레코드에 유입 즉시 점수를 매기는 파이프라인, 실시간으로 라우팅하는 워크플로가 그 예입니다. 이제 질문은 ‘여기에 AI를 적용할 여력이 있는가?’에서 ‘의사 결정을 또 어디에 배치할 수 있는가?’로 바뀝니다.
