Melhor custo para cada tarefa de IA: como o roteamento dinâmico de modelos e os modelos abertos reduzem o que o usuário paga por resultado

Há cada vez mais investimento em IA. No entanto, o valor para os negócios nem sempre acompanha esse ritmo. À medida que as organizações implementam mais agentes e aplicações de IA, usar o modelo mais poderoso para cada solicitação pode aumentar os custos sem melhorar demais os resultados. A verdadeira pergunta não é qual modelo é o melhor. É qual modelo é o mais adequado para cada tarefa e como escolher um com escalabilidade.

A Snowflake está ajudando as organizações a atingir esse equilíbrio com dois novos recursos no Cortex AI. O roteamento dinâmico de modelos (PrPr em breve) por meio do Cortex AI Gateway oferece uma base unificada para governar conexões de agentes, direcionando solicitações de forma inteligente e otimizando o consumo de IA. A Snowflake também está expandindo seu portfólio de modelos abertos, incluindo o DeepSeek-V4-Flash (PrPr) e o GLM-5.3 (em breve), oferecendo às organizações maior flexibilidade para aliar cada carga de trabalho ao modelo certo.

Melhores custos de IA começam pela escolha do modelo certo para a tarefa certa

Os custos da IA melhoram quando as organizações deixam de pagar por mais inteligência do que uma tarefa precisa. A Snowflake chama isso de eficiência de inteligência: a capacidade de transformar processamento, modelos, dados e contexto em valor mensurável para os negócios. O objetivo é aliar cada tarefa ao modelo que seja capaz de oferecer a qualidade necessária ao menor custo possível, em vez de direcionar toda solicitação para a opção mais cara, por padrão.

O princípio é simples: nem toda tarefa exige o modelo mais poderoso existente no mercado. Gerar um resumo semanal de status não exige o mesmo nível de inteligência que avaliar o risco de um portfólio inteiro. O desafio é determinar que modelo é mais adequado para cada tarefa e manter esse mapeamento à medida que dezenas de modelos continuam evoluindo e melhorando.

Apresentando o roteamento dinâmico de modelos no Cortex AI Gateway

Com o roteamento dinâmico de modelos, o Cortex AI Gateway seleciona o modelo mais acessível capaz de concluir a tarefa com confiança em cada etapa da execução do agente. É possível direcionar tarefas de baixa complexidade e repetitivas para modelos mais eficientes nesse sentido, enquanto cargas de trabalho que exigem raciocínio mais sofisticado podem ser roteadas para modelos de última geração. Isso ajuda os clientes a reduzir custos desnecessários de inferência, sem exigir que as equipes de desenvolvimento criem e mantenham lógicas de seleção de modelos. À medida que aumentam as opções de modelos, os recursos e os preços, as decisões de roteamento podem se adaptar sem que os clientes precisem reconstruir suas aplicações ou agentes.

Esse recurso funciona dentro dos controles de governança empresarial já estabelecidos na Snowflake. Ele leva em conta apenas modelos aprovados pelo administrador e respeita as configurações existentes de residência de dados da organização, ajudando a garantir que as solicitações permaneçam dentro dos limites de conformidade aprovados. Cada decisão de roteamento também fica registrada, dando a administradores e equipes de conformidade visibilidade sobre qual modelo tratou cada solicitação.

Os testes iniciais demonstraram bons ganhos de eficiência. Em uma avaliação interna, o roteamento dinâmico de modelos concluiu uma carga de trabalho de pipeline do data build tool (dbt) com até três vezes mais eficiência de tokens do que uma método baseado apenas em modelos de última geração, mantendo qualidade comparável. Em um teste separado de carga de trabalho de codificação, as equipes de engenharia mantiveram a mesma taxa de transferência de pull requests, utilizando cerca de 25% menos tokens.¹

Como a Snowflake mantém a camada de roteamento, a seleção de modelos pode evoluir à medida que novos modelos se tornam disponíveis e os pontos fortes relativos dos modelos existentes mudam. Os clientes se beneficiam de um roteamento que evolui continuamente, sem precisar recriar suas aplicações ou gerenciar essa lógica complexa por conta própria.

Ampliando o acesso a modelos abertos: DeepSeek-V4-Flash 0731 e GLM-5.3

Um roteador é tão bom quanto as opções disponíveis para ele. O roteamento dinâmico de modelos reduz os custos ao direcionar cada solicitação para o modelo de melhor custo/benefício que ainda atenda ao nível de qualidade exigido. À medida que o conjunto de modelos capazes e eficientes cresce, a economia melhora.  Com cada novo modelo adicionado a esse conjunto, os clientes obtêm melhor performance a um custo menor.  É por isso que o ecossistema de modelos abertos é ainda mais importante hoje do que era há poucos meses.

Hoje, estamos ampliando o acesso dos clientes aos principais modelos abertos, incluindo o DeepSeek-V4-Flash 0731 (em versão preliminar privada) e o GLM-5.3 (versão preliminar privada em breve, sujeita a alterações conforme a disponibilidade do modelo³) no Cortex AI. Esses modelos se juntam a um portfólio existente que inclui modelos Anthropic, Google, OpenAI, SpaceXAI, Mistral AI e Meta, dando aos usuários mais opções para encontrar a combinação certa de qualidade, performance e custo para cada carga de trabalho.

Avaliado no ADE-bench, utilizando o Snowflake CoCo como agent harness, o DeepSeek-V4-Flash obteve pontuação de 74,4%,² superando o principal modelo proprietário testado. Isso não é um erro de arredondamento; é um sinal de que a fronteira do open source chegou exatamente onde mais importa para as equipes de dados. Embora estejamos anunciando o GLM 5.3 hoje, as pontuações do GLM-5.2 em testes anteriores contam uma história convincente: precisão sólida em engenharia de dados (66% no ADE-bench²) com a menor consumo de tokens entre todos os modelos do benchmark, o que o torna uma opção sólida para equipes que executam cargas de trabalho auto-hospedadas de alto volume, nas quais custo e latência são fatores críticos. 

O DeepSeek-V4-Flash 0731 já se encontra disponível no CoCo em versão preliminar privada, e o GLM-5.3 chega em breve, auto-hospedável e desenvolvido para manter seus dados no seu ambiente.

A Snowflake disponibiliza esses modelos abertos diretamente, em vez de fazer proxy de uma API de terceiros, para garantir que a inferência ocorra dentro de um perímetro seguro. Atuamos em toda a extensão do processo, do dado corporativo bruto até a tarefa completa executada por agentes: os dados, o processamento que executa a inferência, os pesos do modelo e o agent harness que orquestra tudo isso. Isso traz vários benefícios, como:

• A inferência é executada próxima aos dados governados, reduzindo o custo de transferência e a latência.

• Controlar o stack nos permite otimizar para os padrões de acesso que as cargas de trabalho empresariais realmente geram, em vez de aceitar o que um ponto de extremidade de uso geral oferece.

• Seus dados permanecem dentro do limite de governança da plataforma Snowflake, de modo que os modelos abertos operam dentro do mesmo controle de acesso baseado em funções e trilha de auditoria que já regem seus dados.

Em termos de IA: uma relação custo/benefício que aumenta com o tempo

Juntos, o roteamento dinâmico de modelos e um portfólio cada vez maior de modelos abertos podem gerar ganhos crescentes de eficiência de inteligência. O roteamento dinâmico reduz a dependência desnecessária de modelos de fronteira caros, direcionando cargas de trabalho rotineiras para alternativas mais eficientes. Ao mesmo tempo, uma seleção mais ampla de modelos abertos capazes oferece à camada de roteamento mais opções de alta qualidade e bom custo-benefício para cada solicitação.

O custo/benefício melhora ainda mais conforme o sistema aprende com o uso no mundo real. À medida que os modelos são avaliados em diferentes cargas de trabalho, as decisões de roteamento se tornam mais precisas. As tarefas podem ser combinadas com o nível adequado de inteligência com base em requisitos de qualidade, latência, custo e governança. À medida que novos modelos se tornam disponíveis e os modelos existentes melhoram, modelos eficientes podem processar uma parcela maior das cargas de trabalho, sem comprometer os resultados que o negócio exige.

O resultado é um sistema projetado para se tornar mais eficiente com o tempo, permitindo que as organizações reduzam progressivamente o custo médio de cada resultado de negócio, ao mesmo tempo em que continuam se beneficiando dos avanços na performance dos modelos. Elas podem fazer isso sem reconstruir aplicações, fixar escolhas de modelos no código ou gerenciar manualmente lógicas de roteamento complexas. A governança empresarial ajuda a garantir que as solicitações permaneçam dentro dos parâmetros definidos de conformidade, performance e custo, permitindo que as organizações ajustem a escala da IA com maior controle e uma economia mais sustentável.

¹ _{Resultados baseados em testes internos da Snowflake. A metodologia e as condições estão disponíveis mediante solicitação. Os resultados individuais podem variar de acordo com a carga de trabalho e a configuração.}

² _{Pontuação de eficiência baseada em testes internos usando o ADE-bench, uma estrutura criada pela dbt para avaliar agentes de IA em tarefas reais de análise de dados e engenharia de dados.}

³ _{Este conteúdo contém declarações prospectivas, inclusive sobre futuras ofertas de produtos Snowflake, e não representa um compromisso de entrega de quaisquer dessas ofertas de produtos. Os resultados e as ofertas reais podem diferir e estão sujeitos a riscos e incertezas conhecidos e desconhecidos. Consulte nosso documento 10-Q mais recente para obter mais informações.}