Blog/Produto e tecnologia/Lançamento: DeepSeek-R1 agora em versão preliminar no Snowflake Cortex AI
30 de jan. de 2025/Leitura: 4 minProduto e tecnologia

Lançamento: DeepSeek-R1 agora em versão preliminar no Snowflake Cortex AI

Temos o prazer de anunciar a integração do DeepSeek-R1 com o Snowflake Cortex AI! Conforme descrito pela DeepSeek, esse modelo, treinado através de aprendizado de reforço em grande escala (large-scale reinforcement learning, ROL) sem ajuste fino supervisionado (supervised fine adjustment, SFT), pode alcançar desempenho comparável ao OpenAI-o1 em tarefas de matemática, código e raciocínio. Com base no benchmark publicado pela DeepSeek, o DeepSeek-R1 ocupa o primeiro lugar no ranking dos modelos de código aberto, competindo com os modelos de código aberto mais avançados do mundo. Agora, os clientes podem solicitar uma versão preliminar prévia do DeepSeek-R1 no Snowflake Cortex AI.  

Como parte da versão preliminar privada, vamos nos concentrar em fornecer acesso alinhado com os princípios de facilidade, eficiência e confiança de nossos produtos.

  • O modelo está disponível em versão preliminar privada para inferência sem servidor tanto para lotes (função SQL) quanto interativos (Python e REST API). Para solicitar acesso durante a versão preliminar, entre em contato com sua equipe de vendas. O modelo só estará disponível na conta solicitada.

  • O modelo está hospedado nos EUA dentro dos limites de serviço do Snowflake. Não compartilhamos dados com o provedor do modelo. 

  • Assim que o modelo estiver disponível para todos, os clientes poderão gerenciar o acesso ao modelo por meio do controle de acesso baseado em função (role-based access control, RBAC). Os administradores de contas podem restringir o acesso selecionando os modelos aprovados por políticas de governança.

Snowflake Cortex AI

O Snowflake Cortex AI é um conjunto de recursos e serviços integrados que inclui inferência de LLM totalmente gerenciada, ajuste fino e geração aumentada de recuperação (retrieval augmented generation, RAG) para dados estruturados e não estruturados. Com isso, os clientes podem analisar com rapidez dados não estruturados, juntamente com seus dados estruturados, e agilizar a criação de aplicações de IA. Os clientes podem acessar os principais LLMs do setor, tanto de código aberto quanto proprietários, e integrá-los facilmente aos seus fluxos de trabalho e aplicativos. A Snowflake adotou o ecossistema de código aberto com o suporte a vários LLMs da Meta, Mistral e Snowflake. Acreditamos que esse acesso e colaboração abertos vão abrir caminho para uma inovação acelerada nesse espaço. 

DeepSeek-R1

Com base no post da DeepSeek no GitHub, eles aplicaram o aprendizado de reforço (reinforcement learning, RL) diretamente ao modelo de base sem depender do ajuste fino supervisionado (supervised fine adjustment, SFT) como uma etapa preliminar. Esse método permitiu que o modelo explorasse a cadeia de pensamento (chain of thought, CoT) para resolver problemas complexos, resultando no desenvolvimento do DeepSeek-R1-Zero. Eles mencionam ainda que o modelo inicial demonstrou recursos como auto-verificação, reflexão e geração de CoTs longos, mas enfrentou desafios como repetição interminável, legibilidade baixa e mixagem de linguagem. Para lidar com essas questões, a equipe do DeepSeek descreve como incorporou dados do cold start antes do RL para melhorar o desempenho do raciocínio.

Deepseek accuracy benchmarks
DeepSeek benchmark results

A equipe implementou treinamento de baixo nível de precisão do FP8 e uma estratégia de equilíbrio de carga sem perdas auxiliares, resultando em desempenho de ponta com redução significativa nos custos de processamento de treinamento.

Usando o DeepSeek-R1 no Cortex AI

Com o Snowflake Cortex AI, é fácil acessar grandes modelos de linguagem (large language models, LLMs). Você não precisa gerenciar integrações ou chaves de API. Controles de governança podem ser implementados de forma consistente em dados e IA. Você pode acessar os modelos em uma das regiões para a qual há suporte. Além disso, é possível acessar por outras regiões ao habilitar a inferência entre regiões. Você pode ativar o Cortex Guard para filtrar respostas potencialmente inadequadas ou inseguras. As proteções reforçam a governança, aplicando políticas alinhadas para filtrar conteúdo nocivo. 

SQL e Python

O modelo pode ser integrado a um pipeline de dados ou a um app Streamlit in Snowflake para processar várias linhas em uma tabela. A função COMPLETE, acessível em SQL e Python, pode ser usada para essa integração. Dentro da função COMPLETE do Cortex AI usada para aplicativos de inferência de LLM, basta adicionar "guardrails: true" para filtrar conteúdo nocivo. Além disso, você pode acessar os modelos DeepSeek a partir de um Snowflake Notebook ou do seu IDE de preferência usando o OAuth para clientes personalizados. Acesse aqui outros modelos e mais detalhes a respeito de como usar a função SQL ou aprenda sobre a sintaxe em Python aqui.

SELECT SNOWFLAKE.CORTEX.COMPLETE('deepseek-r1', 
   [{'content': CONCAT('Summarize this customer feedback in bullet points:<feedback>', content ,'</feedback>')}], 
    {'guardrails': true}
);

Após a ativação do Cortex Guard, as respostas do modelo de linguagem associadas a conteúdo nocivo (como crimes violentos, ódio, conteúdo sexual, auto flagelação, entre outros) serão automaticamente filtradas, e o modelo retornará uma mensagem de "Resposta filtrada pelo Cortex Guard".  Para obter mais informações sobre a perspectiva da Snowflake em relação à segurança da IA, leia o nosso white paper sobre nossa estrutura de segurança de IA. 

API REST 

Para permitir que serviços ou aplicações executadas fora do Snowflake realizem chamadas de inferência de baixa latência para o Cortex AI, a interface de API REST é a solução certa. Veja um exemplo de como funciona:

curl -X POST \
    "model": "deepseek-r1",
    "messages": [{ "content": "Summarize this customer feedback in bullet points: <feedback>”}],
    "top_p": 0,
    "temperature": 0.6,
    }' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete

Próximos passos

De acordo com a DeepSeek, esse é o primeiro modelo de código aberto a demonstrar que os recursos de raciocínio dos LLMs podem ser incentivados puramente por meio de RL, sem a necessidade de SFT. O Cortex AI oferece fácil integração por meio de funções SQL e APIs REST, e o Cortex Guard permite que os clientes implementem os controles de segurança necessários. A equipe de pesquisa de IA da Snowflake planeja melhorar o DeepSeek-R1 para reduzir ainda mais os custos de inferência. Com o DeepSeek-R1, os clientes podem obter eficiências de desempenho de custos e agilizar o fornecimento de aplicativos de IA generativa. Esse avanço abre caminho para futuros avanços nessa área.

 

Observação: esta página contém declarações prospectivas, inclusive sobre nossas futuras ofertas de produtos. Elas não constituem compromissos de fornecimento ou produção de quaisquer ofertas de produtos. Os resultados e os produtos reais podem diferir e estão sujeitos a riscos e incertezas conhecidos e desconhecidos. Consulte nosso documento 10-Q mais recente para obter mais informações.

Photo illustration of two women collaborating near a computer and other images representing tech and teamwork
Ebook

Secrets of Gen AI Success

Discover how leaders like Bayer and Siemens Energy use gen AI to increase revenue, improve productivity and better serve customers.
Compartilhe esta publicação

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week