Modernizando o stack de ML: lançamento de fluxos de trabalho com agentes, multimodais e em tempo real

No atual cenário de IA, o aprendizado de máquina (machine learning, ML) tradicional continua sendo indispensável, servindo como base para os insights preditivos que impulsionam o valor principal dos negócios, desde a otimização da cadeia de fornecedores até a detecção de fraudes em tempo real. No entanto, o caminho dos testes até a produção continua cheio de desafios, com ferramentas fragmentadas em todos os ecossistemas que requerem configuração complexa, iterações múltiplas para otimização e manutenção contínua. Na Snowflake, estamos empenhados em fornecer uma plataforma de ML moderna, fortemente integrada aos seus dados para segurança unificada e fluxos de trabalho acelerados, com escala que se ajusta de acordo com suas necessidades de negócios. 

Temos o prazer de anunciar que os seguintes recursos já estão disponíveis para seus fluxos de trabalho de modelos no Snowflake ML:

• Automatize o desenvolvimento de pipelines de ML totalmente funcionais com solicitações a partir de simples prompts em linguagem natural simples em um ambiente baseado em Jupyter no Snowflake Notebooks (disponível ao público) com Cortex Code no Snowsight (em breve, disponível ao público).

• Com eficiência, implemente o modelo de melhor performance usando o Experiment Tracking integrado nativamente (disponível ao público) para identificar, compartilhar e reproduzir facilmente os melhores resultados em todas as sessões de treinamento.

• Execute previsões de baixa latência em milissegundos com o Snowflake Feature Store online (disponível ao público) e o Online ML inference (disponível ao público) para incentivar casos de uso em tempo real, como recomendações personalizadas e detecção de fraudes.

• Execute cargas de trabalho de inferência para modelos multimodais (em versão preliminar pública) para inferência em grande escala com dados não estruturados, como imagens e áudio.

Desenvolvimento de modelos com agentes 

Na Snowflake, continuamos investindo em experiências modernas de desenvolvimento que melhoram a produtividade dos desenvolvedores. Atualmente, estamos reformulando o ML de produção com o lançamento de recursos de ML com agentes que são integrados à experiência do Snowflake Notebooks com um novo ambiente de desenvolvimento integrado (IDE).

Cortex Code para pipelines de ML

Os cientistas de dados muitas vezes passam longos ciclos desenvolvendo e resolvendo problemas em seus fluxos de trabalho de ML, o que cria mais gargalos operacionais e significa menos modelos de ML chegando à produção. Agora, a Snowflake está trazendo IA com agentes para os fluxos de trabalho de ML no Cortex Code no Snowsight (em breve, disponível ao público), para fluxos de trabalho de ML no Snowflake Notebooks, para que seja possível iterar, ajustar e gerar de forma autônoma um pipeline de ML totalmente executável a partir de prompts simples em linguagem natural.

O Cortex Code divide os problemas associados aos fluxos de trabalho de ML em etapas distintas, como análise de dados, preparação de dados, engenharia de recursos e treinamento. Combinando técnicas avançadas, como raciocínio em várias etapas, compreensão contextual e execução de ações, o Cortex Code fornece soluções verificadas na forma de pipelines de ML totalmente funcionais que podem ser facilmente executadas a partir de um Snowflake Notebook. Com melhorias sugeridas, ou ações subsequentes disponibilizadas pelo usuário, o Cortex Code ajuda os usuários a realizar a iteração para a próxima melhor versão com facilidade. Ao automatizar esse trabalho repetitivo, as equipes de ciência de dados economizam várias horas que despenderiam normalmente testando ou depurando, podendo se concentrar em iniciativas de maior impacto.

Snowflake Notebooks

O Cortex Code pode ser utilizado diretamente do Snowflake Notebooks para desenvolver e iterar fluxos de trabalho de produção. O desenvolvimento de última geração para o Snowflake Notebooks agora está disponível ao público no Workspaces. Com esses notebooks baseados em Jupyter, você pode integrar notebooks, scripts e treinamento de modelos existentes à plataforma unificada do Snowflake, mantendo suas bibliotecas preferidas, recursos de runtime do Jupyter e atributos de IDE e organização baseada em arquivos familiares dentro dos Workspaces.

Essa nova experiência de desenvolvimento inclui as seguintes melhorias: 

• Núcleo gerenciado Jupyter/IPython: agora, o Notebooks é executado em um núcleo Jupyter/IPython gerenciado pelo Snowflake, garantindo compatibilidade com Magics e os notebooks existentes. Isso inclui executar código SQL, Python e Markdown e transferir dados facilmente entre as células. No Results Explorer, abaixo de cada célula, veja os resultados completos com tabelas e um assistente de visualização.

• Organização nativa do espaço de trabalho: o Notebooks agora pode ser criado diretamente em Workspaces junto com seus arquivos SQL, dbt projects e utilitários Python e quaisquer outros recursos que você use para desenvolver no Snowflake. Isso permite organizar tudo em um só lugar e fazer com que os fluxos de trabalho de vários arquivos aconteçam naturalmente. É possível reconstruir a lógica em helpers, dividir fluxos em componentes menores e combiná-los conforme necessário. Nosso novo terminal e explorer de variáveis também oferece um loop de desenvolvimento mais rápido e produtivo.

• Colaboração contínua baseada em Git: agora, com Workspaces compatíveis com Git, você pode trabalhar continuamente em todo o repositório, ramificando, enviando e diferindo diretamente do Snowflake. E se o Git não for o seu fluxo de trabalho preferido, o Shared Workspaces fornecerá uma alternativa para suas equipes: uma colaboração governada por controle de acesso baseado em função em um conjunto de arquivos com controle de versão e controle de alterações incorporados.

• Capacidade de executar no Snowflake Container Runtime (CPU e GPU): nossa nova experiência acontece exclusivamente no Snowflake Container Runtime, um ambiente pré-criado para ciência de dados e aprendizado de máquina executados diretamente no Snowpark Container Services. Isso oferece um conjunto de estruturas populares de ML e várias versões de Python, e acelera o treinamento e o carregamento de dados ao distribuir recursos de processamento. A versão de runtime utilizada para protótipo é a mesma que será usada para agendar e produzir, eliminando problemas comuns de "mas funcionou no meu laptop..."

Empresas globais, como a Aimpoint Digital, líder em consultoria de dados e IA, estão usando o Snowflake Notebooks para conduzir fluxos de trabalho de desenvolvimento prontos para produção.

Para começar a usar o Snowflake Notebooks, acesse este quickstart, tópico modelagem. 

Experiment Tracking

Após criar e iterar com o Snowflake Notebooks e o Cortex Code, você pode mudar rapidamente da hipótese bruta para um modelo de alta performance usando Experiment Tracking integrado de modo nativo (agora disponível ao público). Ele permite às equipes de ML identificar, compartilhar e reproduzir de modo sistemático os modelos com melhor performance nas sessões de treinamento, o que simplifica a colaboração, melhora a reprodutibilidade e acelera as iterações do modelo em toda a empresa. Com o último lançamento do Snowflake Experiment Tracking, você pode registrar continuamente milhões de métricas geradas durante grandes sessões de treinamento, bem como parâmetros do modelo, artefatos e metadados.

Muitas empresas estão usando o Experiment Tracking para armazenar, monitorar e comparar informações essenciais para o treinamento do modelo em diferentes operações, incluindo o EnergyHub, que capacita as empresas de serviços públicos e seus clientes a criar um futuro de energia limpa e acessível.

Serviço em tempo real 

Após treinar seu modelo no Snowflake ou em qualquer outra plataforma externa, você pode facilmente implementá-lo para inferência nos dados do Snowflake para gerar resultados preditivos. Estamos lançando novos recursos de ML online prontos para produção, disponíveis ao público, para abrir casos de uso em tempo real, como recomendações personalizadas e detecção de fraudes. Sem precisar de infraestrutura adicional ou configuração complicada. Agora, os desenvolvedores podem eliminar os riscos de latência, os custos e a segurança associados à exportação de dados confidenciais para plataformas externas, unificando casos de uso de ML em lote e online em uma única plataforma.

Snowflake Feature Store

Ficamos felizes em anunciar o lançamento ao público do online featuring serving na Snowflake Feature Store. Snowflake Feature Store (em versão preliminar privada) é uma solução integrada para que cientistas de dados e engenheiros de ML consigam criar, armazenar, gerenciar e fornecer manutenção a recursos de ML para fins de inferência e treinamento de modelos. Ela é composta por APIs Python que podem ser acessadas por meio da biblioteca Snowpark ML, e interfaces SQL para definição, gerenciamento e recuperação de recursos, além de uma infraestrutura administrada para gestão de metadados de recursos e processamento contínuo de recursos. Com recursos de disponibilização de atributos online, o Snowflake Feature Store atua como uma solução unificada para casos de uso online de lote e de baixa latência, atendendo recursos em 30 ms. 

O Snowflake Feature Store se integra perfeitamente aos dados, recursos e modelos do Snowflake para que os pipelines de ML de grande escala possam ser produzidos com facilidade e eficiência. Isso elimina a redundância e a duplicação de pipelines de atributos, garantindo que os clientes tenham recursos consistentes, atualizados e precisos disponíveis com funções de segurança e governança de nível empresarial. Uma interface centralizada no Snowsight para a disponibilização do repositório de atributos facilita a busca e o descobrimento de características e modelos, permitindo visualizar o fluxo de dados através da linhagem. 

Você pode começar a testar o Snowflake Feature Store hoje mesmo para a disponibilização de atributos online acessando este quickstart. 

Online ML inference

O Online ML inference agora também está disponível ao público, permitindo disponibilizar modelos do Snowflake Model Registry para inferência em tempo real em menos de 100 ms. 

Para atender às exigências rigorosas das cargas de trabalho de produção, o Online ML inference integra autoescalonamento inteligente, performance de baixa latência e ampla observabilidade em um fluxo de trabalho coeso. Tudo começa com performance econômica. Nossa lógica de dimensionamento automático lida com grandes picos de tráfego de modo instantâneo e ajusta a escala para zero quando a demanda cai, eliminando a sobrecarga de GPUs superprovisionadas. E o mais importante é que, à medida que o tráfego se amplia, o sistema é projetado para responder imediatamente, garantindo que a escala dos modelos se ampliem rapidamente para manter uma performance inferior a 100 ms.

Da mesma forma, a implementação é resiliente, permitindo que os usuários façam a transição para novas versões do modelo por meio de atualizações automatizadas em andamento que garantem que o tráfego do aplicativo nunca fique desativado, apoiado pela segurança de rollbacks fáceis da versão. As equipes também podem usar o “shadow mode” para validar com segurança novos modelos, monitorando a performance em um ambiente paralelo, isolado da versão de produção, antes de se comprometer uma versão por completo. O Snowflake também está facilitando a obtenção de visibilidade completa das taxas de latência, transferência e erro com observabilidade integrada capaz de registrar todas as solicitações e respostas diretamente em uma tabela do Snowflake para depuração avançada e auditoria de longo prazo.

Inferência para modelos multimodais

Além disso, a execução de inferência em larga escala online e em lote agora é fácil com o suporte de inferência do Snowflake para modelos multimodais de código aberto de hubs, como Hugging Face. O suporte à inferência para dados não estruturados agora está em versão preliminar pública e inclui tipos de dados, como imagens, vídeo e áudio. Essa capacidade desbloqueia casos de uso de IA, como detecção de objetos, perguntas e respostas visuais e reconhecimento automático de voz no Snowflake, sem pipelines complexos ou movimentação de dados.

O Snowflake oferece suporte às necessidades de processamento em lote e em tempo real. Os usuários podem implementar modelos multimodais como um serviço de inferência online por meio de APIs REST ou conectá-los ao Snowflake Model Registry para chamada imediata em lote. Com a camada de processamento distribuída do Snowflake, as equipes podem executar grandes tarefas de inferência em grandes conjuntos de dados sem sair do ambiente familiar.

Por onde começar

Com as mais recentes inovações em recursos com agentes, online e multimodais, o Snowflake ML agiliza ainda mais o aprendizado de máquina desde o protótipo até a produção na mesma plataforma onde seus dados são governados. 

Confira nossa documentação de produto e teste o Snowflake ML hoje mesmo com esse quickstart de introdução disponível com a avaliação gratuita de 30 dias do Snowflake ML.