Crie e implemente soluções de ML com facilidade usando Snowpark ML, Snowflake Notebooks e Snowflake Feature Store
A Snowflake tem investido fortemente em levar o Data Cloud às cargas de trabalho de IA/ML. A começar de 2021, com o lançamento do Snowpark, um conjunto de bibliotecas e tempos de execução no Snowflake que implementa e processa com segurança Python e outras linguagens de programação bastante usadas.
Desde então, temos ampliado ainda mais a plataforma Snowflake, incluindo seu mecanismo de computação elástica, para acelerar o uso de inteligência artificial (IA) e de aprendizado de máquina (machine learning, ML), desde as fases de desenvolvimento até a produção. Como o Snowpark aproveita a escala e o desempenho de computação e armazenamento do Snowflake (que são fisicamente separados, mas logicamente integrados), nossos clientes têm observado uma média de desempenho 3,5 vezes maior e 34% menos custos em seus casos de uso de IA/ML e engenharia de dados. Desde setembro de 2023, temos observado muitas organizações se beneficiando da decisão de levar o processamento diretamente aos dados, com mais de 35% dos clientes Snowflake usando Snowpark semanalmente.
Para acelerar ainda mais todo o fluxo de trabalho de ML, do desenvolvimento à produção, a plataforma Snowflake continua a evoluir com uma nova interface de desenvolvimento e mais funcionalidades para produzir recursos e modelos com segurança. Vamos entender melhor essas novidades!
Desenvolvimento interativo com SQL e Python no Snowflake Notebooks
O Snowflake Notebooks, em versão preliminar privada, é uma nova interface de desenvolvimento que oferece um ambiente de programação interativo com base em células para que os usuários de Python e SQL possam explorar, processar e testar dados no Snowpark. Os notebooks integrados do Snowflake permitem que os desenvolvedores criem e executem código, treinem e implementem modelos usando o Snowpark ML, visualizem resultados com os elementos de gráfico do Streamlit, entre outros. Tudo dentro da plataforma unificada e segura Snowflake. E como o notebook é integrado de forma nativa aos controles de acesso baseados em funções (role-based access controls, RBAC) do Snowflake, é fácil compartilhar e colaborar com segurança em seu código e nos resultados, sem comprometer nenhum dado empresarial. Para ciência de dados e aprendizado de máquina, o layout com base em células no Snowflake Notebooks possibilita a realização de tarefas de experimentação e exploração, permitindo que os desenvolvedores criem e executem códigos, visualizem resultados, capturem notas e compartilhem insights, tudo em um só lugar.
Simplifique os fluxos de trabalho de IA/ML com a biblioteca do Snowpark ML
O Snowpark ML inclui a biblioteca Python e a infraestrutura subjacente para fluxos de trabalho de ML completos no Snowflake, incluindo a Snowpark ML Modeling API e a Snowpark ML Operations API. O Snowpark ML unifica o pré-processamento de dados, a engenharia de recursos, o treinamento de modelos e a implementação integrada em uma única biblioteca Python fácil de usar. Recentemente, anunciamos a Snowpark ML Modeling API (em breve disponível ao público), que possibilita o uso das estruturas de ML mais conhecidas, como Scikit-learn e XGBoost, para fins de engenharia de recursos e treinamento de modelos, sem que os dados precisem ser movidos do Snowflake. O Snowpark ML possibilita o desenvolvimento intuitivo de modelos por meio dessas estruturas e das APIs Python que os usuários já dominam. Nos bastidores, o Snowpark ML paralisa as operações de processamento de dados ao lançar mão da plataforma de computação escalável da Snowflake.
No caso do Snowpark ML Operations, o Snowpark Model Registry (breve em versão preliminar pública) possibilita que os modelos sejam implementados e gerenciados no Snowflake com segurança e escalabilidade. Ele inclui também compatibilidade expandida para a implementação de modelos de aprendizado profundo do Tensorflow e do Pytorch, além de LLMs de código aberto da Hugging Face para o Snowpark Container Services (que inclui conjuntos computacionais de GPU). O Snowpark Model Registry agora funciona com base em uma entidade-modelo nativa do Snowflake, com compatibilidade para controle de versão integrado, controle de acesso com base em função e uma API SQL para oferecer gerenciamento mais simplificado aos usuários de SQL e Python.
Armazenamento, gerenciamento e automação de pipelines de recursos com Snowflake Feature Store
Snowflake Feature Store (em versão preliminar privada) é uma solução integrada para que cientistas de dados e engenheiros de ML consigam criar, armazenar, gerenciar e dar manutenção a recursos de ML para fins de inferência e treinamento de modelos. Ela é composta por APIs Python que podem ser acessadas por meio da biblioteca Snowpark ML, e interfaces SQL para definição, gerenciamento e recuperação de recursos, além de uma infraestrutura administrada para gerenciamento de metadados de recursos e processamento contínuo de recursos. Com Snowflake Feature Store, as equipes de ML podem manter um único centro de informações atualizado para os recursos usados na inferência e no treinamento de modelos.
Próximos passos
O Snowflake continua a facilitar a vida dos clientes que precisam criar e implementar recursos e modelos com segurança e continuidade em uma única plataforma, possibilitando que levem mais desenvolvimento de IA/ML aos dados. Confira a demonstração do Snowpark ML no Snowday e veja as mais recentes novidades em prática. Além disso, o Snowflake também facilita que os usuários consigam gerar valor com a IA generativa. Clique aqui para saber mais sobre as novidades mais recentes, como o Snowflake Cortex, e aqui para ver as experiências baseadas em LLM criadas no Snowflake Cortex.
Recursos:
Authors
