Blog/Produto e tecnologia/Nove práticas recomendadas para migrar de uma solução local para a nuvem com o Snowflake
19 de nov. de 2024/Leitura: 8 minProduto e tecnologia

Nove práticas recomendadas para migrar de uma solução local para a nuvem com o Snowflake

Digital illustration of an on-premise data store sending data to a cloud icon with the Snowflake cloud in the center

Diariamente, as equipes da Snowflake identificam oportunidades e ajudam os clientes a implementar as práticas recomendadas que facilitam o processo de migração de uma solução local para a nuvem. Essas equipes também monitoram os possíveis desafios e aconselham sobre padrões comprovados para ajudar a garantir uma migração de dados bem-sucedida.

Este artigo destaca nove áreas principais que requerem atenção e planejamento a fim de garantir uma transição fácil para a nuvem. Além disso, este blog vai apresentar alguns dos recursos comprovados do Snowflake que ajudam a obter valor máximo do trabalho de migração.

Migrar dados corporativos para a nuvem pode ser uma tarefa difícil. No entanto, quando executado corretamente, o processo pode ser eficiente e bem menos desafiador. O uso dos recursos integrados do Snowflake pode reduzir ainda mais alguns dos pontos problemáticos comuns associados ao processo de migração.

Este artigo se concentra nas seguintes áreas:

  1. Compactação de dados

  2. Uploads iniciais de dados 

  3. Uploads contínuos de dados

  4. Priorização de conjuntos de dados

  5. Gerenciamento do ciclo de vida dos dados

  6. Segurança e criptografia de dados

  7. Validação de dados

  8. Recuperação de desastres 

  9. Vários ambientes de software

Compactação de dados

A compactação de dados é fundamental para preservar a largura de banda ao transferir dados do local para a nuvem. Existem várias formas de compactar os dados antes de fazer upload. Por exemplo, o gzip é um método de compactação confiável. Ao carregar dados no Snowflake a partir de buckets do Amazon S3, a compactação de dados pode otimizar o processo, melhorando a eficiência e reduzindo o tempo de transferência.

Como o Snowflake pode ajudar: se os arquivos estiverem compactados com gzip ou outro formato amplamente utilizado, o Snowflake pode ingerir os dados compactados diretamente sem a necessidade de descompactação manual. Outra opção, se os seus arquivos não estiverem compactados em uma unidade local, o Snowflake os compactará automaticamente usando gzip, a menos que a compactação esteja claramente desativada ou um método de compactação diferente estiver especificado. Esse recurso integrado ajuda a preservar ainda mais a largura de banda durante o upload de arquivos, tornando o processo de migração mais eficiente.

Uploads iniciais de dados

Todas as empresas gerenciam grandes volumes de dados espalhados por diferentes formatos em sistemas locais. Um método híbrido, onde alguns conjuntos de dados permanecem no local e outros são movidos para a nuvem, pode parecer interessante para reduzir a carga inicial, mas provavelmente será mais complicado de gerenciar a longo prazo. Com o método híbrido, sua tarefa é gerenciar dois conjuntos de infraestrutura, possivelmente de formatos diferentes, e o uso de um modelo federado provavelmente é demorado e caro.

O tamanho dos dados pode variar de alguns gigabytes a vários terabytes. Lidar com alguns gigabytes é relativamente simples, mas a migração de dados na faixa de terabytes pode trazer desafios logísticos. Para ajudar a garantir o sucesso dessa enorme tarefa, o método de transferência de uma única vez e sem manipulação é essencial para promover a precisão dos dados e manter os controles de segurança durante todo o processo.

Como o Snowflake pode ajudar: todo grande provedor de serviços na nuvem (cloud service provider, CSP) oferece soluções para ajudar na transferência de dados em grande escala. A AWS fornece o Snowball. O Microsoft Azure oferece o Databox. E o Google tem o Transfer Appliance. Todas ferramentas para facilitar migrações de dados massivas e únicas. Como o Snowflake é compatível com essas CSPs, assim que a transferência offline está concluída e os dados estão disponíveis na nuvem, a ingestão desses dados no Snowflake para processamento posterior torna-se um processo contínuo.

Uploads contínuos de dados

Embora seja possível gerenciar uploads únicos com as soluções indicadas acima, os clientes também devem pensar em como lidar com novos dados gerados diariamente. Esse processo pode continuar indefinidamente ou por um período fixo até que a arquitetura local seja totalmente aposentada e os dados sejam movidos diretamente para a sua plataforma na nuvem. Para atender a esses requisitos de carga de dados contínuos, os pipelines devem ser criados para ingerir e fazer upload contínuo de dados recém-gerados em sua plataforma na nuvem, permitindo um fluxo contínuo e eficiente de informações durante e depois da migração.

Como o Snowflake pode ajudar: o Snowflake oferece várias opções de ingestão de dados. Para cargas contínuas e em tempo real, o Snowpipe é ideal para a manutenção dos feeds. Para o carregamento em lote, o poderoso comando COPY pode ser utilizado. Para casos de uso de streaming de baixa latência, o Snowpipe Streaming é o ideal. Além disso, as fortes ferramentas de ecossistema de integração de dados da Snowflake possibilitam uploads incrementais seguros e controlados sem a necessidade de uma infraestrutura complexa. Essa flexibilidade permite que a ingestão de dados seja eficiente e confiável, com o mínimo de interrupções durante o processo de migração. Leia mais práticas recomendadas de ingestão de dados com o Snowflake nesta série de três partes: Parte 1, Parte 2, Parte 3.

Priorização de conjuntos de dados

As empresas muitas vezes lidam com o desafio de diferentes equipes competindo para migrar os dados para a nuvem com a maior rapidez possível. Se esse processo não for gerenciado sistematicamente, ele pode levar a várias cópias dos mesmos dados armazenadas na nuvem, o que gera ineficiência. Para evitar isso, é fundamental priorizar conjuntos de dados e migrá-los em uma sequência estruturada, começando com os conjuntos de dados principais antes de migrar para outros conjuntos.

Embora o Snowflake facilite a migração e a priorização contínua de dados, muitos de nossos clientes demonstraram que um bom planejamento e a identificação cuidadosa dos conjuntos de dados são fundamentais para garantir que os dados certos sejam movidos primeiro, evitando duplicação desnecessária. Isso pode ser simples como listar os conjuntos de dados em um local central, como o Sharepoint, e atribuir prioridade para ajudar a realizar o planejamento adequado, seguido de revisão periódica da lista.

Como o Snowflake pode ajudar: embora existam diversos métodos para fazer o upload de conjuntos de dados e já mostramos alguns deles neste blog, a opção de fazer upload de arquivos usando a interface da web da Snowflake representa uma das formas mais fáceis e muitas vezes mais rápida de ingerir dados. Esse método fácil de usar permite que os usuários empresariais realizem a transferência de arquivos de modo rápido para o Snowflake, simplificando o processo de ingestão de dados.

Gerenciamento do ciclo de vida dos dados

O gerenciamento do ciclo de vida dos dados é uma área fundamental para a gestão eficaz de custos na nuvem. A manutenção dos dados na nuvem incorre em custos operacionais. Portanto, estabelecer uma política sólida de retenção de dados deve ser um aspecto fundamental da estratégia de nuvem do cliente. Embora os requisitos de regulamentação e conformidade possam evitar a exclusão completa dos dados, é recomendável implementar um modelo de data de validade para os dados que não estejam sujeitos a esses requisitos de retenção. Essa estratégia ajuda a otimizar os custos de armazenamento.

Como o Snowflake pode ajudar: o Snowflake oferece diversos recursos que facilitam o gerenciamento do ciclo de vida dos dados, incluindo várias considerações sobre armazenamento de dados. Essas ferramentas, combinadas com nossas ferramentas de otimização de custos, como os budgets, ajudam a reduzir os custos de armazenamento. Além disso, nossa equipe de produtos tem trabalhado em novos recursos baseados em políticas para tornar o ciclo de vida dos dados gerenciável.

Segurança e criptografia de dados

A segurança de dados é uma área importante que as organizações consideram ao mover seus dados para a nuvem. A equipe de segurança precisa entender a ideia de que os dados corporativos vão deixar as barreiras da empresa e passar para a nuvem. Recursos como conectividade particular, políticas de rede e criptografia são alguns dos métodos amplamente adotados para proteger dados durante a movimentação para a nuvem.

Algumas organizações têm estabelecido políticas de segurança que exigem que os dados sejam criptografados antes de sair do seu data center. Metodologias de criptografia, como RSA e AES, podem ser aplicadas no nível do arquivo para habilitar a proteção de dados durante esse processo. Assim que os dados estão em trânsito para a sua plataforma de nuvem, é possível implementar amplas políticas de proteção de dados para protegê-los tanto em trânsito quanto em repouso. Isso oferece uma camada adicional de segurança durante todo o processo de migração.

Como o Snowflake pode ajudar: o Snowflake oferece criptografia completa para ajudar as organizações a cumprir seus requisitos de conformidade e manter os dados seguros durante todo o ciclo de vida. A Snowflake também fornece soluções eficazes de gerenciamento de chaves, quando os dados estão sob o seu gerenciamento, melhorando ainda mais a segurança e o controle das informações confidenciais. Além disso, o Private Link e o recurso de limitar a aceitação de solicitações de HTTP de certos endereços de IP (também conhecido como "lista branca de IP") ajudam a limitar o acesso aos dados.

Validação de dados

A validação de dados é fundamental para a qualidade dos dados e para promover a confiança dos usuários empresariais na utilização dessas informações. Algumas métricas fundamentais comumente usadas pelos clientes para a validação incluem o número de valores únicos, número de valores nulos, atualização de conjuntos de dados e valores duplicados. O log regular e a revisão dessas métricas a intervalos definidos ajudam a manter a qualidade dos dados e apoiam a tomada de decisões com base em informações para os grupos de negócios.

Como o Snowflake pode ajudar: o Snowflake oferece uma variedade de funções de métrica de dados que podem ser executadas em segundo plano para ajudar a identificar anomalias e oferecer suporte à validação de dados. Essas funções monitoram continuamente os dados, permitindo a detecção proativa de problemas e promovendo a qualidade e a confiabilidade geral deles.

Recuperação de desastres

O nível de prontidão para recuperação de desastres (disaster recovery, DR) exigido por uma nuvem é bem diferente de um sistema local. Por padrão, as CSPs estabeleceram padrões para ajudar as estratégias de DR na manutenção de cópias de dados. Embora as soluções locais muitas vezes exijam amplo planejamento e recursos para redundância de dados e para cumprir as políticas de RPO e RTO para recuperação, os fornecedores de serviços na nuvem normalmente oferecem recursos integrados de DR que simplificam esses processos e melhoram a resiliência dos dados. Isso permite que as organizações usem a infraestrutura do fornecedor (CSP) para uma recuperação de desastres mais eficaz e eficiente. Manter o foco nas necessidades das aplicações do ponto de vista da disponibilidade de dados ajuda a mitigar os riscos para os negócios.

Como o Snowflake pode ajudar: um dos pontos fortes do Snowflake é a sua capacidade de assegurar a continuidade de negócios em diferentes nuvens e regiões usando o Snowgrid, que é muito fácil de implementar sem necessitar de muita infraestrutura de backend. Além disso, o Snowflake fornece vários recursos integrados para dar suporte à recuperação de desastres, incluindo replicação automática, Time Travel, failover/failback e Secure Data Sharing. 

Vários ambientes de software

Na nuvem, a necessidade de vários ambientes (como desenvolvimento, teste, preparo e produção) muitas vezes persiste, semelhante a configurações no local. No entanto, as plataformas na nuvem oferecem maior flexibilidade e escalabilidade, o que pode simplificar o gerenciamento. A nuvem permite alocar recursos sob demanda, ajudando as empresas a se preparar e a eliminar ambientes conforme necessário, pagando apenas pelo que usam. Além disso, as ferramentas de automação para implementação e manutenção de ambientes tornam fácil o gerenciamento de toda a logística. Testes do usuário, testes de desempenho, testes de regressão, testes de segurança entre outros se tornam muito fáceis devido à natureza da nuvem.

Como o Snowflake pode ajudar: o Snowflake ajuda as empresas a economizar tempo, trabalho e dinheiro, fornecendo uma plataforma centralizada para facilitar o acesso, clonagem de cópias para cópias instantâneas sem replicação em todos os ambientes, integração com ferramentas de CI/CD e acesso instantâneo a recursos para ajudar com diferentes tipos de testes sem o gerenciamento adicional de manter a infraestrutura necessária para oferecer suporte a esses recursos.

Considerações finais

Embora tenhamos mostrado as nove áreas gerais com as quais os clientes têm enfrentado problemas e as possíveis soluções, esta não é uma lista exata. Com planejamento cuidadoso e as ferramentas certas, a migração de dados corporativos para a nuvem pode facilitar o planejamento e o gerenciamento de uma tarefa complicada. O avançado conjunto de recursos do Snowflake, que vai desde a compactação de dados, as opções de upload, o gerenciamento do ciclo de vida dos dados e a segurança aprimorada, ajudam a acelerar a migração para a nuvem e, ao mesmo tempo, minimizam os riscos.

Ao se concentrar nas áreas críticas discutidas neste artigo, as organizações podem otimizar seus esforços de migração para a nuvem, garantindo uma transição contínua alinhada às necessidades operacionais e aos objetivos de longo prazo dos negócios. Tendo a Snowflake como sua empresa-parceira de confiança, a transição dos dados da sua empresa para a nuvem é fácil.  Para obter mais informações, acesse a página Snowflake Migrate to the Cloud, dedicada à migração, e saiba mais sobre nossa ferramenta nativa de conversão de código, SnowConvert. 

Digital illustration of an on-premise data store sending data to a cloud icon with the Snowflake cloud in the center
Data Cloud Academy

Migrations Master Class

Take our free course and get best practices for migrating to Snowflake, including expert tips and customer experiences.

Saiba mais sobre o autor

Yogesh Gupta

Yogesh Gupta

Sales Engineer
Compartilhe esta publicação

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week