Snowflake Data Lake

Tipicamente, as empresas estão aquém de realizar o potencial dos Data Lakes por três razões básicas:

• Mesmo com a crescente adoção do armazenamento em cloud que permite volumes virtualmente infinitos, é muito comum manter os dados em silos por diversas razões, como a origem dos mesmos, o tipo de estrutura (estruturados, semi-estruturados, não-estruturados), ou por Cloud Service Provider, ou ainda por região. Esses particionamentos provocam uma visão incompleta dos dados ou a necessidade de desenvolvimento de pipelines para a integração dessas diversas fontes.
• A incorporação de dados externos, dados de fontes terceiras, torna-se complexa e custosa, visto a fragmentação dos dados originais em silos.
• A gestão de múltiplas cópias e versões de dados, torna a governança difícil e o processo de colaboração e compartilhamento respeitando regras de compliance, uma tarefa complexa e sujeita a falhas. 

Neste workshop iremos explorar a utilização da plataforma Snowflake para a construção de Data Lakes, considerando os aspectos de segurança e governança.

Neste workshop iremos cobrir:

• Arquiteturas de Referencia
• Combinação de dados estruturados, semi-estruturados e não-estruturados.
• Acesso de dados externos e carga de dados
• Segurança e Governança
• Integração com Apache Iceberg
• Data Sharing (Consumidor / Fornecedor)