Governança e descoberta de dados avançadas e integradas com o Snowflake Horizon Catalog
Silos complicam a governança e a descoberta eficazes
Com o surgimento da IA generativa e dos grandes modelos de linguagem (large language models, LLMs), as empresas estão correndo para liberar o máximo de valor comercial possível de seus ativos de dados, incluindo apps e modelos. Infelizmente, esses ativos de dados muitas vezes ficam isolados em silos entre vários provedores e soluções de serviços na nuvem, bem como em diferentes ecossistemas de parceiros, clientes e fornecedores. Com o aumento do número de silos, o descobrimento e o acesso democratizado se tornam muito difíceis, e o gerenciamento dos riscos de segurança e dos custos associados à movimentação de ativos de dados entre diferentes sistemas com diferentes modelos de governança torna-se extremamente complexo.
Simplifique a governança e a descoberta em escala com o Snowflake Horizon Catalog
Desde o início, um objetivo central da Snowflake tem sido eliminar os silos de dados e disponibilizar todos os dados de forma simples e consistente. No entanto, não basta facilitar o acesso aos dados: deve ser fácil encontrar dados, fácil de colaborar e fácil de controlar todos os dados de uma organização. Esses insights nos inspiraram a criar o Snowflake Horizon Catalog.
Com o Horizon Catalog, buscamos criar um catálogo que seja um reflexo da nossa busca incansável por simplicidade e uniformidade. No centro do Horizon Catalog está um repositório unificado e global do Snowflake AI Data Cloud, que inclui dados estruturados, semiestruturados e não estruturados, modelos, Snowflake Notebooks, Streamlit, Snowflake Native Apps e ofertas. Além desse repositório, criamos um conjunto de recursos em torno dos cinco temas a seguir:
Segurança: o Horizon Catalog foi criado com uma base de segurança eficaz de segurança de rede, gerenciamento e autenticação de identidade sólidos, aliados ao monitoramento e à proteção contínuos de riscos por meio do Trust Center. Além disso, o controle de acesso centralizado baseado em função (central role-based access control, RBAC) em várias nuvens ajuda a garantir que os dados estejam protegidos desde o momento em que são acessados pela primeira vez até o momento em que são consumidos.
Conformidade: o Horizon Catalog oferece ferramentas aos clientes para garantir que o acesso aos dados seja controlado e auditado, que os dados sejam de alta integridade e que os dados sejam usados para fins apropriados por meio de recursos como auto-classificação para detecção de dados confidenciais, políticas de autorização granulares para proteger os dados, como por meio de mascaramento baseado em tags e mascaramento dinâmico de dados, bem como monitoramento da qualidade dos dados e visualização de linhagem de dados.
Privacidade: as organizações muitas vezes limitam o uso de dados por causa de questões de privacidade. Os recursos avançados de privacidade do Horizon Catalog, como Synthetic Data Generation, Differential Privacy Policies e Snowflake Data Clean Rooms, possibilitam a análise de dados e a colaboração, mantendo a privacidade, abrindo novas possibilidades.
Descoberta: os usuários devem ser capazes de encontrar os dados, apps e modelos de que precisam, entendê-los e acessá-los de forma contínua. O Horizon Catalog oferece descoberta contínua de conteúdo (dados, apps e modelos) trabalhando com os dados, independentemente do formato ou do local.
- Colaboração: o Horizon Catalog possibilita a colaboração segura com clientes e fornecedores sem mover dados, tanto dentro quanto fora da organização. Os clientes também podem enriquecer e desbloquear seus dados com conjuntos de dados, apps e produtos de IA de terceiros do Snowflake Marketplace.
Um princípio que nos motivou na criação do Horizon Catalog foi a facilidade de uso em escala: mesmo uma equipe pequena deve ser capaz de proteger e selecionar os acervos de dados mais complexos por meio de um único conjunto de ferramentas. O Horizon Catalog foi criado para ser fácil de usar. Por isso, ele é:
Multinuvem e global: seu acervo de dados pode estar espalhado por diferentes nuvens e regiões, incluindo onde seus parceiros, clientes ou fornecedores podem armazenar dados. Com o Horizon Catalog, você pode gerenciar o seu acervo de dados com um modelo único de governança e segurança que funciona de forma consistente em diferentes regiões e nas três principais nuvens (AWS, Azure e GCP) e nuvens soberanas para mercados regulamentados.
Por princípio, integrado: você não precisa desperdiçar tempo e recursos valiosos criando integrações personalizadas que muitas vezes são frágeis e não confiáveis. Os recursos de governança, as superfícies de descoberta e os fluxos de trabalho de solicitação do Horizon Catalog são integrados desde o desenvolvimento, ajudando você a garantir a consistência da aplicação e da confiabilidade. Por exemplo, o Internal Marketplace do Horizon Catalog é totalmente integrado aos controles de governança e acesso para fornecer um mecanismo simples de autoatendimento para usuários técnicos e empresariais. Enquanto isso, o Horizon Catalog Trust Center fornece um painel único e unificado que simplifica o monitoramento de segurança em diferentes nuvens para descobrir riscos de segurança e recomendações para resolvê-los.
Powered by Snowflake Cortex AI: o Horizon Catalog utiliza o Snowflake Cortex AI para automatizar e potencializar o que antes eram tarefas manuais. Para automatizar a seleção de dados, o Horizon Catalog integra-se ao Cortex AI para gerar, de forma inteligente, descrições de objetos e colunas. Você pode usar a pesquisa de linguagem natural impulsionada por IA para descobrir os dados de que precisa. Por fim, é possível usar a inteligência artificial (IA) para entender e analisar os dados por meio de Snowflake Copilot, Cortex Analyst e Cortex Knowledge Extensions, tudo com uma interface de linguagem natural intuitiva.
Interoperável: você quer uma plataforma que ofereça flexibilidade para trabalhar com formatos de tabela aberta para minimizar a dependência e que ofereça liberdade para escolher a ferramenta certa para a carga de trabalho certa. O Horizon Catalog se integra ao Apache Polaris (um catálogo de código aberto para Apache Iceberg Tables) bem como ao Snowflake Open Catalog (um serviço gerenciado com tecnologia Apache Polaris) para gerenciar de forma contínua não apenas objetos dentro do Snowflake, mas também objetos Iceberg abertos fora do Snowflake. Essa integração oferece às empresas níveis inéditos de escolha, flexibilidade e controle sobre seus dados, estendendo os recursos de governança e descoberta do Horizon Catalog para Iceberg Tables criados por qualquer outro mecanismo compatível no Apache Polaris e no Snowflake Open Catalog. O ecossistema de parceiros do Horizon Catalog amplia ainda mais os recursos do Horizon Catalog além do Snowflake e do Iceberg.
Com o Horizon Catalog, os administradores e os responsáveis pela segurança de dados podem entender, proteger e auditar contas e ativos em diferentes regiões e nuvens, permitindo que as equipes de dados descubram, acessem e compartilhem dados, serviços e apps em todo o mundo, sem ETL. O Horizon Catalog tem como base a liderança existente da Snowflake em compartilhamento de dados, com milhares de clientes compartilhando dados dentro e entre as organizações e adquirindo dados ou apps no Snowflake Marketplace, bem como a governança e a segurança de dados, com o RBAC, classificação, marcação e políticas refinadas em que milhares de clientes confiam. Ao mesmo tempo, o Horizon Catalog amplia esses recursos líderes de governança e descoberta nativos para formatos de tabela aberta para melhor interoperabilidade entre sistemas de gerenciamento de metadados, mecanismos de consultas e infraestruturas de nuvem.
Saiba mais
Neste artigo de blog, apresentamos por que criamos o Horizon Catalog e como a facilidade de uso dele ajuda no gerenciamento eficaz da sua plataforma de dados corporativos moderna. Nos próximos artigos, vamos analisar melhor como os recursos desses cinco temas podem ajudar você a alcançar seus objetivos.
Para conhecer melhor o Snowflake Horizon Catalog, confira estes recursos:
Assista a demonstrações na playlist do Snowflake Horizon Catalog no YouTube.
Teste alguns dos principais recursos com este quickstart.
Acesse nossa documentação.
Veja também os mais recentes lançamentos do Horizon Catalog:
Autoria:
