Siemens cria sua plataforma de data mesh para acelerar a inovação

A Siemens é uma empresa de tecnologia global que combina os mundos físico e digital para trazer benefícios para os clientes e para a sociedade. A empresa tem seu foco em infraestrutura inteligente para edificações e sistemas de energia descentralizados, automação e digitalização de fabricação e processos, bem como soluções de mobilidade inteligente para transporte ferroviário e rodoviário.

A Siemens acredita que os dados são um de seus ativos mais importantes. E a empresa assumiu a missão de criar uma cultura de dados voltada para mais transparência e conexões entre domínios, em última instância, um ecossistema onde os dados apoiam e conectam tudo e todos.

Para a Siemens, tornar-se uma empresa baseada em dados está mais ligado a uma filosofia global do que a uma transformação digital. Por muitos anos, a empresa vinha repensando seu uso de dados, buscando obter insights operacionais importantes para fundamentar as tomadas de decisão e automatizar os processos, de modo a encorajar a inovação.

Christian Meyer, Head of Cloud Operations e Chief Technology Architect da Siemens AG, explica como a escala das ambições de dados da empresa revelou grandes desafios relativos à infraestrutura já existente: “Na época, tínhamos um dos maiores data lakes SAP HANA locais do mundo. E por mais que o sistema nos atendesse bem, era difícil de escalonar, além de apresentar problemas para aceitar um misto de dados estruturados e não estruturados. Extrair dados para a nuvem e integrar soluções de inteligência artificial em escala era um desafio. Já a falta de separação entre armazenamento e processamento aumentava os custos.” 

Para executar sua estratégia baseada em dados do jeito certo, adotar e desenvolver plataformas de software como serviço e superar desafios técnicos, a Siemens decidiu modernizar sua abordagem de dados. Sua plataforma de dados foi atualizada para uma com recursos de linhagem de dados, capaz de lidar com qualquer tipo e volume de dados, e também com recursos avançados de compartilhamento para que mais usuários empresariais pudessem tirar proveito dos dados. 

“Usamos essa oportunidade para repensar como vínhamos gerenciando os nossos dados”, afirmou Meyer. “Optamos por migrar de infraestrutura local para a nuvem, aproveitando os benefícios adicionais que acompanham essa mudança, para que pudéssemos atender aos parceiros com mais eficiência. O Snowflake foi capaz de atender a nossos altos requisitos de segurança cibernética e otimizar os custos operacionais.” 

A Siemens enfrentou alguns desafios durante a migração. Primeiro, era preciso replicar todos os dados dos sistemas de origem em tempo quase real. Além disso, também era necessário analisar todas as dependências entre produtos de dados.

“Ao usar o SNP Glue para replicar mais de 50 sistemas de ERP e mais de 1,5 bilhão de mudanças diárias no Snowflake e desenvolver um fluxo de dados em dbt e na plataforma interna GitLab da Siemens em code.siemens.com, lidamos com a complexidade, migramos com sucesso para o Snowflake e temos colhido bons resultados desde então”, disse Meyer.

Após intensa avaliação de data warehouses, a Siemens escolheu o Snowflake como sua solução global para inovação baseada em dados. “Analisamos todos os grandes fornecedores de Data Cloud, mas o produto único da Snowflake, sua posição de mercado e trajetória confirmaram a escolha”, declarou Meyer. “Em especial, os grandes recursos de compartilhamento de dados, a ideia de separar processamento e armazenamento para reduzir custos, integrações profundas com nossos parceiros de nuvem estratégicos, como a AWS, e sólidos recursos de governança e segurança realmente nos atraíram.” 

Com o Snowflake já instalado, a Siemens pôde criar o Siemens Data Cloud, um ecossistema de plataforma aberta de data mesh que possibilita a conservação de produtos de dados, aplicações downstream e compartilhamento em um único lugar por meio da integração completa da arquitetura de TI. 

O Data Cloud da empresa agora é o alicerce principal de sua estratégia de dados. Graças a ele, a Siemens conseguiu migrar vários aplicativos de dados legados (incluindo dados de ERP de missão crítica) para a nuvem, e replicar os dados de ERP de quase 50 sistemas em um só lugar e em tempo quase real. 

No fim, a facilidade de uso do Snowflake, o suporte a várias linguagens e os controles de acesso específicos possibilitaram à Siemens compartilhar dados abrangentes e acelerar a capacidade de suas equipes de executar projetos de dados.

Para garantir o compartilhamento contínuo de dados em nível global por meio de uma única fonte de verdade, a Siemens criou uma estrutura de dados como serviço totalmente automatizada. Ao integrar ao Snowflake a plataforma de desenvolvimento Mendix, que requer pouca programação, ela é capaz de oferecer recursos do tipo arraste e solte que as equipes internas podem usar para criar e implementar produtos de dados.  Resultado: uma base de usuários mais ampla, não tão voltada à TI, agora tem acesso aos dados e pode aplicá-los em casos de uso específicos de melhoria de fabricação e processos. 

O compartilhamento de dados também ajuda a garantir que colegas que trabalham para diferentes entidades da Siemens possam trocar dados relevantes e colaborar de forma ágil e eficaz. “Trabalhar com o Snowflake é uma chance para inovarmos”, afirmou Meyer. “Nosso foco é sempre uma automação completa que dê autonomia às pessoas para levar adiante novas ideias, de forma independente. O autoatendimento é essencial, pois permite que as pessoas se concentrem nos dados.”

Usar aprendizado de máquina (machine learning, ML) e inteligência artificial (IA) para automatizar processos, liberar recursos valiosos, descobrir novos fluxos de receita e agregar valor aos negócios é o que mais importa para as ambições baseadas em dados da Siemens. Para que isso aconteça, a Siemens usa as profundas integrações de serviço do Snowflake com outras plataformas de nuvem e provedores de tecnologia para garantir que seus cientistas de dados tenham as melhores ferramentas e os melhores recursos possíveis para melhorar o desempenho e agilizar o tempo de retorno. 

Outro aspecto relevante da integração do Snowflake da Siemens é sua parceria estabelecida com a AWS, o que permite que a Siemens use as melhores ferramentas para a tarefa em questão. “Temos parcerias de longa data com vários fornecedores de nuvem importantes, incluindo a AWS”, explica Meyer. “As integrações técnicas do Snowflake reforçam a importância dessas parcerias, tanto em termos de tecnologia quanto de nossa visão conjunta, para nos ajudar a alcançar nossa transformação na nuvem. Usamos o Snowflake como fonte de dados para o Amazon SageMaker Data Wrangler sem a necessidade de programação. O Snowflake é altamente flexível e nos permite usar a melhor tecnologia para cada caso de uso, algo no qual sempre nos focamos.” 

Com o Siemens Data Cloud, os cientistas de dados da empresa agora têm liberdade de ampliar seu uso de inteligência artificial, garantindo que todos tenham a chance de experimentar a tecnologia e maximizar seus benefícios.

Um exemplo como a Siemens usa o Snowflake para automatizar processos-chave está nas cadeias de fornecedores de suas fábricas, onde paradas na produção por conta da falta de matéria-prima estavam se tornando cada vez mais frequentes. Ao utilizar processos manuais que dependiam de experiência humana e instinto, a empresa notou uma grande oportunidade de reduzir sua dependência do conhecimento informal e passar a usar automação baseada em dados para identificar riscos e aprimorar a disponibilidade de estoque.

“É importante ter uma plataforma ligando cada fonte de dados”, afirma David Reindler, IT Team Lead Business Intelligence e Data Analytics da Siemens AG. “O Snowflake nos dá escalabilidade e estabilidade, facilitando a implementação de modelos e a resolução de problemas de negócios. Nosso poder de processamento também está isolado de outros casos de uso, o que significa que nunca temos problemas com desempenho.” 

De fato, esta foi uma das primeiras provas de conceito da Siemens com o Snowflake no domínio de logística para conexão de várias fontes de dados, aplicadas em três locais de produção de automação industrial na Alemanha e na China. A empresa buscou identificar materiais com risco de subabastecimento por meio de algoritmos baseados em dados. 

Ao atribuir pontuações de risco a cada material no processo da cadeia de fornecedores e conectar todos os seus sistemas e dados de várias fontes no Snowflake, o Siemens Data Cloud agora é capaz de identificar riscos em potencial e realizar ações preventivas de forma autônoma. Além disso, essas informações podem ser facilmente compartilhadas com os usuários por meio do Tableau, oferecendo insights visuais de fácil compreensão que melhoram o processo decisório. 

“Buscamos provar à empresa o que é possível fazer com o Data Cloud”, afirma Rebecca Funk, IT Business Partner na Siemens AG. “O Siemens Data Cloud nos dá a agilidade e flexibilidade para criar modelos de dados que agregam valor aos nossos departamentos de negócios e ajudam a melhorar nossos processos empresariais. O que me fascina agora é o número de projetos ativos no Snowflake. Cresceu muito rápido!”

Com maior flexibilidade e uma plataforma independente de nuvem com suporte a streaming, incontáveis integrações, APIs, dados de Internet das Coisas, dados de chão de fábrica e uma governança de dados robusta, a Siemens deu aos seus colaboradores acesso a um Data Cloud com a mais recente tecnologia, tornando a empresa mais competitiva e ágil. 

E mais, por conta de um mecanismo de processamento elástico e uma arquitetura mutlicluster, a escalabilidade e o custo-benefício da plataforma geraram economias significativas de eficiência e melhoraram o desempenho em toda a empresa.

O Snowflake também oferece benefícios de segurança consideráveis, atendendo a padrões que nenhuma outra solução de dados em nuvem atenderia. Por conta desses recursos, os usuários de autoatendimento da Siemens podem empregar os recursos exigidos para execução de projetos com dados altamente confidenciais em minutos e não semanas. 

“Poder fornecer aos usuários uma plataforma de autoatendimento que atende aos nossos mais altos requisitos de segurança e governança faz com que as pessoas trabalhem com dados de novas formas, possibilitando que obtenham insights em escala”, comentou Meyer.

A partir do sucesso da empresa em levar a maior parte de seus aplicativos legados para a nuvem, a Siemens agora planeja estender seu alcance para além dos processos internos, buscando criar novos fluxos de receita ao oferecer soluções avançadas de automação de dados como serviço. 

“O valor do Snowflake está em como a plataforma nos permite manipular e compartilhar dados”, afirma Meyer. “Além disso, as integrações profundas do Snowflake com grandes provedores de serviços de nuvem também agregam valor. Para uma empresa enorme como a Siemens, essas integrações melhoram e muito a eficiência e o desempenho da nossa arquitetura de TI e das plataformas e iniciativas de tecnologia.”