Simplificar la integración de datos empresariales: Análisis de la implementación BYOC de Snowflake Openflow

Para obtener información valiosa basada en datos —ya sea mediante analíticas, aprendizaje automático o búsquedas— las empresas buscan constantemente mejores formas de gestionar las montañas de información que poseen. Sin embargo, históricamente ha sido mucho más fácil decirlo que hacerlo. En la práctica, requiere crear (y mantener) flujos de integración complejos que rápidamente se vuelven engorrosos, por no hablar de lo costosos que son. 

Para muchos, un servicio de integración de datos adaptable y ampliable, pero fácil de gestionar y controlar, puede sonar como una quimera, pero para eso se diseñó Snowflake Openflow. Openflow ofrece dos opciones de implementación: alojada en Snowflake y alojada en el cliente. La opción alojada en el cliente, basada en una implementación de Bring Your Own Cloud (BYOC), está disponible de forma general en todas las regiones comerciales de AWS. Con estas opciones de implementación, Openflow ofrece la flexibilidad de ejecutar flujos de datos allá donde residan los datos de los clientes sin poner en riesgo la privacidad ni la seguridad, todo ello sin dejar de lado la simplicidad operativa.

En esta entrada de blog, la primera de una serie de dos partes, profundizaremos en BYOC: qué es, por qué puede ser beneficioso para tu equipo y cuándo usar BYOC. Más adelante, analizaremos las opciones alojadas en clientes y en Snowflake. 

La belleza de BYOC

En lo que respecta al movimiento y redes de datos, las empresas suelen tener que elegir entre dos tipos de implementaciones: una opción de software como servicio (SaaS) totalmente gestionada o una alternativa de alojamiento propio, cada una con sus ventajas y limitaciones. Una oferta de SaaS gestionada es fácil de configurar y mantener, pero a menudo carece de flexibilidad, mientras que el autoalojamiento permite un mayor control y personalización, pero requiere mucho más trabajo, especialmente al principio. 

Entre tanto, la opción BYOC ha surgido como un punto medio, una solución oportuna que ofrece las ventajas de cada una: conveniente y escalable, con flexibilidad y control. Con BYOC, las empresas disfrutan de la experiencia de un servicio gestionado sobre su infraestructura de nube. Pueden conectar sistemas públicos y privados de forma segura y gestionar el preprocesamiento de datos confidenciales de forma local, dentro de los límites seguros del entorno de nube de la organización. Para las empresas más grandes, BYOC también ofrece la oportunidad de aprovechar el modelo de precios preferido que pueden recibir de sus contratos de infraestructura de nube existentes, lo que ayuda en los resultados finales. Por todas estas razones y muchas más, el modelo BYOC ha ido ganando popularidad últimamente.

Flujos de datos con flexibilidad

La implementación BYOC de Snowflake Openflow se ha diseñado para satisfacer las necesidades de los clientes en el lugar donde residen sus datos. Aprovecha sofisticadas capacidades de ingeniería de datos al tiempo que preserva la soberanía de los datos y mantiene la continuidad en muchos sistemas. Gracias a BYOC, Snowflake asume la pesada tarea de gestionar la implementación de Openflow y los entornos de ejecución alojados en la infraestructura del cliente. Simplificamos aspectos como la observabilidad y la orquestación de los flujos en una sola herramienta, combinando la facilidad de uso con la flexibilidad.

Con una implementación BYOC, Snowflake ayuda a gestionar los siguientes aspectos:

• Complejidad de la instalación: Ayuda a comprender los detalles de un entorno de nube determinado y, a continuación, generar activos de infraestructura como código que se pueden compartir fácilmente con un equipo de plataforma de nube, lo que simplifica enormemente la implementación. 

• Observabilidad de la integración: Proporciona orientación visual de tus flujos de integración con una vista detallada de DAG y el linaje. 

• Seguridad: Proporciona funciones de seguridad avanzadas, como autenticación, autorización detallada, cifrado en tránsito, gestión de secretos, AWS PrivateLink y Tri-Secret Secure. 

Sin embargo, la mayor ventaja de una implementación BYOC de Openflow es la flexibilidad que ofrece Snowflake. Permite a las empresas implementar flujos de forma segura de la manera que mejor se adapte a su arquitectura y diseño de red existentes. Admite el movimiento de datos desde cualquier fuente a cualquier destino con libertad para utilizar infraestructuras nuevas o ya establecidas, en función de las necesidades de la empresa. En lugar de forzar el flujo de datos por rutas rígidas y prescritas, o de tener que diseñar soluciones complejas y costosas a cada paso, Openflow está diseñado para crear flujos potentes y flexibles a la vez. 

Para obtener una explicación completa de lo que necesita una implementación BYOC —desde el modelo de seguridad y los permisos necesarios, hasta las opciones de red flexibles proporcionadas en el asistente de implementación guiada y mucho más—, consulta la documentación de Openflow.

Openflow en todas partes

En Snowflake creemos que las empresas tendrán que ejecutar flujos de datos cerca de sus sistemas de datos esenciales, allá donde residan. Independientemente de si Openflow se ejecuta totalmente gestionado en Snowflake (a través de Snowpark Container Services*) o ayuda a las empresas a escribir en tablas de Apache Iceberg™ gestionadas externamente, pone el poder de elección en manos del usuario. 

Al implementar un cómputo flexible, Openflow permite a los ingenieros de datos aprovisionar los entornos de ejecución (clústeres de cómputo similares en espíritu a los almacenes) en régimen de autoservicio. Estos entornos de ejecución vienen integrados tanto en la interfaz de usuario (IU) para la autoría del flujo como en el cómputo necesario para la ejecución del flujo. Por lo tanto, al margen del tipo de datos (estructurados o no estructurados, por lotes o de transmisión), Openflow proporciona a las organizaciones todo lo que necesitan para modernizar su arquitectura de ingesta de datos. Es la clave de la IA empresarial al permitir un proceso de extracción, transformación y carga (ETL) fluido y revolucionar por completo el movimiento de datos, tanto en Snowflake como en otros lugares.

Para empezar a utilizar una implementación BYOC de Openflow, consulta la guía de inicio. 

Además, puedes ver a petición Data Engineering Connect: Streamline Data Pipeline Workflows with ZeroOps para descubrir cómo Snowflake capacita a los ingenieros de datos para automatizar flujos con confianza, liberándolos de la sobrecarga operativa y permitiéndoles centrarse en lo que más importa.

*Actualmente en vista previa privada para AWS y Azure