Anwendungsfall
Entwicklung besserer Daten-Pipelines
Data Engineers können Daten-Pipelines schneller erstellen, bereitstellen und optimieren – dank End-to-End-Workflows, die das Data Engineering demokratisieren.
Übersicht
Optimieren Sie den gesamten Daten-Pipeline-Lebenszyklus mit Snowflake
Der Aufbau robuster Pipelines mit hoher Datenintegrität kann zwar eine Herausforderung darstellen, doch die nativen Funktionen von Snowflake und die engen Integrationen mit offenen Standards und Data-Engineering-Praktiken vereinfachen die Einführung neuer Praktiken und die Integration in bestehende Workflows.
Neue native Funktionen
Snowpark Connect, Openflow und dbt Projects auf Snowflake bieten intuitive Schnittstellen, mit denen Teams unternehmensübergreifend zusammenarbeiten und Data Engineering direkt in Snowflake skalieren können.
Beseitigung von betrieblichem Overhead und Performance-Engpässen
Mit verwalteten Rechenressourcen machen Sie Infrastrukturanpassungen überflüssig. Setzen Sie stattdessen auf leistungsstarke und stark optimierte serverlose Transformationen und Orchestrierungsoptionen.
Automatisierte Entwicklung
Vereinfachen Sie den Entwicklungslebenszyklus mit Betonung auf CI/CD, Bereitstellungsautomatisierung und Infrastrukturmanagement.
Vorteile
Erstellen und Orchestrieren mit SQL und Python in Snowflake
Befähigung von Teams durch SQL-Pipelines
Entlastung von Data Engineers durch zugängliche Daten-Pipelines in SQL
- Dank der Modularität der SQL-Pipelines können Benutzer:innen mit unterschiedlichen SQL-Kenntnissen zahlreiche Pipelines zuverlässig in großem Umfang ausführen und so eine anpassungsfähige Datenworkflow-Grundlage schaffen.
- Konzentrieren Sie sich auf das Schreiben von SQL-Code dank der vollständig verwalteten Rechenressourcen der virtuellen Snowflake-Warehouses.
- Vereinfachen Sie die Pipeline-Konfiguration mit automatischer Orchestrierung und kontinuierlicher, inkrementeller Datenverarbeitung mit Dynamic Tables.
- Erstellen, implementieren und verwalten Sie dbt Projects mit nativer Unterstützung auf Snowflake.
Erstellung und Skalierung mit Python-Pipelines
Python-Entwicklung auf Unternehmensniveau
- Unter Verwendung vertrauter Python-Syntax können komplexe Transformationen nahtlos in der elastischen Engine von Snowflake ausgeführt werden, ohne dass Daten bewegt werden müssen, um eine effiziente, groß angelegte Datenverarbeitung zu ermöglichen.
- Bewältigen Sie wachsende Datenmengen und Verarbeitungsanforderungen ohne Infrastrukturaufwand und bieten Sie mit Snowpark eine leistungsstarke und skalierbare Python-Lösung.
- Nutzen Sie pandas auf Snowflake, um die Entwicklung mit dieser vertrauten Syntax für flexible Datenumwandlungen zu vereinfachen und zu skalieren.
- Verbessern Sie die Performance und senken Sie die Kosten für komplexe Datentransformationen in Apache Spark.
Automatisierung
Orchestrieren von Daten-Pipelines
- Planen und automatisieren Sie dbt Projects auf Snowflake mit nativer Orchestrierung oder nutzen Sie einen Drittanbieter-Orchestrator.
- Definieren Sie den Endzustand und Snowflake verwaltet Aktualisierungen automatisch mit Dynamic Tables.
- Führen Sie Befehle nach einem Zeitplan oder definierten Auslösern mit Snowflake Tasks aus.
- Verketten Sie Tasks miteinander und definieren Sie einen Directed Acyclic Graph (DAGs), um komplexere periodische Verarbeitungen zu unterstützen.
- Optimieren Sie die Taskausführung mit Serverless Tasks.
„Wir müssen uns jetzt nicht mehr so darum kümmern, wie wir etwas entwickeln können. Jetzt konzentrieren wir uns vielmehr auf das, was wir entwickeln wollen.“
Dan Shah
Manager of Data Science
Customer Story lesen (englisch)
- 1 Woche für 130 Dynamic Tables, die nach der Migration in Produktion sind
- 65 % Kosteneinsparung beim Umstieg von Databricks zu Snowflake
Ressourcen
Erstelllen und Orchestrieren von Pipelines auf Snowflake
Erste Schritte
Gehen Sie den nächsten Schrittmit Snowflake
Starten Sie noch heute Ihre kostenfreie 30-tägige Testversion
- 400 $ kostenfreies Startguthaben
- Erhalten Sie sofort Zugriff auf die AI Data Cloud
- Setzen Sie Ihre wichtigsten Daten-Workloads erfolgreich um
Daten-Pipelines
Häufig gestellte Fragen
Erfahren Sie mehr über die effektive Erstellung und Verwaltung von Daten-Pipelines in Snowflake. Entdecken Sie die unterstützten Typen, effiziente Datenverarbeitungstechniken und mehr.
