Eine für die Cloud entwickelte Data-Warehouse-Architektur
Der Unterschied der Snowflake-Architektur
Snowflake bietet volle Unterstützung für relationale Datenbanken – für strukturierte Daten (wie CSV-Daten und -Tabellen) genauso wie für semi-strukturierte Daten (wie JSON, Avro, Parquet usw.) – in einer zentralen, logisch integrierten Lösung. Snowflake ist ein Data Warehouse-as-a-Service, das kein Management erfordert und sich durch separate Rechen-, Speicher- und Cloud-Services auszeichnet, die sich unabhängig voneinander skalieren und ändern lassen.
Metadaten werden zudem automatisch verwaltet. Darüber hinaus gibt es bei der Verarbeitung von Metadaten in Snowflake keine Konkurrenz mit Rechenressourcen, die der Ausführung Ihrer Abfragen dienen. Das bedeutet, dass sich Snowflake nahezu linear skalieren lässt, wenn
Sie Rechenressourcen horizontal skalieren.
Snowflake ist von Grund auf sicher und mit beliebten ETL- und BI-Tools kompatibel. Mithilfe der Lösung können Data-Warehouse-Manager Data-Warehouse-Anforderungen im gesamten Unternehmen mit praktisch unbegrenzter Parallelität erfüllen. Zudem ist Snowflake eine leistungsstarke Back-End-Plattform zur Verarbeitung von Abfragen, mit der Entwickler moderne datenbasierte Anwendungen einrichten können.
Was macht Snowflake neben diesen Eigeschaften so besonders?
Kurz gesagt: Architektur.
Snowflake basiert auf einer patentierten Multi-Cluster/Shared Data-Architektur, die für die Cloud entwickelt wurde, um Datenanalysen und Data Warehousing von Grund auf zu optimieren.
Snowflake ist ein zentrales, integriertes System mit vollkommen getrennter Skalierbarkeit von Rechenressourcen, Speicherressourcen und Services.
Im Gegensatz zu Shared-Storage-Architekturen, bei denen Speicher- und Rechenressourcen kombiniert sind, ermöglicht Snowflake eine automatische Skalierung von Speicher-, Analyse- oder Arbeitsgruppenressourcen –
für jeden Job, unmittelbar und ganz leicht.
Speicher
Die Speicherebene basiert auf skalierbarem Cloud-Blob-Speicher und sorgt für die Speicherung aller unterschiedlichen Daten, Tabellen und Abfrageergebnisse für Snowflake. Maximale Skalierbarkeit, Elastizität und Leistung für Data Warehousing und Analysen werden dadurch sichergestellt, dass sich die Speicherebene komplett unabhängig von den Rechenressourcen skalieren lässt. Das Ergebnis: Snowflake bietet einzigartige Vorteile wie die Fähigkeit zum Upload oder Download von Daten ohne Beeinträchtigung der Abfragen und anderen Workloads.
Unter der Speicherebene nutzt Snowflake Mikropartitionen für eine sichere und effiziente Speicherung von Kundendaten. Beim Laden von Daten in Snowflake werden diese automatisch auf bescheidene Mikropartitionen verteilt und Metadaten extrahiert, um eine effiziente Verarbeitung von Abfragen zu ermöglichen. Anschließend werden die Mikropartitionen spaltenweise komprimiert und mithilfe einer sicheren Schlüsselhierarchie komplett verschlüsselt.
Vorteile der Snowflake-Architektur
-
Transaktionsbasiertes SQL Data Warehouse
- Durch die Trennung der Services von Speicher- und Rechenressourcen lassen sich verschiedene virtuelle Warehouses (Rechencluster) einrichten, die zum gleichen Zeitpunkt die gleichen Daten verarbeiten können. Parallelität ist in einem Multi-Cluster-Warehouse praktisch unbegrenzt und kann unmittelbar skaliert werden.
- Aktivitäten in einem virtuellen Warehouse haben keinerlei Auswirkungen auf andere virtuelle Warehouses. Das Laden von Daten in ein virtuelles Warehouse zum Beispiel beeinträchtigt nicht die Performance von Abfragen, die in anderen virtuellen Warehouses ausgeführt werden, selbst wenn diese auf die gleichen Daten zugreifen.
- Zudem wird in separaten virtuellen Warehouses für volle ACID-Integrität von Transaktionen gesorgt. Abfragen erhalten stets eine konsistente Datenansicht, während Commit-Anweisungen von Transaktionen für neue Abfragen, die in allen Data Warehouses ausgeführt werden, sofort sichtbar sind.
- Zero-Copy-Klone von Terabyte-großen Datenbanken oder Tabellen lassen sich in Sekundenschnelle erstellen – ohne zusätzliche Speicherkosten. Bei einem Klon handelt es sich um eine vollständige logische Kopie des ursprünglichen Objekts. Der Klon verfügt jedoch über einen eigenen Lebenszyklus.
- Time Travel sorgt dafür, dass SELECT-Statements oder Zero-Copy-Klone auf einen bis zu 90 Tage alten, konsistenten Zustand der Datenbank zugreifen können. Die Aufbewahrungszeit beträgt standardmäßig 24 Stunden.
-
Performance und Durchsatzleistung
- Snowflake bietet deutlich mehr Leistung als traditionelle Methoden der Datenanalyse. Rechenressourcen lassen sich linear skalieren, während durch die effektive Abfrageoptimierung Antworten in einem Bruchteil der Zeit geliefert werden als bei herkömmlichen Cloud- und On-premise-Systemen.
- Performanceprobleme lassen sich in Sekundenschnelle beheben. Sie können die Größe eines virtuellen Warehouse anhand der anfänglich benötigten Leistung definieren. Die Größe lässt sich jedoch jederzeit ändern, selbst wenn das Warehouse gerade ausgeführt wird.
- Sie zahlen ausschließlich für Rechenressourcen, die Sie tatsächlich nutzen, und profitieren dabei von einer sekundengenauen Abrechnung. Außerdem können Sie virtuelle Warehouses jederzeit anhalten.
- Multi-Cluster-Warehouses bieten einer unbegrenzten Zahl an parallelen Usern ein konsistentes Service Level Agreement (SLA). Wenn der parallele Workload wächst, kann Snowflake virtuellen Warehouses automatisch Cluster hinzufügen und Abfragen automatisch auf diese Cluster verteilen. Wenn der Workload abnimmt, werden die entsprechenden Cluster angehalten. Gebühren fallen ausschließlich für aktive Cluster an. So bezahlen Sie nur, was Sie auch nutzen.
-
Speicher und Support für sämtliche Daten
- Speicher ist preisgünstig und lässt sich praktisch unbegrenzt skalieren. Snowflake ist die perfekte Plattform für Data Warehousing und zeichnet sich durch kosteneffiziente und leistungsstarke Unterstützung für Petabyte große Datenbanken aus. Alle Speicherkosten basieren auf der tatsächlichen Nutzung für komprimierte Daten und werden anhand der monatlich gespeicherten TB berechnet.
- Sie können sowohl strukturierte als auch maschinell generierte, semi-strukturierte Daten (wie JSON, Avro, XML oder Parquet) abfragen und dabei auf relationale SQL-Operatoren mit ähnlichen Performanceeigenschaften wie bei der Abfrage strukturierter Daten zurückgreifen. Das Laden semi-strukturierter Daten ist ganz einfach. Schemata sind dynamisch und werden beim Laden automatisch erkannt. Durch diese Unterstützung für dynamische Schemata wird eine effiziente Abfrageausführung unter Verwendung natürlicher SQL-Erweiterungen möglich.
- Bei Snowflake müssen für die Verarbeitung strukturierter und semi-strukturierter Daten keine separaten Systeme implementiert werden. So können Sie komplexe Hadoop- und Data-Warehouse-Pipelines beseitigen. Snowflake kann beide Aufgaben deutlich effektiver erledigen – mit besseren Business-Ergebnissen und weniger Kosten.
-
Verfügbarkeit und Sicherheit
- Profitieren Sie von der hohen Verfügbarkeit dank der horizontal skalierbaren Architektur von Snowflake, die vollständig auf verschiedene Amazon- und Azure-Verfügbarkeitszonen verteilt ist. Bei Hardwareausfällen kann Snowflake den Betrieb fortsetzen und einen Verlust der Verfügbarkeit verhindern. Das System ist so konzipiert, dass Ausfälle nur minimale Auswirkungen auf Kunden haben.
- Snowflake ist von Grund auf sicher. Sämtliche Daten werden verschlüsselt: ob aktive Daten, über das Internet oder Direkt-links übertragene Daten, sowie Daten auf Datenträgern. Snowflake unterstützt Zwei-Faktor- sowie föderierte Authentifizierung mithilfe von Single Sign-On. Die Autorisierung erfolgt rollenbasiert. Sie können Richtlinien einrichten, um den Zugriff auf vordefinierte Client-Adressen zu begrenzen.
- Snowflake ist für AWS und Azure SOC 2 Type 2-zertifiziert; mit einem Business Associate Agreement ist bei HIPAA-Kunden Unterstützung für PHI-Daten verfügbar. Zusätzliche Sicherheitsmaßnahmen wie Verschlüsselung der gesamten Netzwerkkommunikation sowie virtuelle, private oder dedizierte Isolierung sind ebenfalls möglich.
-
Nahtloser Datenaustausch
- Dank der einzigartigen, für die Cloud entwickelten Architektur von Snowflake können Sie Daten in Ihrem Konto mit anderen Snowflake-Usern teilen.
- Snowflake Data Sharing kommt ohne Kopieren oder Übertragen von Daten aus dem Konto des Datenproviders an das Konto des Kunden aus. Stattdessen erhalten Sie sicheren und Zugriff auf schreibgeschützte Kopien Ihrer Daten.
- Kunden, die freigegebene Daten empfangen, zahlen ausschließlich für die (jene) Rechenressourcen, die sie bei der Nutzung der Daten verbrauchen. Daten, die von einem Snowflake-Datenprovider geteilt werden, lassen sich problemlos mit Daten aus dem Konto des Snowflake-Datenkonsumenten kombinieren – ohne großen Aufwand oder Drittanbieter-Tools.
- Lassen Sie die Limitierungen und Komplexitäten Jahrzehnte alter E-Mail-, FTP- und EDI-Technologien hinter sich. Legen Sie einfach fest, was Sie mit Ihren Datenkonsumenten teilen möchten, und geben Sie Daten mithilfe anwenderfreundlicher SQL-Funktionen frei.
-
![]()
We chose Snowflake to help power the web performance reporting and analytics that we provide our customers because it differentiated itself from the alternatives.
– Matt Solnit, Founder and VP of Engineering, Soasta
-
![]()
The whole company rests on top of Snowflake – all of our analytics. It’s the base for our entire strategy.
– Michael Bigby, CTO, Research Now
Im Innern des für die Cloud entwickelten Data Warehouse
Mit der Architektur von Snowflake können Sie die Limitierungen herkömmlicher Shared-Disk- und Shared-Nothing-Architekturen hinter sich lassen. Erfahren Sie mehr in unserem SIGMOD-Whitepaper.
Umfassender Überblick über alle Anbieter von cloudbasierten Data Warehouses.
Gigaom Sector Roadmap: Cloud Analytic Databases 2017 von: Gigaom
Eine Einführung in cloudbasierte Data Warehouses
Cloud Data Warehouse für Dummies
Bewältigen Sie Ihre größten Datenherausforderungen