Polaris Catalog maintenant en open source

En juin 2024, Snowflake a annoncé Polaris Catalog pour offrir aux entreprises et à la communauté Iceberg de nouveaux niveaux de choix, de flexibilité et de contrôle sur leurs données. Il permet des architectures de lakehouse plus ouvertes et sécurisées avec une large interopérabilité en lecture et écriture et des contrôles d'accès cross-engine Apache Iceberg™ a considérablement amélioré la mobilité des données en établissant une vaste communauté autour d’une norme ouverte. L’étape logique suivante consiste en un catalogue ouvert et communautaire complémentaire à Iceberg. Cela ouvre la voie à une interopérabilité véritablement indépendante des fournisseurs souhaitée par de nombreuses entreprises.

À ce jour, Polaris Catalog est disponible en open source sous licence Apache 2.0 et disponible sur GitHub. Le nouveau service Snowflake basé sur Polaris Catalog est désormais disponible en public preview pour les clients Snowflake.

À l’instar des nombreuses communautés qui soutiennent des projets open source pour les formats de fichier et de table ouverts, une communauté émerge pour collaborer sur des normes pour les catalogues de métadonnées. La diversité des idées et des contributions de la communauté crée le catalogue le plus interopérable parmi la plus grande variété d’outils. 

Polaris Catalog implémente la spécification REST du catalogue Apache Iceberg, ce qui signifie qu’il permet déjà l’interopérabilité avec Apache Doris™, Apache Flink™, Apache Spark™, Daft, DuckDB, Presto, SingleStore, Snowflake, Starburst, Trino, Upsolver et bien d’autres. En outre, Alation, ALTR, Atlan, Collibra, dbt Labs, data.world, Dremio, Confluent, Fivetran, Google Cloud, Immuta, Microsoft, Project Nessie et Salesforce ont également l’intention d’ajouter des intégrations ou d’apporter des contributions au projet open source Polaris Catalog.

Project Nessie est un métastore et catalogue intelligent open source pour Apache Iceberg™ avec une sémantique de type Git. Créé par les co-fondateurs de Dremio, il est devenu un projet sous licence Apache en 2020. 

L’équipe de Dremio a hâte d’intégrer les différentes fonctions et capacités de Nessie dans le projet Polaris. La contribution des capacités de Project Nessie à Polaris Catalog formera une communauté inclusive dédiée au développement du catalogue open source le plus robuste pour les architectures open lakehouse. L’innovation dans un projet réduit la prolifération des catalogues et permet à un groupe plus large de contributeurs d’avancer rapidement. Ce partenariat permet non seulement d’accélérer le progrès technique, mais aussi d’apporter davantage de contributeurs à la communauté Nessie, renforçant davantage l’écosystème croissant autour de Polaris. Pour en savoir plus sur l’écosystème Nessie, lisez ceci.

Outre l’open sourcing, le service de Snowflake basé sur Polaris Catalog est désormais disponible en public preview pour les clients Snowflake. Ce service est alimenté par la mise en œuvre open source de Polaris Catalog et constitue un moyen simple de se lancer, même si vous n’utilisez pas Snowflake. Vous pouvez utiliser ce service avec les nombreux moteurs répertoriés ci-dessus pour lire et écrire dans les Iceberg Tables avec une sécurité cross-engine.

Alors que d’autres catalogues hébergés par le fournisseur s’écartent de la spécification open source, ce qui conduit à un verrouillage, le service de Snowflake pour Polaris Catalog est conçu pour être entièrement compatible avec la mise en œuvre open source de Polaris Catalog aujourd’hui et à l’avenir. Snowflake s’occupe de l’exécution du service comme la fourniture d’un point final, le déploiement de corrections de bugs et les utilisateurs obtiennent un catalogue complètement portable pour leurs données, qui peut être utilisé avec les outils compatibles avec le catalogue Iceberg REST.

• Vous pouvez en savoir plus sur le projet open source sur GitHub, y compris des informations sur la communauté et un guide de démarrage.
• Découvrez comment vous pouvez contribuer au projet Polaris Catalog.
• Suivez Polaris Catalog sur LinkedIn et X pour en savoir plus.
• En savoir plus sur le service de Snowflake basé sur Polaris Catalog dans la documentation, et essayez-le avec ce guide de démarrage.