Observe on Apache Iceberg™가 프라이빗 프리뷰로 제공됩니다. 이제 옵저버빌리티 데이터를 사용자가 소유한 Amazon S3 버킷에 Apache Iceberg 테이블 형태로 저장하고, 그 위에서 Observe의 모든 기능을 경험할 수 있습니다. 이는 Observe by Snowflake가 옵저버빌리티 분야에서 개방형 표준을 지원하기 위한 노력의 일환입니다. OpenTelemetry 기반의 네이티브 수집에 더해, 이제 데이터는 Iceberg를 지원하는 모든 엔진에서 읽을 수 있는 개방형 포맷으로 저장되며, 사용자가 직접 소유하고 관리하는 스토리지에 보관됩니다.
현대적인 시스템에서 생성되는 로그, 지표, 트레이스의 규모는 폭발적으로 증가했습니다. 선도적인 기업들은 이제 매일 방대한 규모의 데이터를 수집합니다. 하지만 전통적으로 이러한 데이터는 대부분 사일로에 갇혀 있었습니다. 공급업체별 형식으로 인코딩되고, 공급업체 인터페이스를 통해서만 쿼리할 수 있으며, 조직의 다른 영역에서는 접근하기 어려웠습니다. 엔지니어링 팀은 한 도구에서 문제를 해결하고, 비즈니스 및 데이터 팀은 또 다른 도구에서 업무를 진행합니다. 또한 텔레메트리 신호를 비즈니스 데이터와 결합하려면 ETL, 수동 내보내기 또는 별도의 사용자 지정 파이프라인이 필요했습니다. 요구 사항이 공급업체 플랫폼의 범위를 넘어서거나 텔레메트리 위에서 분석을 수행하려고 할 때도 데이터를 외부로 가져오는 과정이 필요 이상으로 어려운 경우가 많았습니다.
이러한 문제는 기존 옵저버빌리티 플랫폼의 설계 방식에서 비롯됩니다. 대부분 단일 공급업체 인터페이스를 제공하는 데 최적화되어 있었고, 데이터가 다른 환경에서 활용될 가능성은 고려되지 않았습니다. Apache Iceberg와 같은 개방형 테이블 형식은 이러한 한계를 해결합니다. 텔레메트리 데이터를 Iceberg에 저장하면 나머지 데이터와 같은 환경에 두고 직접 제어할 수 있으며, 팀이 이미 사용하는 도구를 통해 접근할 수 있습니다. 따라서 데이터를 별도 시스템으로 추출하거나 복제할 필요가 줄어들고, 해당 프로세스에 수반되는 비용도 최소화됩니다.
개방형 형식으로 사용자 오브젝트 스토리지에 보관되는 데이터
Observe on Iceberg를 사용하면 텔레메트리가 AWS 계정의 Amazon S3 버킷에 Iceberg 테이블 형태로 직접 기록됩니다. Observe는 사용자가 생성하고 제어하는 IAM 역할을 통해 해당 버킷에 액세스합니다. 사용자가 해당 역할을 취소하거나 데이터 레이크 구성을 제거하면 Observe의 액세스 권한도 사라집니다. 그러나 데이터는 개방형 형식으로 사용자의 버킷에 그대로 남으며, 계속 사용자의 소유입니다. 또한 여러 개의 데이터 레이크를 구성할 수 있으며, 각 데이터 레이크의 데이터 세트는 서로 독립적으로 유지되도록 설계되어 있습니다.
Observe on Iceberg는 v3 테이블 사양을 사용하는 Snowflake 관리형 Iceberg 테이블을 기반으로 합니다. 이러한 테이블은 관리형이므로 압축, 파일 크기 조정, 스냅샷 및 메타데이터 유지 관리가 모두 자동으로 수행됩니다. 그 결과, 사용자는 별도의 테이블 유지 관리 작업 없이도 높은 쿼리 성능을 얻을 수 있습니다. 또한 Iceberg v3 사양은 더욱 풍부한 데이터 유형 지원과 향상된 성능을 비롯한 새로운 기능을 제공합니다.
프라이빗 프리뷰에서 제공되는 기능
별도의 내보내기나 ETL 과정 없이 Observe 파이프라인을 통해 데이터를 Iceberg로 수집: 기존 데이터 수집 설정은 그대로 유지됩니다. 데이터는 Observe 수집 파이프라인을 거쳐 사용자의 S3 버킷에 있는 표준 Iceberg 테이블에 저장됩니다.
사용자의 오브젝트 스토리지에 옵저버빌리티 데이터를 개방형 포맷으로 저장: 데이터 세트는 사용자의 거버넌스, 보존 정책, 액세스 제어에 따라 S3 버킷에 표준 Iceberg 테이블에 저장됩니다. Observe의 액세스 권한을 제거해도 데이터는 계속해서 사용자의 소유로 남습니다.
Observe 내에서 데이터를 기반으로 모니터, 대시보드, 상관관계 분석 구축: 모니터링, 대시보드, OPAL 변환, AI SRE, 상관관계를 아우르는 Observe의 모든 기능은 Iceberg 기반 데이터 세트에서도 동일하게 작동하도록 설계되었습니다. 따라서 Observe를 사용하는 방식은 달라지지 않습니다.
Iceberg가 옵저버빌리티 데이터에 적합한 이유
옵저버빌리티 데이터는 컬럼 기반 스토리지에 적합하며, Iceberg는 기본적으로 Parquet 포맷으로 데이터를 저장합니다. 타임스탬프, 서비스 이름, 심각도 수준, 구조화된 속성과 같은 값은 수백만 개의 이벤트에서 반복적으로 나타나기 때문에 효율적으로 압축되고 파티션 프루닝을 통해 빠르게 스캔할 수 있습니다.
하지만 Iceberg는 단순히 Parquet를 사용하는 것 이상의 가치를 제공합니다. Parquet는 위치를 알고 있는 경우 쉽게 쿼리할 수 있는 컬럼 기반 파일 형식입니다. 반면 Iceberg는 그 위에 테이블 계층을 추가해 스키마 진화, 파티셔닝, 스냅샷, 카탈로그를 제공합니다. 이를 통해 호환 엔진은 사용자 지정 통합 없이도 테이블을 검색하고 읽을 수 있습니다. 바로 이 점이 텔레메트리 데이터를 단순히 효율적인 형식으로 저장하는 수준을 넘어, 개방적이고 접근 가능한 데이터로 만들어 줍니다.
Snowflake의 테스트 결과에서 옵저버빌리티 워크플로우는 Iceberg 테이블에서도 Observe 네이티브 데이터와 유사한 성능으로 실행되었습니다. 따라서 개방성과 성능 중 하나를 선택할 필요가 없습니다. 엔지니어링 팀은 인시던트 조사, 대시보드, 모니터, AI 지원 근본 원인 분석에 Observe를 계속 사용할 수 있습니다. 동시에 다른 팀은 이미 사용하는 도구에서 동일한 데이터에 직접 액세스할 수 있습니다.
어떤 엔진으로도 자유롭게 쿼리
데이터가 Iceberg 테이블에 저장되면 Observe를 통해서만 읽을 수 있는 것이 아닙니다. Observe는 Observe API에서 읽기 전용 Iceberg REST Catalog를 제공하므로, Iceberg 호환 쿼리 엔진은 테이블을 직접 탐색하고 읽을 수 있습니다. 이러한 상호운용성은 Snowflake Horizon Catalog가 뒷받침합니다. 현재 Apache Spark™, DuckDB, Trino, PyIceberg 모두 지원됩니다. 또한 외부 엔진은 S3 버킷에서 데이터 파일을 직접 읽기 때문에 데이터 경로가 Observe를 전혀 거치지 않습니다.
이를 통해 기존의 독점적인 옵저버빌리티 스토리지에서는 구현하기 어려웠던 다양한 워크플로우가 가능해집니다. 초기 고객들과의 논의에서도 다음과 같은 사용 사례가 이미 확인되고 있습니다.
텔레메트리 데이터와 내부 비즈니스 데이터 통합 분석: 두 데이터를 동기화하기 위한 별도 파이프라인을 구축하지 않고도, 옵저버빌리티 데이터를 매출, 고객, 제품 데이터와 함께 하나의 분석에서 쿼리할 수 있습니다.
정기적인 배치 데이터 엔지니어링 작업 실행: 데이터 팀이 이미 운영 중인 도구를 사용해 과거 텔레메트리 데이터를 대상으로 변환 또는 집계를 예약할 수 있습니다.
규정 준수를 위한 옵저버빌리티 데이터 감사: 서드 파티 시스템을 통해 라우팅하지 않고, 자체 자격 증명으로 자체 스토리지의 원시 텔레메트리를 직접 쿼리할 수 있습니다.
운영 데이터 기반 ML 모델 학습: Spark 또는 PyIceberg 작업에서 별도의 내보내기, 데이터 복사, 데이터 준비 과정을 거치지 않고 텔레메트리 이력을 바로 활용해 머신러닝 모델을 학습할 수 있습니다.
텔레메트리 데이터가 비즈니스 데이터와 동일한 레이크에 존재하면 운영 데이터와 분석 데이터의 경계는 점차 사라집니다. 인시던트를 고객 영향, 매출 지표 또는 최근 배포와 연관 짓는 작업도 간단한 쿼리로 해결됩니다. 엔지니어링, 데이터, 제품 팀은 시스템 간 데이터를 복사하는 파이프라인을 별도로 소유할 필요 없이 동일한 단일 진실 공급원을 기반으로 협업할 수 있습니다.
대규모 환경에서도 비용 절감과 효율적인 비용 관리 실현
대량의 텔레메트리 데이터를 독점적인 옵저버빌리티 시스템에 저장하는 것은 일반적으로 비용이 많이 들며, 데이터 볼륨이 증가할수록 비용 부담도 커집니다. 하지만 Iceberg를 사용하면 데이터는 자체 가격 모델을 가진 공급업체 관리형 시스템이 아니라, 사용자가 직접 소유한 오브젝트 스토리지에 저장됩니다.
또한 Iceberg는 스토리지와 컴퓨팅을 분리하므로, 실제 실행한 쿼리에 대해서만 비용을 지불하면 됩니다. 따라서 무엇을 보관할지 절충하거나, 티어링 또는 리하이드레이션을 수행하지 않고도 기존 독점형 옵저버빌리티 플랫폼 비용의 일부만으로 수개월치 텔레메트리를 보존할 수 있습니다.¹
또한 동일한 데이터가 인시던트 조사를 수행하는 엔지니어링 팀, 분석을 담당하는 데이터 팀, 모델 학습을 수행하는 ML 엔지니어 등 여러 팀에 활용되므로, 시스템 간 데이터를 복제하거나 이동하는 비용도 줄일 수 있습니다. 데이터를 한 번만 저장하면, 모든 팀이 동일한 소스를 활용할 수 있습니다.
지금 시작하기
Observe on Iceberg는 현재 프라이빗 프리뷰로 제공되고 있으며, 곧 더 많은 고객이 사용할 수 있도록 제공 범위를 확대할 예정입니다. 옵저버빌리티 데이터를 위한 개방적이고 이식 가능한 스토리지가 필요하시다면 Snowflake에 문의해 주세요. 다음 리소스도 확인해 보세요.
액세스 권한에 대해 Observe 계정 팀에 문의하기
Observe 자세히 알아보기
장기간 데이터 보관이 필요하거나, 기존 데이터 레이크와의 상호운용성을 확보하고 싶거나, 텔레메트리 데이터를 기반으로 자체 분석을 수행하고자 한다면 Observe on Iceberg가 여러분의 환경에 어떤 가치를 제공할 수 있는지 확인해 보세요.
¹실제 스토리지 비용 절감액은 데이터 볼륨, 클라우드 공급자, 리전 및 기존 공급업체 계약에 따라 달라질 수 있습니다.
본 페이지에는 당사의 향후 제품 제공과 관련된 미래 전망 진술이 포함되어 있으며, 이는 어떠한 제품 제공에 대한 약속이나 보장을 의미하지 않습니다. 실제 결과 및 제공 내용은 달라질 수 있으며, 알려진 위험과 알려지지 않은 위험 및 불확실성의 영향을 받을 수 있습니다.
Apache®, Apache Iceberg, Apache Spark 및 관련 표장은 미국 및 기타 국가에서 Apache Software Foundation의 등록 상표 또는 상표입니다.
