참고: 이 내용은 2022. 3. 7에 게시된 컨텐츠(Building Iterable’s Data Mesh Using Snowflake: Three Components of an Innovative Data Management Strategy)에서 번역되었습니다.
빅 데이터는 디지털 마케팅 환경에 혁명을 일으키고 있습니다. 조직은 수많은 소스에서 데이터를 수집하고 있습니다. 비교할 수 없는 속도로 데이터 스트림이 수집되고 있습니다. 그리고 기업은 이메일에서 사용자 행동, 금융 거래에 이르는 다양한 데이터 구조를 다루고 있습니다.
거의 모든 기업이 스스로를 데이터를 가장 중시하는 기업이라고 생각하지만 모든 기업이 데이터를 쉽게 활성화하고 가치 있는 통찰로 변환할 수 있는 민주화 수준의 데이터 아키텍처를 만들고 있는 것은 아닙니다. 최근까지 많은 조직이 다양한 소스에서 가져온 방대한 양의 데이터를 처리하기 위해 중앙 집중화 전략을 사용했고, 쿼리하기 위해 다른 소스에서 데이터 레이크로 데이터를 가져오고 전송해야 했으나, 이는 시간과 비용이 많이 소요될 수 있습니다.
Iterable은 회사가 성장함에 따라 이와 동일한 많은 과제와 직면하는 것과 유사한 시나리오에 처해 있음을 알게 되었습니다. 당사는 다양한 운영 팀이 비즈니스 전반에 걸쳐 주변 데이터에 원활하게 액세스하여 분석하는 동시에 대규모 데이터 가용성 및 접근성 문제를 해결할 수 있는 새로운 아키텍처에 대한 필요성이 증가하고 있다는 것을 알게 되었습니다.
결과적으로 데이터 관리를 위한 최신 분산 아키텍처를 구축할 수 있는 Iterable용 데이터 메시 개발을 돕기 위해 Snowflake로 눈을 돌리게 되었습니다. 혁신적인 데이터 관리 전략을 구축하고 데이터 민주화의 핵심 과제 일부를 해결하는 데 도움이 된 세 가지 요소를 살펴보겠습니다.
도메인 기반 소유권
성공적인 데이터 메시 모델을 구축하기 위한 첫 번째 단계는 도메인 기반 데이터 소유권과 파이프라인을 구축하는 것입니다.
Snowflake는 다양한 언어(SQL, Python, Java 등)를 사용하여 대규모 애드혹 데이터 파이프라인을 구축할 수 있는 기능을 제공했습니다. 당사는 다양한 ETL(Extract, Transform, Load) 파트너의 Fivetran과 dbt를 쉽게 통합하여 많은 GTM(Go-To-Market) 애플리케이션 내 데이터 사일로를 해결하고 데이터 접근성을 개선할 수 있었습니다. 이제 데이터 엔지니어는 몇 분 안에 Salesforce, Zuora, Zendesk와 같은 주요 애플리케이션에서 클릭 몇 번으로 파이프라인을 쉽게 설정할 수 있습니다.
반면 Iterable의 제품 조직은 많은 양의 데이터를 높은 빈도로 수집해야 하는 더 복잡한 데이터 파이프라인 사용 사례를 제시했습니다. BI 팀은 Snowflake 작업 기능을 활용하여 API 엔드포인트에 대한 요청을 트리거할 수 있었고, 그 결과 Snowpipe가 외부 S3 버킷에서 데이터를 자동으로 처리하여 Snowflake 데이터베이스에 수집했습니다.
Snowflake를 사용하여 각 도메인을 설정하는 프로세스를 단순화하고 자체 데이터 및 ETL 프로세스에 대한 팀의 자율성을 개선할 수 있었습니다.
데이터를 제품처럼 공유
데이터 메시 접근법의 두 번째 핵심 요소는 데이터를 제품처럼 공유하는 기능이었습니다.
데이터를 구조화하고 처리한 후에는 회사에서 교차 공동 작업 시 이를 어떻게 사용하는지가 중요한 단계가 됩니다. Snowflake의 보안 데이터 공유 기능을 활용하면 기업은 내부 부서뿐만 아니라 고객 및 파트너와 같은 외부 조직과도 데이터 집합을 공유할 수 있습니다. Iterable의 BI는 더 스마트하게 정보를 수집하는 시스템을 만들 뿐만 아니라 최종 사용자가 데이터 기반 의사 결정을 내릴 수 있는 권한을 부여하는 데 도움이 되기를 원합니다.
데이터 집합 공유는 “Iterable at Iterable” 프로젝트(자체 기술을 사용한다는 것을 설명하기 위해 사용하는 용어)가 Marketo, Salesforce 및 가장 중요한 Iterable 애플리케이션에서 클라우드 간 연락처 프로필을 통합할 수 있게 되었을 때 내부적으로 위력을 발휘했습니다. 다양한 소스에서 깨끗하고 처리된 데이터 모델에 쉽게 액세스할 수 있었고 Snowflake 및 Segment.io를 통해 다운스트림으로 전송된 고객에 대한 규정 준수 기본 설정이 포함된 마스터 보강 프로필을 만들 수 있었습니다.
BI 팀은 Jupyter에 있는 Snowflake의 Python 커넥터를 사용하여 데이터 과학 모델 결과를 공유할 수 있게 되어 판매 예측, 예측 모델링, 재무 보고와 같은 다양한 수익 이니셔티브를 가속화했습니다. BI 팀은 현재 여러 타사 데이터 소스를 수집하고 예측 분석을 실행하여 상위 계정을 식별하는 데 도움을 주고 있습니다. 그 후 해당 예측 분석의 결과를 주요 비즈니스 이해관계자와 다시 공유할 수 있으므로 데이터의 교차 공동 작업의 진정한 가치를 실현할 수 있습니다.
근본적으로 데이터 메시 아키텍처가 필요한 가장 강력한 사용 사례는 고객과 데이터를 안전하게 공유하는 기능입니다. Iterable은 작년에 Snowflake 보안 데이터 공유를 지원하는 네이티브 통합을 구축하여 Iterable 고객에게 ETL 없이도 자체 Snowflake 인스턴스에서 바로 시스템 이벤트 데이터에 액세스할 수 있는 권한을 원활하고 안전하게 부여했습니다. 이제 Iterable 고객은 자체 조직 내에서 라이브 데이터를 안전하게 공유하고, 데이터 스토리지 비용을 절감하며, 데이터 사일로를 제거하여 강력한 비즈니스 결정을 내릴 수 있습니다.
데이터의 중앙화 및 탈중앙화 간 균형
데이터 메시를 최적의 솔루션으로 만드는 마지막 요소는 데이터의 중앙화와 탈중앙화 간의 균형을 이루는 것입니다. Iterable의 BI는 데이터 전략을 하이브리드 모델로 봅니다. 핵심 BI 팀은 데이터의 표준화 및 중앙화를 제공하고 다른 팀의 비즈니스 이해관계자와 분석가는 도메인별 데이터 거버넌스 정책에 액세스하여 자체 분석을 실행할 수 있습니다.
Iterable의 수익 및 청구 데이터는 도메인 사용자의 데이터와 역할에 이르기까지 보안 정책을 정의하는 Snowflake의 기능으로 보호됩니다. 영업 및 마케팅 팀은 재무 데이터 모델을 각각 쿼리하고 사용자 역할 및 데이터 민감도에 따라 데이터 보기를 수정하여 조직 전체에서 보안을 확장할 수 있습니다. 또한 데이터 공유를 활용하는 외부 조직은 기존 보안 정책과 통합할 수 있습니다.
미리 살펴보기
이는 데이터 메시 아키텍처를 구체화하기 시작하는 것에 불과합니다. 고객 풀이 확장됨에 따라 Iterable은 업계 벤치마크에 뛰어들어 업계의 다른 사람들이 혜택을 볼 수 있는 중요한 KPI를 공유할 수 있습니다.
BI 팀은 내부적으로 고객 성숙도 모델을 개선하고 확장하기를 기대하고 있습니다. 당사는 더 강력한(그리고 곧 머신 러닝에 기반하게 될) 수익 분석을 촉진하기 위해 조직 전체에서 모든 데이터의 중앙화를 계속 확장하기를 원합니다.
데이터 메시 아키텍처의 진정한 힘은 비즈니스와 함께 확장할 수 있는 능력에 있습니다. 이는 앞으로 Iterable에서 데이터에 의해 실현될 예정입니다.