참고: 이 내용은 2022. 1. 7에 게시된 컨텐츠(How EQT Group Uses Agile Data Architecture in Its Organization for Superior Returns)에서 번역되었습니다.
Snowflake는 Data Innovation Summit Sweden에서 EQT Group의 데이터 관리 책임자인 Pedram Birounvand로부터 이 사모 펀드 회사가 어떻게 애자일 데이터 아키텍처를 활용하여 투자하는 회사의 미래 경쟁력을 확보하고 우수한 수익을 창출하고 미래에 긍정적인 영향을 미치도록 지원하는지 들을 기회가 있었습니다.
데이터 기반 리더십 활성화
EQT 그룹은 목적 지향적인 글로벌 투자 조직으로 적극적인 소유 전략에 전적으로 초점을 맞추는 동시에 책임감 있게 기업에 투자하고, 기업을 소유하고 개발합니다. 어떤 회사에 투자해야 할지 알기 위해 Snowflake를 사용하여 대량의 내부 및 외부 데이터를 저장하고 분석합니다. Snowflake는 기술 부문에서의 조력자일 뿐만 아니라 데이터 기반 리더십 모델의 일부이기도 합니다. 이 모델에서 EQT의 최고 경영진은 비즈니스를 주도하는 데이터에 거의 실시간으로 액세스하고 이에 대한 지식을 보유하고 있습니다.
Birounvand는 다음과 같이 설명합니다. “우리 경영진은 세션에 들어갈 때 단일 슬라이드나 PDF를 준비할 필요가 없습니다. 우리는 회의에서 실시간 데이터를 기반으로 전체 스토리를 작성하기 때문에 드릴 다운하고 싶을 때 그것을 클릭하고 대화를 나눕니다.” Snowflake가 제공하는 EQT 데이터 레이크는 조직 내 의사 결정에 있어 이러한 종류의 민첩하고 시간을 절약해 주는 접근법을 지원하며 Birounvand는 투자하는 회사를 개발하는 EQT 임무에 대한 직접적인 작업을 수행할 때 이 접근법을 취합니다.
타겟팅된 반복을 통해 주요 이해관계자의 참여 유도
“우리는 조직 내에서 매우 좌절한 사용자를 봅니다.”라고 Birounvand는 말했습니다. “C급 임원들과 아주 가까운 곳에 앉는 고위 간부들은 대개 MBA 학위를 가지고 있고 조직 내에서 매우 고위직을 맡고 있지만 Excel에서 복사하여 붙여 넣기와 같은 지루한 작업을 수행합니다.”
이러한 사용자를 타겟팅 하여 Birounvand와 그의 팀은 생산성 장애가 발생하고 시간이 낭비되는 영역을 개선하는 데 집중할 수 있습니다. 그런 다음에는 핵심 타깃 사용자에게 솔루션을 제공하고 최적의 솔루션을 찾을 때까지 해당 프로세스를 반복적으로 수행합니다. 그러나 데이터 전략을 반복적으로 사용하려면 우수한 기술이 필요하며 그렇기에 Snowflake가 필요합니다.
Birounvand는 “전략을 반복할 수 있으려면 반드시 우수한 기술을 갖춰야 하며 저는 우리가 EQT에서 그렇게 했다고 진정으로 믿습니다.”라고 말했습니다. EQT는 데이터 파이프라인에 Fivetran을 사용하므로 내부 팀이 소스 시스템에서 API 버전 및 변경 사항을 따라갈 필요 없이 Snowflake에서 제공하는 작업의 영구 데이터 계층으로 원활하고 깔끔하게 소스 데이터를 전송할 수 있습니다.
중요한 것은 Birounvand가 이 단계에서 어떠한 변환도 하지 않는다는 점입니다. 다시 한번 Snowflake를 사용한 덕분에 가능한, 더 새로워진 ELT 프로세스를 사용하여 소스에서 데이터 레이크로 데이터를 이동하는 방식입니다. Birounvand는 다음과 같이 설명합니다. “Snowflake 데이터 레이크에 영구 데이터가 있지만 다른 모든 변환의 경우 보기만 구축한 다음 해당 보기를 기반으로 데이터 제품을 구축합니다. 이를 통해 매우 간단한 방식으로 데이터 모델을 수정할 수 있습니다. 서로 다른 환경 간의 대규모 데이터 마이그레이션을 고려할 필요 없이 스프린트별로 데이터 모델을 변경할 수 있습니다.”
데이터 제품을 구축함으로써 Birounvand와 그의 팀은 소규모의 민첩한 팀을 특정 데이터 도메인에 할당하고 그 팀이 비즈니스의 일부를 완전히 맡도록 해, 고객을 심층적으로 파악하고 우수한 서비스를 제공할 수 있게 됐습니다.
엔터프라이즈 수준의 데이터 보안
Snowflake는 또한 데이터 카탈로그 공급자와 시너지를 일으켜 더 나은 데이터 거버넌스 및 규정 준수를 가능하게 합니다. Birounvand는 계속해서 “Snowflake에는 동적 데이터 마스킹이 있으며 이는 GDPR을 준수하며 작업할 때 매우 중요합니다. 우리는 투자자에 대한 민감한 데이터를 많이 가지고 있으며 내부 또는 외부 누출을 방지하는 것이 업무상 매우 중요합니다.”
데이터 소유자는 데이터에 개인 식별 정보(PII)로 태그를 지정하고 다른 사용자로부터 이를 가릴 수 있습니다. 해당 데이터에 태그가 지정되면 액세스 로그를 기록할 수 있으므로 규정 준수 작업이 훨씬 쉬워집니다. “감사인이 와서 ‘누가 조직 내 민감한 데이터에 액세스했습니까?’라고 물으면 매우 간단한 쿼리를 수행하여 해당 정보를 즉시 얻을 수 있습니다.”
요약하면, Birounvand와 EQT가 구축한 것은 조직의 모든 사람이 필요한 데이터를 찾고, 해당 데이터에 대한 제어를 확인하고, 소유주가 누구인지 알고, 신뢰할 수 있는 정보인지 여부를 결정할 수 있도록 하는 포괄적인 데이터 카탈로그입니다. 이 모든 것이 Snowflake를 데이터 작업의 중심에 뒀기에 가능한 일이었습니다.