내용으로 건너뛰기

Snowflake Intelligence, 지금 바로 확인하세요.

모든 직원의 손끝까지 닿는 엔터프라이즈 인사이트.

솔루션 살펴보기

데이터 웨어하우스 완벽 가이드

데이터 웨어하우스의 차별점과 구축에 필요한 핵심 구성 요소, 그리고 조직에 경쟁 우위를 제공하는 방식에 대해 살펴봅니다.

  • 개요
  • 데이터 웨어하우스란?
  • 데이터 웨어하우스 아키텍처
  • 데이터 웨어하우스의 주요 구성 요소
  • 데이터 웨어하우스의 유형
  • 기존 데이터 웨어하우스 vs. 클라우드 데이터 웨어하우스
  • 최신 데이터 웨어하우스의 이점
  • 데이터 웨어하우스 관리 FAQ
  • AI 데이터 클라우드 고객 사례
  • 데이터 웨어하우스 리소스

개요

데이터는 전기처럼 세계 경제에 없어서는 안 될 필수 요소입니다. 그러나 불을 밝히고 기계를 움직이려면 발전소가 필요하듯, 데이터를 활용하기 위해서는 이를 수집, 저장, 정리하는 시스템이 필요합니다.

데이터 웨어하우스는 고객 프로필, 금융 거래, 제품 카탈로그, 장비 로그, 시장 동향 등 방대한 규모의 다양한 데이터를 통합하고, 이를 여러 방식으로 손쉽게 분석할 수 있도록 지원합니다. 데이터 웨어하우스는 CFO가 내년 수익을 예측하고, HR 리더가 인력 수요를 파악하며, 운영 관리자가 제조 시설을 최적화하고, CEO가 비즈니스의 미래를 위한 전략적 의사 결정을 내릴 수 있도록 지원합니다. 또한, AI 모델 학습에 필요한 고품질 데이터 소스를 제공해, 새로운 인공지능 도구의 기반을 구축하고 있습니다.

이 페이지에서는 데이터 웨어하우스의 차별점과 구축에 필요한 핵심 구성 요소, 그리고 조직에 경쟁 우위를 제공하는 방식을 살펴봅니다.

데이터 웨어하우스란?

간단히 말해, 데이터 웨어하우스는 조직 전반의 다양한 소스에서 수집한 현재 및 과거 데이터를 저장하고, 비즈니스 인텔리전스(BI)와 분석을 지원하도록 설계된 중앙 집중식 저장소입니다. 데이터 웨어하우스는 비즈니스 데이터의 단일 진실 공급원을 구축함으로써, 부서별로 서로 다른 데이터 리포지토리를 사용할 때 발생하는 불일치와 중복을 해소합니다.

일상적인 트랜잭션을 처리하도록 설계된 운영 데이터베이스와 달리, 데이터 웨어하우스는 복잡한 쿼리와 보고, 데이터 분석을 통해 전략적 의사 결정을 지원하도록 최적화되어 있습니다. 운영 또는 관계형 데이터베이스는 비즈니스 각 부문의 성과를 준실시간으로 파악할 수 있는 정보를 저장하는 반면, 데이터 웨어하우스는 전사적 관점에서 과거 데이터를 중심으로 인사이트를 제공합니다. 따라서 두 데이터베이스는 트랜잭션을 처리하기 위해 서로 다른 구조와 방식을 사용합니다.

데이터 웨어하우스는 향후 분석을 위해 가공 전 데이터를 저장하는 데 사용되는 데이터 레이크와도 다릅니다. 데이터 레이크는 언젠가 필요할지도 모를 데이터를 보관하는 스토리지 장치와 같습니다. 반면 데이터 웨어하우스는 어떤 데이터가 있고, 이를 어떻게 활용할지 사용자가 명확히 알고 있습니다. 데이터 레이크는 이후 추출, 변환, 로드(ETL) 과정을 거쳐 데이터 웨어하우스에 적재될 가공 전 데이터의 소스 역할을 합니다.

데이터 레이크하우스는 이 두 가지 개념을 결합한 비교적 새로운 하이브리드 형태로, 정형 및 비정형 데이터를 상대적으로 낮은 비용으로 저장하는 데이터 레이크의 효율성과 데이터 웨어하우스의 고급 분석 기능을 함께 제공합니다.

데이터 웨어하우스 아키텍처

각 데이터 웨어하우스의 세부 기능은 다를 수 있으나, 일반적으로 데이터 웨어하우스는 정형, 비정형, 반정형 데이터를 빠르고 효율적으로 처리하기 위해 3계층 구조의 아키텍처를 사용합니다.

하위 계층: 수집

이 계층은 내부 및 외부 데이터 소스의 정보를 수집하고 저장하는 역할을 합니다. 이 데이터는 원본 소스에서 추출된 뒤, 불일치 해결, 오류 수정, 형식 변환, 계산용 필드 생성 등의 과정을 거쳐 변환 및 보강됩니다. 이후 중앙 리포지토리에 로드되며, 이 과정을 ETL(추출, 변환, 로드)이라고 합니다. 최신 아키텍처는 데이터를 로드한 후 웨어하우스의 내부 처리 능력을 활용해 변환하며, 이 방식을 ELT라고 합니다.

중간 계층: 분석

이 계층에서는 데이터 분석이 이루어집니다. 이 중간 계층에서 웨어하우스는 기술 및 운영 메타데이터를 수집해 데이터 계보를 추적하고, 데이터의 신뢰성을 보장하며, 사용자가 데이터의 의미와 활용 방법을 이해할 수 있도록 돕습니다. 그런 다음 온라인 분석 처리(OLAP) 엔진을 배포하여 수천 개의 데이터 행을 여러 차원에서 동시에 분석합니다. 예를 들어, 리테일 판매 데이터를 SKU, 판매 건별 금액(USD), 상품 원가, 거래 일시, 지역, 매장 ID, 고객 세그먼트 등을 기준으로 분석할 수 있습니다.

상위 계층: 보고

이 최종 계층에서는 데이터에 대한 애드혹(ad-hoc) 분석을 수행할 수 있습니다. 예를 들어 온라인과 오프라인 매장의 판매량을 비교하거나, 다양한 지역의 고객 세그먼트별 성과에 대한 분석이 이에 해당합니다. 이후 이러한 결과를 비즈니스 인텔리전스 도구나 경영 대시보드로 내보내, 추가 분석에 활용할 수 있습니다.

요약하면, 고객 관계 관리(CRM)나 전사적 자원 관리(ERP) 시스템에서 생성된 데이터는 데이터 웨어하우스로 전달되어 정제, 표준화, 분석 최적화 과정을 거친 후, 데이터 마트(소규모 도메인별 리포지토리)로 이동하거나, 사용자가 쿼리를 실행하는 BI 플랫폼이나 대시보드로 직접 전송됩니다.

데이터 웨어하우스의 주요 구성 요소

모든 데이터 웨어하우스는 동일한 기본 구성 요소로 구성됩니다. 데이터 웨어하우스는 최소한 다음 구성 요소를 포함합니다.

데이터 소스

CRM, ERP 및 기타 엔터프라이즈 데이터베이스 외에도 데이터에는 시장 조사 결과나 웹 애플리케이션 또는 사물 인터넷(IoT) 센서의 실시간 스트림과 같은 외부 소스가 포함됩니다.

ETL/ELT 프로세스

각 소스에서 데이터를 추출, 정제, 표준화한 뒤 웨어하우스에 로드하는 도구입니다.

스테이징 영역

가공 전 데이터를 기본 웨어하우스로 적재하기 전, 임시로 저장, 검증, 준비하는 버퍼 영역입니다.

데이터 스토리지

정보가 물리적으로 저장된 공간으로, 데이터 간의 관계를 정의하는 프레임워크인 ‘스키마’에 따라 구성됩니다.

메타데이터 관리 시스템

데이터의 구조, 이를 관리하는 비즈니스 규칙, 그리고 데이터의 변환 및 사용 이력 정보를 유지 관리하는 시스템입니다.

쿼리 및 보고 도구

사용자가 데이터에 대해 복잡한 질문을 하고 정교한 분석 결과를 얻을 수 있도록 지원하는 기술 인프라입니다. 

데이터 거버넌스 및 보안 제어

사용자 인증과 액세스 권한을 관리하고, 민감 데이터를 보호하며, 보안 정책 준수 여부를 감사하는 데 사용되는 제어 체계입니다.

분석 및 BI 애플리케이션

사용자가 정교한 분석을 수행하고 보고서를 작성하며 결과를 시각화할 수 있도록 지원하는 외부 도구입니다.

데이터 웨어하우스의 유형

모든 데이터 웨어하우스가 동일한 것은 아닙니다. 일부는 장기적인 전략 계획을 지원하도록 설계되었으며, 다른 일부는 전술적 일상 운영을 관리하는 데 도움이 되도록 구축되었습니다. 조직 내 특정 그룹을 위해 구축된 웨어하우스 하위 집합도 있습니다. 데이터 웨어하우스는 크게 세 가지 유형으로 나뉩니다. 엔터프라이즈 데이터 웨어하우스(EDW), 운영 데이터 저장소(ODS), 데이터 마트가 이에 해당합니다.

엔터프라이즈 데이터 웨어하우스(EDW)

EDW는 모든 주요 비즈니스 시스템의 데이터를 통합하는 중앙 집중식 저장소로, 엔터프라이즈 전반에 대한 포괄적인 관점을 제공합니다. 여러 시스템의 데이터를 일관된 형식으로 통합하며, 수년간의 과거 데이터를 포함할 수 있습니다. 또한, 모든 비즈니스 부서 전반에서 의사 결정과 전략적 계획을 지원하도록 설계되었습니다.

운영 데이터 저장소(ODS)

ODS는 실시간 데이터를 저장하는 트랜잭션 시스템과 장기적 분석 및 전략 수립에 활용되는 데이터 웨어하우스 간의 격차를 해소하도록 설계되었습니다. ODS는 ETL이나 ELT 프로세스를 거치지 않고 원본 형식 그대로 데이터를 저장합니다. 일상적인 의사 결정과 실시간 분석을 위해 설계되었기 때문에, ODS는 EDW보다 더 자주 업데이트되며 과거 데이터의 양은 상대적으로 적습니다.

데이터 마트

데이터 마트는 일반적으로 EDW의 하위 집합으로, 영업, 마케팅, 재무 또는 인사와 같은 특정 비즈니스 영역으로 그 용도가 제한됩니다. 각 데이터 마트는 특정 비즈니스 부서의 분석 요구를 충족하도록 최적화되어 있으며, 범위가 제한적인 만큼 일반적으로 구현이 더 빠르고 유지 관리도 용이합니다.

기존 데이터 웨어하우스 vs. 클라우드 데이터 웨어하우스

다른 핵심 업무용 IT 기능과 마찬가지로, 조직은 데이터 웨어하우스를 어떤 방식으로, 어디에 배포할지 선택할 수 있습니다. 기업은 자체 데이터 웨어하우스를 온프레미스 데이터 센터에서 유지 관리하거나, 클라우드에 호스팅하거나, 두 가지 방식을 결합한 하이브리드 아키텍처로 배포할 수 있습니다. 아래 표에 설명된 대로, 온프레미스 방식과 클라우드 방식은 인프라 투자, 성능, 확장성, 유지 관리, 비용 효율성 등 여러 측면에서 뚜렷한 차이가 있습니다.

운영 측면

온프레미스 데이터 웨어하우스

클라우드 기반 데이터 웨어하우스

인프라

기업은 모든 하드웨어와 소프트웨어 시스템을 구매, 설치, 유지 관리하며, 전체 IT 스택을 직접 관리합니다.

공급자가 모든 물리적 인프라를 관리하고, 기업은 API와 웹 인터페이스를 통해 이를 제어합니다. 

성능

특정 하드웨어 구성으로 정의되며, 팀은 워크로드에 맞게 이를 최적화할 수 있습니다. 네트워크 지연 시간이 최소화됩니다.

워크로드 요건에 따라 성능을 탄력적으로 확장하거나 축소할 수 있습니다. 지연 시간 문제를 비롯해 다른 클라우드 테넌트와 리소스를 공유해야 하는 상황 등은 성능에 부정적인 영향을 미칠 수 있습니다. 

확장성

웨어하우스 용량을 확대하려면 충분한 사전 계획과 자본 투자가 필요하며, 워크로드 수요가 감소할 경우 오버 프로비저닝이 발생할 수 있습니다.

컴퓨팅 및 스토리지 리소스는 소비 가격 책정 모델을 통해 워크로드 요건에 따라 거의 무한히 확장할 수 있습니다. 

유지 관리

기업은 모든 유지 관리, 패치, 업그레이드에 대한 책임이 있으며, 이에 상당한 인력 투자가 필요합니다. 

공급자가 모든 인프라 유지 관리를 담당하며, 기업은 데이터 거버넌스, 보안, 애플리케이션 유지 관리를 책임집니다.

 

비용

상당한 초기 투자와 지속적인 운영 비용이 필요하지만, 실제 사용량과 관계없이 비용은 비교적 일정하게 유지되며 예측이 가능합니다.

비용은 사용량에 비례해 증가하므로, 예측하기 어려운 지출과 대규모 데이터 전송 비용이 발생할 수 있습니다. 

온프레미스 솔루션을 선택하는 기업은 일반적으로 강력한 IT 조직을 보유하고, 예측 가능한 대용량 워크로드를 운영하며, 데이터 주권, 거버넌스, 인프라를 완벽하게 제어하고자 합니다. 내부 전문 인력이 부족하거나 신속한 배포가 필요하며, 워크로드 변동 폭이 크거나 데이터에 대한 전사적 접근이 요구되고, 초기 자본 지출을 최소화하고자 하는 조직은 일반적으로 클라우드 공급자를 선택합니다.

많은 조직이 민감 데이터는 온프레미스에서 제어하고, 분석 및 개발 워크로드는 클라우드 확장성을 활용하는 하이브리드 접근 방식을 채택하기 시작했습니다. 이 접근 방식은 사용 사례별 요구 사항에 따라 보안성과 민첩성을 모두 최적화할 수 있도록 합니다.

최신 데이터 웨어하우스의 이점

조직이 데이터 웨어하우스를 배포하기로 선택하는 이유는 다양하며, 그중 주요한 이유는 다음과 같습니다.

의사 결정 개선

데이터 웨어하우스는 단일 진실 공급원으로서, 조직의 모든 구성원이 의사 결정에 필요한 가장 정확하고 최신의 정보를 확보할 수 있도록 지원합니다.

과거 인텔리전스 및 추세 분석

조직은 수년간의 과거 데이터를 분석함으로써 장기적 추세와 운영 패턴을 식별하고, 이를 기반으로 전략적 계획을 수립할 수 있습니다.

데이터 품질 및 일관성 향상

데이터 웨어하우스의 내장형 검증 및 정제 기능은 엔터프라이즈 데이터의 신뢰성과 완전성을 보장합니다.

빅 데이터 볼륨에 대한 확장성

클라우드 기반 데이터 웨어하우스는 수요에 따라 컴퓨팅과 스토리지 리소스를 자동으로 확장하여, 오버 프로비저닝 없이 최대 분석 워크로드를 처리할 수 있습니다.

고급 분석 및 AI 지원

대부분의 데이터 웨어하우스는 회귀 분석과 시계열 예측 등 고급 분석 기능을 지원합니다. 또한 일부 웨어하우스에는 머신러닝 기능이 내장되어 있어 데이터 사이언티스트가 웨어하우스 환경 내에서 직접 모델을 관리할 수 있습니다.

데이터 웨어하우스 관리 FAQ

데이터 웨어하우스는 일반 데이터베이스와 어떻게 다른가요?

일반 데이터베이스는 조직의 일상적인 트랜잭션을 처리하도록 구축된 반면, 데이터 웨어하우스는 과거 데이터 분석을 위한 쿼리에 최적화되어 있어 보다 전략적인 의사 결정에 적합합니다.

데이터 웨어하우스에는 어떤 종류의 데이터가 저장되나요?

데이터 웨어하우스는 내부 엔터프라이즈 데이터베이스, 외부 시장 보고서, 실시간 데이터 피드 등 다양한 소스에서 수집한 정형, 비정형, 반정형 데이터를 모두 저장할 수 있습니다.

데이터 웨어하우스는 조직의 어떤 문제를 해결하나요?

단일 진실 공급원 역할을 하는 데이터 웨어하우스는 데이터 사일로를 제거하고 부서 간 데이터 일관성을 보장하며, 과거 분석을 지원하고 분석용 쿼리 성능을 향상시켜 신뢰할 수 있는 보고 기능을 제공합니다.

데이터 웨어하우스는 얼마나 안전한가요?

최신 웨어하우스는 암호화, 액세스 제어, 감사 추적, 규정 준수 인증 등 엔터프라이즈급 보안 기능을 제공합니다. 클라우드 공급자는 일반적으로 대부분의 조직이 자체적으로 구현할 수 있는 수준을 넘어서는 보안 기능을 제공합니다.