데이터 수집2025년 최신 가이드

전 세계 모든 유형에 걸쳐 생성, 수집, 복사, 소비되는 데이터의 양은 연간 19.2%의 비율로 증가하고 있으며, 그 성장세는 둔화될 조짐을 보이지 않고 있습니다. 현대의 기업은 가장 시의적절한 정보에 접근할 수 있어야 하며 해당 데이터의 정확성, 관련성 및 완전성을 반드시 확인해야 합니다.

데이터 수집 프로세스를 효율적으로 관리하는 조직은 확실한 경쟁 우위를 확보할 수 있습니다. 그러한 조직은 고객 행동의 변화에 더 빠르게 대응하고 제품 출시 기간을 단축할 수 있습니다. 나아가 새로운 수익원을 개발하고 규제 요건을 준수함으로써 예기치 않은 환경 변화에 대한 노출도 줄일 수 있습니다.

데이터 수집이 제대로 이루어지지 않으면 기업에는 보이지 않는 사각지대가 생기고, 이는 비즈니스 기회 상실과 더 큰 위험 노출로 이어집니다. 또한 부적절한 수집 관행은 생태계 전반에 영향을 미치는 기록 누락, 데이터 중복, 불일치, 규정 준수 실패, 보안 침해 및 변환 오류 등으로 이어져 사용자 신뢰도와 의사 결정의 정확성을 훼손할 수 있습니다.

세 번째 데이터 수집 유형은 위의 두 가지 방식을 혼합한 형태로, 데이터를 지속적으로 수집하는 동시에 일정 주기(몇 분 또는 몇 초 간격)를 두고 소규모 배치로 처리하는 방식입니다. 이 접근 방식은 실시간 처리 방법보다 시스템 인프라에 대한 부담을 낮추고 데이터 수집과 조치 실행 사이의 지연 시간을 줄여줍니다. 예를 들어, 전자상거래 사이트는 마이크로 배치 수집을 통해 고객의 장바구니에 담긴 품목을 토대로 상품을 추천할 수 있습니다. 또한 지역 의료 센터는 공중보건 위기 상황 시 병상 현황을 파악하는 데 마이크로 배치 수집을 활용할 수 있습니다.

단일 조직에서도 분야별로 서로 다른 데이터 수집 형태를 사용할 수 있습니다. 예를 들어, 일일 보고에는 배치 처리를, 사기 감지에는 실시간 처리를, 웹 또는 모바일 고객과의 소통에는 하이브리드 접근 방식을 사용할 수 있습니다. 수집 방법은 데이터 볼륨, 지연 시간 요구 사항, 인프라 비용, 기술적 복잡성, 그리고 비즈니스 측면에서의 데이터 중요도와 같은 요인에 따라 달라집니다.

데이터 수집은 정보를 스테이징 영역으로 전달함으로써 데이터 웨어하우스와 데이터 레이크를 구축하는 과정에서 필수 단계를 수행합니다. 이 스테이징 영역에서 정보는 추출, 변환을 거친 후 웨어하우스나 레이크에 로드(ETL)될 수 있습니다. 즉, 데이터 수집은 ETL 또는 ELT(추출, 로드, 변환) 프로세스를 보완하는 역할을 합니다.

이 프로세스는 레스토랑 운영 방식과 비슷하다고 이해해볼 수 있습니다. 예를 들어, 데이터 수집 플랫폼은 원재료(데이터)를 주방으로 운반하는 트럭과도 같습니다. ETL/ELT 작업은 이러한 재료를 세척하고 다지고 양념한 후 셰프에 해당하는 데이터 웨어하우스나 데이터 레이크로 전달합니다. 손님이 쿼리(주문)를 셰프에게 제출하면 셰프는 준비된 재료를 조합해 손님이 원하는 답변(음식)으로 만들어 응답합니다.

경우에 따라, 데이터 웨어하우스와 데이터 레이크는 ETL이나 ELT 없이도 데이터를 직접 받을 수 있습니다. 이 경우 데이터 수집 플랫폼은 패스트푸드 레스토랑의 드라이브 스루 창구와 더 비슷하다고 볼 수 있습니다. 또 다른 예로, 데이터 형식이 변하지 않아 데이터 변환이 필요하지 않은 POS(판매 시점) 시스템 또는 트레이딩 시스템, 혹은 데이터 일관성이 유지되고 신속한 조치를 필요로 하는 장비 센서 등을 들 수 있습니다.

간소화된 데이터 수집 프로세스는 대규모 업그레이드나 재구축 없이도, 데이터 볼륨이 증가함에 따라 확장할 수 있습니다.

자동화를 바탕으로 데이터 수집 시점을 조정하고 데이터 검증 후 다운스트림 프로세스를 트리거하며 수요 증가에 따라 리소스를 동적으로 확장함으로써 데이터 수집 워크플로우를 향상시킬 수 있습니다. 일관된 데이터 형식을 채택하거나 수집 파이프라인을 개별 구성 요소로 분할하는 등의 모범 사례를 따르면 최소한의 인적 개입으로 운영되는 자체 관리 시스템을 구성하는 데 도움이 됩니다.

정보를 안전하게 보호하는 것은 어느 조직에서나 가장 중요한 과제입니다. 전송 중이나 저장 중에도 민감 데이터를 암호화하고 모든 단계에서 강력한 액세스 제어를 구현하며 감사 추적을 유지 관리해야 할 수도 있습니다. 상장 기업이나 엄격한 규제가 적용되는 금융, 의료 및 개인 데이터를 취급하는 기업들은 데이터 저장과 보호를 위해 특정 규칙을 준수해야 하므로 전반적으로 복잡성이 가중됩니다.

Informatica의 데이터 수집 플랫폼은 자사의 Intelligent Cloud Services를 중심으로 운영되며, 이를 통해 기업은 온프레미스 애플리케이션과 클라우드 기반 애플리케이션 간 데이터를 교환할 수 있습니다. 강력한 거버넌스, 보안 및 규정 준수 기능을 포함하는 엔터프라이즈 규모 배포를 위해 설계되었으며, 일반적으로 엔터프라이즈 데이터 웨어하우스, 마스터 데이터 관리 및 대규모 데이터 마이그레이션 프로젝트 등에 사용됩니다.