HDC현대산업개발에서 대규모 데이터 관리 역량을 확보하고, 쉽고 빠른 데이터 활용으로 AI 혁신 기반 마련한 방법

HDC현대산업개발은 단순 개발, 시공뿐 아니라 운영까지 수행하는 종합 부동산 개발사를 표방한다. 많은 도전적 혁신 과제를 헤쳐나가야 하는 상황에서 데이터 관리 인프라에 대한 근본적 전략을 수립하고자 했다. 특히, AI 기반 전략 수립, 건축 및 운영 최적화, 데이터 기반 경영 관리 등을 추구하면서 현대적인 데이터 인프라 구축이 필요했다. 

기존 환경으론 데이터 양의 증가세에 비해 활용에서 제약이 있었다. 부서별 대량 데이터 조회가 증가했고, 운영 시스템의 부담이 늘었다. 현업부서의 데이터 활용 수요 증가에 대응해 데이터 접근성을 높일 필요도 커졌다. 데이터 접근성 증가는 라이선스 비용 증가로도 이어져 해법이 필요했다. 장기적으로 AI 대응을 위한 데이터 준비도 고민이었다. AI의 환각 문제를 해결하려면 잘 준비된 데이터를 직접 마련해야 했고, 실질적인 AI 성과 도출을 위해 수정하고 관리하기 쉬운 데이터 인프라를 고민했다.

2024년 HDC현대산업개발은 데이터레이크 구축을 시작했다. 온프레미스 환경과 여러 클라우드 인프라 서비스, 내외부 시스템 등 이기종 데이터를 단일 저장소에 통합했다. 여러 데이터를 AWS S3로 수집하는 환경을 구축하고, AWS S3에 수집된 데이터를 스노우플레이크 데이터웨어하우스 영역에 적재해 데이터웨어하우스 기반으로 마트 데이터를 구성했다. 

데이터 파이프라인은 데이터 수집 및 저장 선후 관계를 AWS의 Apache Airflow 서비스를 활용해 플로우 형태로 구성하고 스케줄링을 적용했다. 데이터 분석은 마트 데이터를 기반으로 SQL, 대시보드, 스트림릿, 태블로 등을 활용하게 했다. 

HDC현대산업개발은 스노우플레이크를 도입하면서 유연하고 비용 효율적 인프라 확보, 체계적 메타 데이터 관리 등에 주목했다. 스노우플레이크는 데이터 저장 용량에 상관없이 데이터를 활용하는 시간만큼 과금한다. 데이터 분석 작업 시 더 많은 CPU와 메모리 자원을 프로비저닝해 연산하면 분석 시간을 단축시켜 비용을 절감할 수 있다. 데이터레이크와 메타데이터를 통합 관리할 수 있는 체계를 제공하므로 데이터 관리자는 메타데이터 관리체계를 활용해 업무 자동화와 효율화를 꾀할 수 있다. 원천 데이터 수집이 자동화되고, 데이터 마트 생성과 리포트 생성도 자동화할 수 있게 됐다.

HDC현대산업개발은 스노우플레이크를 통해 안정적이고 비용 효율적인 데이터레이크와, 워크플로우 관리가 가능한 데이터 파이프라인을 구성할 수 있었다. 향후 AI/ML 활용까지 고려해 유연성과 확장성도 확보했다. 

데이터 접근성 측면도 대폭 개선됐다. 현업부서 담당자는 원하는 시간에 필요한 데이터를 조회하고 활용할 수 있게 됐다. 데이터분석가의 업무가 IT부서 의존없이 자신의 흐름 안에서 완결돼 성과가 향상됐다. 대량 데이터 조회에 대한 고민도 해결됐다. 운영 시스템에 누적된 대량의 데이터를 서비스 운영에 영향을 주지 않고 활용할 수 있게 됐다.

대시보드의 경우 파이썬 시각화 라이브러리인 스노우플레이크 스트림릿(Streamlit)을 활용해 화면을 개발했다. 쉽고 빠르게 시각화

할 수 있는 스노우플레이크 스트림릿의 장점을 활용해 회계전표, 안전관리, 구식 시스템 등의 여러 사용자 요건에 맞춘 조회 화면을 제공하고 있다. 경영 관련 지표와 분양 및 현장의 지표 데이터를 축적해 보여주는 HDC현대산업개발의 대시보드 플랫폼인 ‘데이터랩(DataLab)’은 전직원 활용을 위해 재구축됐다. 지표 데이터를 스노우플레이크에 쌓아두고, Amazon QuickSight를 활용해 대시보드 화면을 만들어 게시하고 있다. 이로써 전사 직원이 대시보드에 접근하면서도 라이선스 및 사용료 등의 유지보수 비용도 줄이게 됐다. 

스노우플레이크는 데이터 관리 플랫폼 역할을 수행 중이다. 스노우플레이크를 통해 데이터 파이프라인과 품질을 쉽게 검증하게 됐고, 여러 시스템 간 데이터를 연결해야 하는 상황에서 체계적으로 데이터 연결 관계를 관리하고 있다. AI를 활용해 데이터 클렌징과 설명 추가를 수행하는 체계도 운영 중이다.

HDC현대산업개발은 스노우플레이크를 통해 ‘데이터 보관-정제-시각화’ 등의 과정에 투입되는 비용을 절감하게 됐다. 데이터 사용과 처리 중심으로 비용 구조를 전환함으로써 저장 용량 비용과 BI 라이선스 비용을 절감할 수 있었다. 이를 통해 연간 54%의 비용 절감 효과를 기대하고 있다. 

데이터 관리와 활용에 투입하는 시간도 감소했다. 2주일 이상 소요됐던 신규 데이터 기반 비즈니스 인사이트 도출 시간을 3일로 줄였다. 투입 인원도 감소했다. 시스템 운영에 투입되던 인력을 재배치해 데이터 관리와 분석 업무에 배치함으로써 업무 효율성이 증대됐다. 운영 시스템 안정화란 부가 효과도 기대된다. 기존의 환경은 데이터 양 증가에 따라 월별 운영비용이 비례해 증가하지만, 스노우플레이크를 별도 분석 시스템으로 도입하면서 피크 상태에도 기존 대비 50% 수준의 비용으로 운영과 분석 모두를 효율적으로 처리할 수 있게 됐다. 

결과적으로 HDC현대산업개발은 스노우플레이크를 도입하면서 운영 시스템 안정화로 운영 비용을 절감하면서 전반적인 데이터 관리 수준을 향상시킬 수 있었다. 처리 시간 단축, 비용 절감, 접근 및 가용성 향상, 분석 가능성, 거버넌스 강화 등 데이터 관리 핵심 역량도 대폭 향상됐다.

HDC현대산업개발은 데이터의 본격적인 AI 활용을 위한 고도화를 준비하고 있다. AI 활용 고도화의 전제 조건인 데이터 정제와 축적에 우선 집중하고, 기술의 발전 수준에 맞춰 혁신을 추진한다는 방침이다. 단기적으로 AI 활용 아키텍처를 구축해 검색, 요약, 데이터 분석 및 의사결정 보조에 활용하고, 향후 IoT, 영상 등의 현장 데이터 뿐만 아니라 도면, 결재문서 등의 비정형 데이터까지 추가 수집해 점진적으로 AI 활용 범위를 넓혀갈 계획이다.