AI/ML로 예측 복잡성을 줄이고이상 감지를 개선한 IGS Energy

IGS Energy는 보다 친환경적인 미래를 만들어가는 데 주력하고 있습니다. 신뢰할 수 있고 비용 합리적인 청정 에너지를 모두에게 제공한다는 미션 아래, IGS는 재생에너지 전력, 탄소 중립 천연가스, 태양광 등 다양한 지속 가능한 에너지 솔루션을 제공합니다. IGS는 미국 중서부 지역의 리테일 에너지 공급자로서 기업부터 일반 가정에 이르기까지 100만 명 이상의 미국 고객에게 전기와 천연가스를 공급하고 있습니다. 

IGS Energy 데이터 사이언스 매니저 Dan Shah는 “데이터는 고객에게 더 신뢰할 수 있고 경쟁력 있는 서비스를 제공하는 데 핵심적인 역할을 하기 때문에, 우리의 미션을 실현하는 데 매우 중요한 요소입니다.”라고 말합니다. 기존 온프레미스 시스템이 매일 처리해야 하는 방대한 규모의 데이터를 더 이상 감당하지 못하게 되자, IGS는 확장성과 안정성을 갖춘 데이터 플랫폼 도입을 추진했습니다. IGS는 현재 Snowflake를 데이터 인프라의 핵심으로 활용하며, 에너지 수요 예측부터 이상 감지에 이르기까지 다양한 비즈니스 목표를 AI/ML로 해결하고 있습니다.

데이터는 IGS의 미션에서 핵심적인 요소이지만, 과거에는 레거시 온프레미스 데이터 인프라에 의존해 업무 효율성과 정확성을 확보하는 데 한계가 있었습니다. “서로 긴밀하게 얽혀 있는 워크플로우가 하나의 거대한 구조를 이루고 있었습니다. 그중 어느 한 지점에서 문제가 발생하면 분리해 대응하기가 매우 어려웠고, 전반적인 프로세스를 개선하는 데도 한계가 있었습니다.”라고 Shah는 설명합니다.

이러한 과제는 특히 수요 예측에서 두드러졌습니다. 수요 예측은 IGS 비즈니스의 핵심 요소로, 무엇보다도 높은 정확도가 요구됩니다. “전력 구매에 대한 의사 결정은 매일 이루어지며, 그 모든 결정에는 정확한 예측이 필요합니다.”라고 Shah는 말합니다. 이러한 거래에는 전력 매입 및 매도에 대한 장기적인 의사 결정부터, 가격 변동성을 줄이기 위해 운영 하루 전에 도매 전력을 사고파는 ‘하루 전 에너지 시장(day-ahead energy market)’ 거래까지 포함됩니다.

IGS의 ML 기반 예측 모델은 날씨 정보, 과거 에너지 소비량, 계정 정보, 계약 기간 등 방대한 양의 데이터를 필요로 합니다. 도매 전력 가격이 시간대별로 변동하기 때문에, IGS는 고객 계약 기간 전반의 시간 단위 전력 소비를 예측해야 하며, 해당 기간은 수년에 이를 수도 있습니다. 이 과정에서 최대 400억~500억 행에 달하는, 1TB 이상의 대용량 데이터가 생성됩니다. Shah는 “예측 과정에서 업스트림 단계에 문제가 발생하면 전체 프로세스가 제대로 작동하지 않게 되고, 상당한 금전적 손실로 이어질 수 있습니다.”라고 말합니다.

IGS는 확장성과 유연성을 갖춘 솔루션으로 Snowflake를 선택했습니다. Shah는 “Snowflake AI 데이터 클라우드는 이처럼 방대한 데이터를 저장하고 쿼리하며 활용하는 데 있어 가장 비용 효율적이면서도 신속한 방법이라고 생각했습니다. 또한 Snowflake는 데이터를 보다 유용하고 이해하기 쉬우며, 실제로 활용 가능한 형태로 만들겠다는 우리의 비전을 실현하는 데 중요한 역할을 하고 있습니다.”라고 말합니다.

Shah의 팀은 Snowflake를 활용해 차세대 수요 예측 모델을 구축했습니다. Shah는 “수요 예측은 단위가 세분화될수록 정확도가 높아지는 경향이 있습니다. 하지만 기존에는 계정마다 하나의 예측 모델을 사용했기 때문에, 고객 계정 수가 많을수록 상당한 오버헤드가 발생했습니다.”라고 설명합니다. IGS는 고객별 모델을 학습하던 방식에서 단일 통합 모델 중심의 Snowflake로 전환함으로써, 복잡성을 줄이고 높은 정확도를 유지하는 동시에 모델 학습 비용을 75% 절감했습니다.

Shah는 “이전에는 모든 모델을 학습하고 예측을 생성하는 데 약 30분이 걸렸습니다. 하지만 Snowflake의 단일 통합 모델은 매우 빠릅니다. 수십만 명의 고객에 대한 예측도 몇 분 만에 생성할 수 있죠. 이러한 속도와 단순성은 시뮬레이션이나 시나리오 예측과 같은 새로운 비즈니스 역량을 구현하는 데에도 도움이 될 것입니다.”라고 말합니다.

Shah는 Snowflake 기반 예측 모델의 잠재적 이점이 IGS를 넘어 더 넓은 영역으로 확장될 수 있다고 설명하며 다음과 같이 덧붙입니다. “이러한 접근 방식은 에너지 산업을 넘어 리테일이나 공급망 등 다양한 분야에서도 적용할 수 있으며, 특히 예측을 대규모로 생성해야 하는 산업 전반에 적용할 수 있는 하나의 청사진이 될 수 있습니다.”

IGS는 전력망을 통해 재생에너지를 공급하는 것 외에도 옥상 태양광 패널을 제공합니다. 태양광 패널이 설치되면 IGS는 정상적인 성능을 유지하기 위해 발전량을 모니터링합니다.

이전에는 IGS가 온프레미스 SQL 서버에서 과거 발전량 평균 데이터를 Excel로 내보낸 뒤, 이를 실제 생산량과 비교하는 수작업 방식으로 성능 이상을 감지했습니다. 하지만 이 방식에는 많은 시간이 소요됐고 정확성에도 한계가 있었습니다. Shah는 “이상 징후를 포착하는 것은 태양광 패널에 대한 고객 만족도를 유지하는 데 매우 중요합니다. 하지만 Snowflake 도입 전에는 미감지(위음성)로 인해 이상을 감지하지 못하는 경우가 있었고, 반대로 오감지(위양성)로 인해 실제 문제가 없음에도 현장 출동이 이뤄지는 경우도 있었습니다.”라고 말합니다.

Shah의 팀은 기상 데이터와 태양광 설비 사양을 활용해 성능 저하를 예측하는 ML 기반 모델 아이디어를 검증하기 위해 Streamlit을 활용했습니다. Streamlit의 사용 편의성 덕분에 Shah의 팀은 단 2주 만에 내부 이해관계자를 위한 초기 이상 감지 애플리케이션을 구축해 테스트할 수 있었습니다. Shah는 “Streamlit 덕분에 데이터 사이언티스트들이 엔지니어링 작업에도 보다 자유롭게 참여하고, Snowpark로 모델을 개발하며, 비즈니스 요구에 맞는 결과물을 구축할 수 있었습니다. Streamlit은 기존 작업 환경을 벗어날 필요 없이 데이터 사이언스 업무에 집중할 수 있다는 점에서도 매우 사용 편의성이 높은 도구입니다.”라고 말합니다.

Shah와 그의 팀은 앞으로도 데이터를 통해 더 큰 가치를 창출할 수 있는 혁신적인 방안을 지속적으로 모색하고 있습니다. 이 여정에서 Snowflake는 AI와 ML의 가치를 활용하는 것은 물론, Snowflake Marketplace를 통해 새로운 영업 기회를 발굴하는 데 있어 핵심적인 파트너 역할을 하고 있습니다. Shah는 “Snowflake Marketplace의 장점은 매우 큽니다. 데이터의 ELT(추출, 로드, 변환)와 스키마 관리 부담을 덜어 주기 때문에, Snowflake 환경 내에서 자체 데이터와 결합된 다양한 고품질 데이터 세트에 손쉽게 접근하고 활용할 수 있습니다.”라고 말합니다.  

앞으로 IGS는 지리 공간 데이터와 인구통계학적 데이터를 활용해 재생에너지 솔루션에 적합한 잠재 건물을 식별하는 방안도 모색할 계획입니다.