머신러닝에서의피처 스토어 정의

머신러닝(ML)은 다양한 산업에서 점점 더 중요한 역할을 하고 있으며, 피처 스토어는 금융 사기 감지, 전자상거래 내 관련성 높은 상품 추천 제공, 의료 분야에서의 질병 예방 및 치료 고도화 등 ML 적용 전반에서 핵심적인 역할을 수행합니다. 이 문서에서는 피처 스토어의 정의와 피처 스토어를 통해 데이터 전문가가 전체 머신러닝 피처 라이프사이클을 효과적으로 관리하여 ML 파이프라인을 빠르게 배포하는 방식을 살펴봅니다.

피처 스토어는 머신러닝을 위해 사용되는 새로운 형태의 데이터 시스템으로, 자주 사용되는 피처를 저장, 처리 및 액세스할 수 있는 중앙 허브 역할을 합니다. 이를 통해 향후 머신러닝 모델 개발 시 피처를 재사용할 수 있습니다. 피처 스토어는 머신러닝을 위한 피처 엔지니어링 과정에서 데이터 입력, 추적, 거버넌스 작업을 운영 수준에서 처리합니다.

피처 스토어의 중요성을 온전히 이해하기 위해서는 머신러닝 모델의 작동 방식에 대한 기본 개념을 알아야 합니다. ML 모델은 피처를 활용합니다. 여기서 피처란 과거 데이터를 기반으로 미래를 예측하도록 모델을 학습시키는 데 사용할 수 있는 측정 가능한 데이터 조각입니다. 예를 들어, 고객이 다음 달 안에 구매할지 예측하려면 지난달 구매 금액 합계나 이번 주 웹사이트 방문 횟수와 같은 변수 즉, 피처를 사용할 수 있습니다. 이와 마찬가지로, 의료 관련 사용 사례에서는 환자를 설명하기 위한 피처로 나이, 체중, 흡연 여부, 운동 빈도, 현재 의학적 진단과 같은 변수가 포함될 수 있습니다. 

머신러닝 모델은 먼저 학습 과정을 거치게 되며, 준비된 예제와 피처 형태의 방대한 과거 데이터를 입력받습니다. 이를 통해 모델은 과거 유사 데이터의 경험을 기반으로 새로운 예제에 대해 추론하거나 정확한 예측을 수행할 수 있습니다. 모델이 운영 데이터로부터 예측을 생성하도록 훈련된 이후, 조직은 가공 전 데이터를 훈련 시 사용한 것과 동일한 피처로 변환하는 파이프라인을 운영화해야 합니다.

학습 데이터와 운영 데이터 모두 피처 파이프라인을 통해 모델에 입력되기 전에 적절하게 준비되어야 합니다. 피처 파이프라인은 일반 데이터 파이프라인과 유사합니다. 피처 파이프라인에서 생성된 데이터는 집계, 검증 및 변환 과정을 거쳐 ML 모델 입력에 적합한 형식으로 준비됩니다.

피처 스토어는 자주 사용되는 피처를 저장하고 처리하는 중앙 리포지토리 역할을 하며, ML 모델과 팀 전반에서 피처를 재사용하고 공유할 수 있도록 지원합니다. 또한, 피처 값을 저장하고 관리할 뿐 아니라, 클라우드 데이터 웨어하우스, 클라우드 데이터 레이크, 스트리밍 애플리케이션의 가공 전 데이터를 ML 모델 학습에 활용할 피처와 ML 기반 애플리케이션에 결과를 제공하는 신규 데이터 스코어링용 피처로 변환하는 역할도 수행합니다.