머신러닝 모델: 유형과 작동 방식, 선택 방법

오늘날 머신러닝 모델을 하나 꼽아 보라고 하면 대부분 ChatGPT나 다른 대규모 언어 모델(LLM)을 떠올릴 것입니다. 하지만 대다수 조직은 여전히 수요 예측, 리스크 점수, 추천, 이상 감지처럼 범위가 명확히 정해진 예측 작업을 지원하는 다양한 모델을 매일 활용하고 있습니다. 하나의 기업이 전혀 다른 수학적 기반 위에 구축된 수십, 수백 개의 모델을 실행하기도 합니다.

어떤 모델은 몇 개의 계수로 이루어진 선형 회귀이고, 다른 모델은 수백만 건의 레코드로 학습된 그래디언트 부스팅 앙상블이며, 또 다른 모델은 수십억 개의 파라미터를 지닌 파운데이션 모델일 수 있습니다. 모델 계열마다 데이터에 대한 가정이 다르고, 학습하는 관계의 종류가 다르며, 학습, 추론, 해석에 요구되는 조건도 서로 다릅니다.

이러한 차이는 단순한 이론적 문제가 아닙니다. 모델이 어떤 문제를 해결할 수 있는지, 얼마나 많은 데이터가 필요한지, 출력을 어떻게 평가할 수 있는지, 그리고 당면한 태스크의 요구 사항에 부합하는지가 모두 이 차이에 따라 결정됩니다.

가장 강력한 모델이 항상 최선의 선택은 아닙니다. 더 작거나 특화된 모델이 더 낮은 비용, 더 빠른 성능, 더 간단한 평가로 비슷한 결과를 제공할 수 있습니다. Snowflake의 Kyle Schmaus가 언급했듯이, “진짜 과제는 프론티어 모델이 반드시 필요한 영역과 최적화된 대안으로 동일한 성과를 낼 수 있는 영역을 가려내는 것입니다.” 이러한 이유로 기업에는 여러 모델 계열 중에서 선택할 수 있는 유연성이 필요합니다. 이는 곧 태스크, 데이터 유형, 성능 요구 사항에 따라 선별한 모델 포트폴리오를 관리한다는 의미입니다.

머신러닝 모델은 데이터에 존재하는 패턴과 관계를 학습해 담아낸 결과물입니다. 입력을 받아 학습 과정에서 습득한 파라미터를 적용하고, 예측값, 클래스 확률, 생성된 시퀀스, 그룹 할당과 같은 출력을 만들어 냅니다.

모델은 모델을 만드는 데 사용된 알고리즘과는 구별됩니다. 알고리즘은 학습이 이루어지는 방식을 규정하고, 모델은 데이터에서 학습한 파라미터와 구조를 담고 있습니다.

예를 들어 의사 결정 트리 알고리즘은 학습 예제를 점점 더 유용한 그룹으로 나누는 특성 값을 탐색합니다. 선택된 특성, 분할 임계값, 리프 값을 포함해 이렇게 적합된 트리가 바로 모델입니다. 같은 알고리즘을 다른 데이터로 다시 실행하면 다른 트리가 만들어질 수 있습니다.

이 구분은 학습과 추론을 나누는 기준이기도 합니다. 학습 단계에서는 학습 알고리즘이 오류를 줄이거나 다른 목표를 개선하기 위해 모델의 파라미터를 조정합니다. 추론 단계에서는 학습된 모델이 그 파라미터를 새로운 데이터에 적용합니다. 예를 들어 장비 고장 위험을 추정하는 모델은 과거 센서 판독값과 유지 보수 기록으로 학습한 뒤, 새로운 판독값이 들어올 때마다 매시간 추론을 실행할 수 있습니다.

파라미터의 형태는 모델 계열마다 다릅니다. 선형 회귀에서는 각 입력 특성에 부여된 계수가 파라미터에 해당합니다. 트리는 분할 규칙과 예측값을 저장합니다. 신경망은 여러 레이어에 걸쳐 분산된 수백만에서 수십억 개의 가중치를 포함할 수 있습니다. 구조가 어떠하든, 모델이 학습을 통해 보유하는 내용의 대부분은 이렇게 학습된 값들로 이루어집니다.

프로덕션 모델에는 일반적으로 학습된 파라미터 이상의 것이 담겨 있습니다. 예측을 안정적으로 재현하는 데 필요한 전처리 로직, 예상 입력 스키마, 클래스 레이블, 종속성 정보, 메타데이터도 함께 패키징될 수 있습니다.

Snowflake ML이 Coinbase의 대규모 머신러닝 제공 방식을 어떻게 간소화하고 있는지, Coinbase의 Tuhin Ghosh가 직접 소개하는 영상을 확인해 보세요.

일반적인 머신러닝 워크플로우는 태스크와 관련된 관측값을 담은 데이터 세트에서 시작됩니다. 각 관측값은 모델에 제공되는 입력 변수, 즉 특성(feature)으로 표현됩니다. 지도 학습의 경우, 데이터에는 원하는 출력을 나타내는 레이블 또는 목표값도 포함됩니다. 예를 들어 신용 리스크 데이터 세트에는 소득, 납부 이력, 기존 부채를 나타내는 특성과 함께 과거 대출자의 상환 여부를 나타내는 레이블이 포함될 수 있습니다.

학습을 시작하기 전에 실무자는 보통 데이터를 정제하고 변환하며, 유용한 특성을 구성하고, 사용 가능한 예제를 학습, 검증, 테스트 세트로 나눕니다. 이 세 가지 세트는 각기 다른 역할을 합니다. 학습 세트는 모델을 적합시키고, 검증 세트는 모델과 하이퍼파라미터 선택을 지원하며, 테스트 세트는 개발 과정에 사용되지 않은 데이터로 최종 성능을 추정합니다.

이후 학습 알고리즘이 예제를 모델에 통과시키고 그 출력을 원하는 결과와 비교합니다. 손실 함수는 그 차이를 수치로 변환합니다. 최적화는 이 손실을 줄이는 방향으로 파라미터를 조정하지만, 구체적인 적합 프로세스는 모델 계열에 따라 상당히 다릅니다. 선형 모델은 해석적 해나 반복적 최적화를 통해 계수를 추정하는 반면, 신경망은 일반적으로 그래디언트를 계산해 레이어를 거슬러 역전파합니다.

실무자는 하이퍼파라미터도 설정하는데, 이는 학습 예제에서 직접 학습되는 값이 아니라 학습 프로세스나 모델 구조를 제어하는 값입니다. 트리의 최대 깊이, 랜덤 포레스트의 트리 개수, 정규화 페널티, 신경망 가중치 업데이트에 사용되는 학습률 등이 여기에 해당합니다.

적합이 끝나면 모델은 학습에 사용하지 않은 홀드아웃 데이터로 평가됩니다. 적절한 지표는 태스크의 성격과 오류가 초래하는 결과에 따라 달라집니다. 클래스가 비교적 균형 잡혀 있고 오류 유형별 비용이 비슷하다면 정확도가 유용할 수 있지만, 시스템에 따라서는 정밀도, 재현율, 보정(calibration) 또는 곡선 아래 면적(AUC)이 더 적합할 수 있습니다. 회귀 태스크에서는 평균 절대 오차, 평균 제곱근 오차 또는 도메인 특화 비용 함수를 사용할 수 있습니다. 지표 선택은 문제 정의의 일부입니다. 어떤 지표로 평가하느냐에 따라 두 모델의 순위가 뒤바뀔 수 있기 때문입니다.

목표는 일반화, 즉 모델이 실제로 마주하게 될 조건에서 나온 새로운 예제에 대한 성능입니다. 모델이 학습 데이터에는 잘 맞더라도 그 너머로 이어지는 관계를 학습하지 못하면 프로덕션에서 저조한 결과로 이어질 수 있습니다. 이 간극 때문에 평가에는 적합에 사용되지 않은 예제를 사용해야 하며, 배포 후에도 프로덕션 성능을 계속 모니터링해야 합니다.

모델의 품질은 데이터가 담고 있는 정보의 한계를 넘어설 수 없습니다. 누락된 변수, 일관되지 않은 측정값, 부정확한 레이블, 대표성이 없는 샘플은 프로덕션에서 성립하지 않는 관계를 모델에 학습시킬 수 있습니다. 알고리즘마다 노이즈, 이상치, 결측값을 견디는 정도는 다르지만, 데이터에 애초에 담기지 않은 신호를 복원할 수 있는 모델은 없습니다.

머신러닝 모델 유형에 대한 하나의 확정된 목록은 존재하지 않습니다. 모델은 학습 방식, 태스크, 모델 계열 등 여러 차원에 따라 분류할 수 있기 때문입니다.

예를 들어 랜덤 포레스트는 트리 기반 모델 계열입니다. 일반적으로 지도 학습을 사용하며 분류와 회귀를 모두 수행할 수 있습니다. 이러한 차원을 구분해서 보면 모델 간의 관계를 이해하기가 훨씬 쉬워집니다.

학습 방식에 따른 분류

학습 방식은 훈련 과정에서 제공되는 피드백의 유형에 따라 달라집니다. 레이블이 지정된 예제로부터 학습하는 모델이 있는가 하면, 레이블이 없는 데이터에서 구조를 찾아내거나, 데이터 자체에서 타깃을 도출하거나, 환경으로부터 받는 보상을 통해 성능을 개선하는 모델도 있습니다.

• 지도 학습은 입력과 알려진 타깃값이 모두 포함된 예제를 사용해 모델을 훈련합니다. 분류, 회귀, 순위 지정과 같은 작업을 지원합니다.
• 비지도 학습은 사전에 정의된 타깃 레이블 없이 작동합니다. 대신 유사한 관측값을 그룹화하거나, 데이터 분산을 추정하거나, 저차원 표현을 학습하는 방식으로 입력에서 구조를 식별합니다.
• 준지도 학습은 소량의 레이블이 지정된 예제와 대량의 레이블이 없는 데이터를 결합합니다. 입력 데이터는 풍부하지만 전문가의 레이블링에 비용이나 시간이 많이 드는 경우에 유용합니다.
• 자기 지도 학습은 데이터 자체에서 훈련 타깃을 도출합니다. 예를 들어 언어 모델은 누락된 토큰이나 다음 토큰을 예측하도록 학습할 수 있고, 이미지 모델은 마스킹된 영역을 복원하거나 동일한 이미지의 변형된 뷰를 비교하며 학습할 수 있습니다. 이 접근 방식은 오늘날 파운데이션 모델에 사용되는 사전 학습의 상당 부분을 뒷받침합니다.
• 강화학습은 환경과의 상호작용을 통해 에이전트를 학습시킵니다. 에이전트는 각 예제에 대한 고정된 레이블로부터 학습하는 대신, 행동에 따른 보상을 받으며 누적 보상을 극대화하기 위한 정책을 학습합니다.

입문 자료에서는 지도 학습, 비지도 학습, 준지도 학습, 강화학습을 “머신러닝의 네 가지 유형”으로 소개하기도 합니다. 이 네 가지를 모델의 유형이 아닌 학습 방식으로 이해한다면, 전체 개념을 파악하는 데 여전히 유용한 답이 될 수 있습니다.

작업별 분류

모델은 생성하는 출력의 종류에 따라 분류할 수도 있습니다. 동일한 모델 계열이 분류, 회귀, 클러스터링, 순위 지정, 예측, 생성 등 여러 작업을 지원할 수 있습니다.

• 분류는 입력을 하나 이상의 카테고리에 할당합니다. 예를 들어 트랜잭션이 정상인지 사기 가능성이 있는지 분류하거나, 이미지 속 오브젝트를 식별하거나, 지원 요청을 올바른 대기열로 라우팅할 수 있습니다.
• 회귀 모델은 수요, 온도, 배송 시간과 같은 연속적인 수치를 예측합니다.
• 클러스터링은 사전에 정의된 카테고리 레이블에 의존하지 않고 유사도 측정 기준에 따라 관측값을 그룹화합니다.
• 순위 지정은 검색, 추천, 리드 우선순위 지정처럼 가능한 결과의 순서를 정합니다.
• 예측은 시간적 순서와 계절성 같은 패턴을 고려해 미래 값을 추정합니다.
• 생성은 텍스트, 이미지, 오디오, 코드, 분자 표현 등 새로운 콘텐츠나 구조화된 출력을 만들어냅니다.

이 밖에도 이상 감지, 차원 축소, 표현 학습, 제어 등의 작업이 있습니다. 특히 광범위한 데이터로 사전 학습된 경우, 하나의 모델이 여러 작업을 지원할 수도 있습니다.

모델 계열별 분류

모델 계열은 모델이 관계를 표현하는 구조를 나타냅니다. 이러한 카테고리는 서로 겹칠 수 있습니다. 예를 들어 오토인코더는 신경망 아키텍처인 동시에 차원 축소 모델이며, 트랜스포머는 다양한 파운데이션 모델이 사용하는 신경망 아키텍처입니다. 계열 레이블은 모델의 작동 방식, 가정, 계산 특성에 대한 정보를 알려주지만, 모델이 수행할 작업을 완전히 정의하지는 않습니다.

다음 계열은 응용 머신러닝에서 사용되는 다양한 모델을 포괄합니다. 모든 유형을 망라한 것이 아니라 대표적인 예이며, 일부 계열에는 둘 이상의 작업을 지원하는 알고리즘이 포함되어 있습니다.

선형 모델

선형 모델은 입력 특성의 가중 결합으로 출력을 계산합니다. 선형 회귀에서 출력은 연속적인 값입니다. 로지스틱 회귀는 유사한 공식을 적용해 클래스의 확률을 추정합니다.

경로 길이, 주문량, 웨어하우스 워크로드를 바탕으로 배송 시간을 추정하는 모델이 있다고 가정해 보겠습니다. 선형 모델은 각 특성에 계수를 할당하는데, 이 계수는 다른 특성이 고정되어 있다고 가정할 때 해당 특성이 변화함에 따라 예측 배송 시간이 어떻게 달라지는지를 나타냅니다.

이러한 구조 덕분에 선형 모델은 유용한 베이스라인으로 활용됩니다. 학습 속도가 빠르고 추론 시 효율적으로 실행되며, 실무자가 관계를 직접 확인할 수 있습니다. 릿지, 라쏘, 엘라스틱 넷과 같은 정규화 기법은 계수를 제약해 과적합을 줄이고, 경우에 따라 특성 집합을 단순화할 수 있습니다.

하지만 이러한 구조는 한계이기도 합니다. 기본적인 선형 모델은 곡선형 관계나 상호작용을 해당 항이 특성으로 직접 제공되지 않는 한 포착할 수 없습니다. 기저 관계가 매우 비선형적인 경우, 선형 모델은 올바르게 구성되어 있더라도 과소적합될 수 있습니다.

의사 결정 트리

의사 결정 트리는 예측을 특성 기반 분할의 시퀀스로 표현합니다. 각 내부 노드에서 모델은 계정 잔액이 학습된 임계값을 초과하는지와 같은 조건을 평가합니다. 이러한 조건을 거치는 경로는 예측된 클래스, 확률 또는 수치가 담긴 리프(leaf)에 도달합니다.

트리는 실무자가 사전에 지정하지 않아도 비선형 관계와 상호작용을 표현할 수 있습니다. 또한 다양한 특성 유형을 함께 다룰 수 있으며, 거리 기반 방법이나 선형 방법에 비해 스케일링이나 정규화가 덜 필요한 편입니다.

작은 트리는 유한한 규칙 집합을 통해 예측 과정을 추적할 수 있어 비교적 검토하기 쉽지만, 트리가 깊어지고 분기가 많아질수록 해석 가능성은 떨어집니다. 개별 트리는 불안정할 수도 있습니다. 훈련 데이터가 조금만 달라져도 초기 분할이 바뀌어 상당히 다른 구조가 만들어질 수 있습니다. 깊이를 제한하거나, 리프당 더 많은 예제를 요구하거나, 적합된 트리를 프루닝하면 과적합을 줄일 수 있지만, 이러한 제어로 인해 모델이 유용한 복잡성을 표현하지 못할 수도 있습니다.

앙상블 트리 모델

앙상블 방법은 여러 모델을 결합해 개별 모델보다 더 정확하고 안정적인 예측을 제공합니다. 가장 널리 사용되는 트리 기반 접근 방식으로는 랜덤 포레스트와 그래디언트 부스팅이 있습니다.

랜덤 포레스트는 서로 다른 관측값 샘플과 후보 특성의 무작위 부분 집합을 사용해 다수의 의사 결정 트리를 적합시킵니다. 분류의 경우, 포레스트는 다수결 투표를 하거나 예측 클래스 확률을 평균하는 방식으로 트리들의 예측을 결합합니다. 회귀의 경우에는 수치 예측값을 평균합니다. 모든 트리가 동일한 오류를 범하는 것은 아니기 때문에, 집계를 통해 일반적으로 단일 적합 트리에 따르는 분산을 줄일 수 있습니다.

그래디언트 부스팅 트리는 순차적으로 구축됩니다. 각각의 새 트리는 현재 앙상블에 남아 있는 오류를 개선하는 데 집중합니다. XGBoost, LightGBM, CatBoost와 같은 구현체는 각기 다른 최적화와 제어 기능을 더하지만, 모두 랜덤 포레스트의 독립적인 트리 구성 방식이 아닌 부스팅을 사용합니다.

트리 앙상블은 관측값이 행으로, 특성이 컬럼으로 표현되는 구조화된 표 기반 데이터에서 우수한 성능을 보이는 경우가 많습니다. 다만 작은 트리에 비해 모델 아티팩트가 크고, 훈련 및 추론 비용이 추가되며, 직접적인 해석 가능성이 낮다는 트레이드오프가 있습니다. 특성 중요도 측정과 사후 설명 기법으로 모델 동작의 일부를 파악할 수는 있지만, 그렇다고 앙상블이 단순한 규칙 집합이 되는 것은 아닙니다.

서포트 벡터 머신

서포트 벡터 머신(SVM)은 클래스를 구분하는 경계를 학습하면서, 해당 경계와 가장 가까운 훈련 예제 사이의 마진을 극대화합니다. 서포트 벡터라고 불리는 이 인접 예제들이 적합된 결정 경계를 결정합니다.

클래스를 직선이나 평평한 초평면으로 분리할 수 없는 경우, 커널 함수를 사용해 관측값 간 유사성을 바탕으로 비선형 관계를 표현할 수 있습니다. 서포트 벡터 회귀는 유사한 메커니즘을 연속값 예측에 적용합니다.

SVM은 특히 특성이 이미 유용한 표현을 제공하는 경우, 중간 규모의 고차원 데이터에서 우수한 성능을 발휘할 수 있습니다. 희소한 단어 또는 토큰 특성에 기반한 텍스트 분류가 전통적인 예입니다.

훈련 예제 수가 늘어날수록, 특히 비선형 커널을 사용하는 경우 이 방법의 실용성은 떨어집니다. 결과는 특성 스케일링과 함께 커널, 정규화 강도, 커널 파라미터 같은 선택에도 좌우됩니다. 학습된 경계가 짧은 계수 목록이나 결정 경로가 아닌 서포트 벡터를 통해 정의되기 때문에, 개별 예측을 설명하려면 추가 분석이 필요할 수 있습니다.

최근접 이웃 모델

최근접 이웃 방법은 새로운 입력과 가장 유사한 훈련 예제를 기반으로 예측합니다. k-최근접 이웃 분류기는 가장 유사한 훈련 예제를 정해진 수만큼 찾아 이들의 투표에 따라 클래스를 할당합니다. 회귀의 경우에는 이들의 타깃값을 평균할 수 있습니다.

적합 과정에서 파라미터 추정이 비교적 적게 이루어지기 때문에 지연 학습(lazy learning) 방식으로 불리기도 합니다. 대신 모델은 참조 예제를 보관해 두었다가 추론 시점에 대부분의 작업을 수행합니다.

이 방법은 이해하기 쉽고 불규칙한 결정 경계를 표현할 수 있지만, 그 동작은 거리를 어떻게 정의하는지에 따라 달라집니다. 서로 매우 다른 스케일로 측정된 특성은 표준화하지 않으면 유사도를 왜곡할 수 있으며, 무관한 차원 때문에 실제로는 유사한 예제가 멀리 떨어져 있는 것처럼 보일 수 있습니다.

참조 데이터가 늘어날수록 추론 비용도 커질 수 있습니다. 인덱싱과 근사 최근접 이웃 기법을 활용하면 검색 비용을 줄일 수 있지만, 최근접 이웃 모델은 간결한 선형 모델이나 의사 결정 트리와는 다른 스토리지 및 지연 시간 요구 사항을 시스템에 부과합니다.

확률 모델

확률 모델은 확률 분포를 통해 관계를 표현합니다. 단순히 클래스나 수치 추정값만 산출하는 대신, 여러 결과의 확률을 계산하거나 은닉 변수의 불확실성을 표현할 수 있습니다.

나이브 베이즈(Naive Bayes) 분류기는 관측된 특성의 조건부 확률로부터 클래스를 추정하며, 독립성 가정 덕분에 효율적으로 학습할 수 있습니다. 가우시안 혼합 모델(Gaussian Mixture Model)은 데이터를 여러 확률 분포의 조합으로 설명하며, 클러스터링이나 밀도 추정에 자주 사용됩니다. 베이지안 네트워크는 변수 간의 조건부 관계를 표현하고, 은닉 마르코프 모델은 기저 상태를 직접 관측할 수 없는 시퀀스를 표현합니다.

이러한 모델은 불확실성이 부수적인 산출물이 아니라 문제 자체의 핵심 요소일 때 유용합니다. 예를 들어 확률적 예측은 하나의 점 추정치 대신 가능한 수요의 분포를 추정할 수 있습니다.

이러한 가정 덕분에 계산 효율성과 해석 가능성이 높아지지만, 성능은 그 가정이 데이터를 얼마나 합리적으로 설명하느냐에 좌우됩니다. 단순화된 종속 구조는 중요한 관계를 포착하지 못할 수 있고, 표현력이 높은 확률 모델은 추정이 어려워질 수 있습니다.

클러스터링 모델

클러스터링 모델은 알려진 클래스 레이블 없이 유사한 관측치의 그룹을 찾아냅니다. 모든 데이터 세트에 통용되는 단일한 클러스터 정의가 없기 때문에, 방법에 따라 서로 다른 유형의 구조를 탐색합니다.

K-평균(K-means)은 지정된 수의 클러스터에 관측치를 할당하며, 각 클러스터는 학습된 센트로이드(centroid)로 표현됩니다. 이 방식은 센트로이드로부터의 거리가 소속 여부를 의미 있게 나타내고, 클러스터의 형태와 규모가 대체로 유사할 때 가장 효과적입니다.

계층적 클러스터링은 그룹을 반복적으로 결합하거나 분할하여 중첩 구조를 만듭니다. 실무자는 처음부터 하나의 평면적인 그룹화에 얽매이지 않고 이 계층 구조를 다양한 수준에서 살펴볼 수 있습니다.

DBSCAN을 비롯한 밀도 기반 방법은 관측치가 밀집된 영역을 식별하고, 고립된 포인트를 노이즈로 표시할 수 있습니다. 덕분에 센트로이드 기반 방법이 놓칠 수 있는 클러스터 형태를 찾아낼 수 있지만, 결과는 밀도 임계값 설정에 따라 달라집니다.

클러스터 자체가 비즈니스적 의미를 갖는 것은 아닙니다. 모델 적합 후에는 각 그룹에 연관된 특성과 예시를 검토하고, 패턴이 안정적인지 검증하며, 그 결과가 의도한 분석이나 워크플로우에 부합하는지 판단해야 합니다.

차원 축소 모델

차원 축소는 데이터 구조의 특정 측면을 보존하면서 더 적은 수의 변수로 데이터를 표현합니다. 이렇게 얻은 표현은 시각화, 노이즈 제거, 압축 또는 다운스트림 모델 학습에 활용할 수 있습니다.

주성분 분석(PCA)은 입력의 변동을 점차 작은 규모로 포착해 나가는 새로운 축을 학습합니다. 각 성분이 원래 특성의 가중 조합이기 때문에, PCA는 상관관계가 있는 측정값을 더 작은 특성 공간으로 압축할 수 있습니다.

다른 방법들은 각기 다른 속성을 보존합니다. 시각화를 위해 로컬 이웃 구조를 강조하는 방법이 있는가 하면, 오토인코더는 신경망을 사용해 입력을 저차원 표현으로 압축한 뒤 복원합니다.

특성 수를 줄이면 스토리지와 계산 비용을 낮추거나 노이즈를 제거할 수 있지만, 그 과정에서 정보가 손실될 수도 있습니다. 학습된 성분은 원래 변수보다 설명하기 어려울 수 있으며, 전체 분산을 보존하는 표현이 예측 작업에 가장 중요한 차이까지 보존한다는 보장은 없습니다.

신경망

신경망은 학습된 가중치와 비선형 함수를 통해 입력을 변환하는 레이어들로 구성됩니다. 학습 과정에서 네트워크는 출력을 생성하고 손실을 계산한 뒤, 옵티마이저가 파라미터를 업데이트할 수 있도록 그래디언트를 역방향으로 전파합니다.

아키텍처마다 서로 다른 데이터에 적합한 구조를 갖추고 있으며, 주요 유형은 다음과 같습니다.

• 피드포워드 네트워크는 일련의 레이어를 통해 정보를 전달하며, 일반적인 분류 및 회귀 작업을 지원합니다.
• 합성곱 신경망은 공간적 입력 전반에 학습된 필터를 적용하며, 주로 이미지 처리에 사용됩니다.
• 순환 신경망은 시퀀스 전반에 걸쳐 상태를 유지하지만, 과거 순환 아키텍처가 담당하던 많은 작업을 이제는 트랜스포머가 처리하고 있습니다.
• 트랜스포머는 어텐션 메커니즘을 사용해 시퀀스 또는 기타 토큰화된 표현 내 요소 간의 관계를 모델링합니다.
• 오토인코더는 입력을 복원하는 과정을 통해 압축된 표현을 학습합니다.
• 그래프 신경망은 연결된 노드 간에 정보를 교환하여 관계형 구조를 모델링합니다.

신경망은 복잡한 함수를 학습할 수 있으며, 충분한 데이터가 있으면 이미지, 오디오, 텍스트를 비롯한 고차원 입력에서 유용한 표현을 도출할 수 있습니다. 다만 이러한 유연성에는 더 많은 데이터와 컴퓨팅 요구 사항, 더 광범위한 튜닝이 뒤따르며, 단순한 모델에 비해 직접적인 해석 가능성도 떨어지는 경우가 많습니다.

아키텍처만으로 품질이 결정되는 것은 아닙니다. 데이터 구성, 목적 함수 설계, 최적화, 정규화, 평가가 모두 신경망이 학습 예시를 넘어 일반화되는지 여부에 영향을 미칩니다.

시계열 모델

시계열 모델은 관측치가 발생하는 순서를 고려합니다. 예측 시스템은 추세, 반복되는 계절성 패턴, 지연 효과, 시간에 따라 변하는 외부 변수를 표현해야 할 수 있습니다.

자기회귀 누적 이동평균(ARIMA)과 같은 통계 모델은 과거 값과 잔차 패턴을 활용해 미래 관측치를 추정합니다. 지수 평활법은 수준, 추세, 계절성 같은 구성 요소를 모델링합니다. 트리 앙상블은 엔지니어링된 시차(lag) 및 롤링 윈도우 특성을 활용할 수 있고, 순환 신경망과 트랜스포머는 시퀀스로부터 시간적 표현을 학습할 수 있습니다.

시계열 모델 선택은 결국 정확도, 해석 가능성, 계산 비용 간의 균형을 맞추는 문제로 귀결되는 경우가 많습니다. Schmaus는 다음과 같이 설명합니다. “ARIMA와 지수 평활법 같은 고전적 방법은 학습이 빠르고 매우 효율적이며 해석하기 쉬운 반면, 신경망 기반 방법은 정확도를 높일 수 있고 외생 입력과 비선형성을 반영할 수 있지만 학습 및 추론 효율성이 낮아지는 대가가 따릅니다.”

평가 역시 시간적 순서를 보존해야 합니다. 무작위 학습-테스트 분할은 미래 정보를 학습 과정에 유출시켜 비현실적으로 유리한 결과를 만들어낼 수 있습니다. 대신 실무자들은 실제 예측이 생성되는 방식과 더 유사한 시간 기반 홀드아웃이나 롤링 평가 윈도우를 사용합니다.

파운데이션 모델

파운데이션 모델은 일반적으로 상당한 규모의 광범위한 데이터로 학습되며, 다양한 다운스트림 작업에 맞게 적응할 수 있도록 설계됩니다. 이 카테고리에는 LLM은 물론 이미지, 오디오, 생물학적 시퀀스 등 다양한 모달리티를 위해 학습된 모델이 포함됩니다.

대부분의 파운데이션 모델은 신경망과 자기 지도(self-supervised) 사전 학습을 사용합니다. 예시마다 사람이 직접 작성한 레이블을 별도로 수집하는 대신, 누락된 토큰을 예측하거나 관련된 이미지와 텍스트 표현을 정렬하는 등 데이터 자체에서 학습 목표를 도출하는 프로세스를 거칩니다.

사전 학습이 끝나면 프롬프팅, 검색, 파인튜닝 또는 추가적인 작업별 레이어를 통해 모델을 적응시킬 수 있습니다. 이러한 재사용성이 하나의 한정된 예측 작업만을 위해 학습된 모델과의 차이점입니다.

대표적인 예로 GPT, Claude, Llama, Mistral 같은 LLM과 Gemini, Qwen2.5-VL 같은 멀티 모달 모델이 있습니다. 이 카테고리에는 Stable Diffusion, FLUX 같은 이미지 생성 모델, Whisper 같은 음성 모델, ESM 같은 생물학 파운데이션 모델도 포함됩니다. 이러한 모델들은 지원하는 작업은 크게 다르지만, 광범위한 사전 학습 후 프롬프팅, 검색, 파인튜닝 또는 추가 학습을 통해 다운스트림 애플리케이션에 적응한다는 공통점을 갖습니다.

모델 선택은 경험적 프로세스입니다. 모델 계열마다 데이터에 대해 서로 다른 가정을 하고 서로 다른 트레이드오프를 수반하기 때문에, 실무자들은 일반적으로 여러 후보를 비교한 뒤 작업과 운영 요구 사항에 가장 적합한 모델을 선택합니다.

작업 및 평가 기준 정의

먼저 출력이 클래스, 수치, 순위, 클러스터, 예측값, 생성 결과 중 무엇인지 판단합니다. 그다음 그 출력이 어떻게 사용될지 파악합니다.

예를 들어 의료 선별 검사 시스템에서 양성 사례를 놓치는 것은 추가 사례를 검토에 회부하는 것과는 전혀 다른 비용을 초래합니다. 수요 예측에서는 같은 크기라도 과소 추정이 과대 추정보다 더 큰 손실로 이어질 수 있습니다. 평가 지표는 해당 작업의 관례를 따르는 데 그치지 않고 이러한 결과의 파급 효과를 반영해야 합니다.

사용 가능한 데이터 검토

샘플 크기, 특성 유형, 희소성, 레이블 품질, 시간적 구조에 따라 실질적인 후보군이 좁혀집니다.

트리 앙상블은 다양한 특성 관계가 혼재된 정형 데이터에서 강력한 베이스라인을 제공하는 경우가 많습니다. 선형 모델은 관계가 대체로 선형이거나 투명성이 중요한 경우에 효과적입니다. SVM은 중간 규모의 고차원 데이터에 적합할 수 있으며, 신경망은 대량의 비정형 데이터나 고차원 데이터를 확보한 경우에 주로 고려됩니다.

다만 이는 선택 규칙이 아니라 출발점일 뿐입니다. 176개의 표 기반 데이터 세트를 대상으로 한 벤치마크에서는 신경망과 그래디언트 부스팅 트리의 상대적 성능이 특성 분포 같은 요인에 따라 달라졌으며, 때로는 두 계열 간의 선택보다 적절한 수준의 튜닝이 더 중요한 것으로 나타났습니다.

운영 제약 조건의 조기 설정

오프라인 지표에서 가장 좋은 성과를 내는 모델이라도 프로덕션 환경에는 적합하지 않을 수 있습니다. 팀은 다음과 같은 요소를 제한해야 할 수 있습니다.

• 학습 시간 및 인프라 비용
• 추론 지연 시간
• 메모리 및 모델 크기
• 재학습 빈도 및 비용
• 하드웨어 종속성
• 설명 요구 사항
• 예측 요청의 볼륨 및 패턴

운영상의 트레이드오프에 따라 더 나은 모델이 달라지는 경우가 많습니다. 최근접 이웃 모델은 학습에 드는 비용은 적지만 그만큼 비용이 추론 단계로 옮겨가고, 앙상블은 지연 시간과 메모리를 대가로 예측 성능을 높일 수 있습니다. 따라서 더 복잡한 후보가 다소 높은 점수를 내더라도, 더 단순한 선형 모델이 감사, 배포, 재학습 측면에서 더 용이할 수 있습니다.

단순한 베이스라인 수립

베이스라인은 추가적인 복잡성이 의미 있는 개선으로 이어지는지 보여줍니다. 회귀의 경우 과거 평균을 예측하는 것에서 시작해 선형 모델을 적합하는 방식으로 진행할 수 있습니다. 분류의 경우, 앙상블이나 신경망을 추가하기 전에 다수 클래스 규칙, 로지스틱 회귀, 얕은 의사 결정 트리를 먼저 비교해 볼 수 있습니다.

베이스라인은 파이프라인을 검증하는 역할도 합니다. 예상외로 좋은 결과는 데이터 누수를 드러낼 수 있고, 예상외로 저조한 결과는 레이블, 조인, 피처 구성 또는 평가 과정의 문제를 노출할 수 있습니다.

일관된 조건에서 모델 비교

후보 모델은 동일한 데이터 분할과 평가 절차를 사용해야 합니다. 초매개변수 튜닝은 최종 테스트 세트를 참조하지 않고 이루어져야 합니다. 테스트 성능을 기준으로 반복해서 의사 결정을 내리면 테스트 세트가 또 다른 학습 피드백의 원천이 되기 때문입니다.

교차 검증을 활용하면 데이터의 여러 하위 집합에서 성능이 어떻게 달라지는지 추정할 수 있으며, 특히 가용 샘플이 제한적일 때 유용합니다. 시간 의존적인 데이터에는 시간 순서를 유지하는 분할이 필요합니다.

모델 비교에는 변동성도 함께 고려해야 합니다. 폴드, 시드, 시간 윈도우에 따라 결과가 크게 달라진다면 평균 점수가 약간 높다는 것만으로는 의미가 없을 수 있습니다.

과소적합과 과적합의 균형

과소적합된 모델은 제약이 지나쳐 중요한 관계를 포착하지 못합니다. 과적합된 모델은 학습 샘플에만 존재하는 패턴을 학습해 새로운 데이터에서는 신뢰도가 떨어집니다.

이는 흔히 편향-분산 트레이드오프로 설명됩니다. 편향이 높은 추정기는 체계적으로 단순화하는 경향이 있는 반면, 분산이 높은 추정기는 학습 세트의 변화에 민감하게 반응합니다. 모델 계열, 초매개변수, 정규화, 학습 데이터 볼륨 모두 이 균형에 영향을 미칩니다.

목표는 가장 유연한 모델을 선택하는 것이 아니라, 노이즈에 적합되거나 이득으로 정당화할 수 없는 운영 비용을 초래하지 않으면서 유용한 신호를 표현할 수 있을 만큼의 유연성을 확보하는 것입니다.

예상되는 프로덕션 조건에서 테스트

배포 전 평가에는 누락된 필드, 새로운 범주, 지연된 피처, 비정상적인 요청량, 입력 분포의 변화 등 모델이 실제로 마주할 가능성이 높은 조건을 포함해야 합니다.

서빙 경로 역시 테스트가 필요합니다. 학습 시 적용한 전처리는 추론 시에도 동일하게 재현되어야 하고, 피처 정의는 일관되게 유지되어야 하며, 지연 시간은 모델 연산만이 아니라 전체 요청 경로에 걸쳐 측정해야 합니다.

출시 이후에도 모델 선택은 잠정적인 결정으로 남습니다. 모델이 프로덕션 데이터에 노출되면, 모니터링을 통해 입력, 예측, 결과가 평가 당시의 조건과 여전히 유사한지 확인할 수 있습니다.

머신러닝 모델은 학습 데이터의 패턴을 인코딩할 뿐, 그 패턴이 완전한지, 인과적인지, 해당 의사 결정에 적합한지를 스스로 판단하지 않습니다.

불완전한 표현

학습 데이터는 기존 시스템과 프로세스가 만들어낸 과거 관측치의 샘플입니다. 따라서 관련 모집단, 드문 조건, 기록되지 않은 변수가 누락되어 있을 수 있습니다. 이런 샘플로 학습한 모델은 홀드아웃 하위 집합에서는 좋은 성능을 보이더라도, 소스 데이터가 거의 반영하지 못한 환경에서는 신뢰하기 어려울 수 있습니다.

과적합과 분포 변화

신중하게 평가한 모델이라도 학습 데이터와 다른 프로덕션 데이터를 마주할 수 있습니다. 고객 행동이 변하고, 센서가 교체되고, 업스트림 정의가 수정되고, 신제품이 등장하면서 피처 분포가 달라집니다. 어떤 변화는 전체 성능을 떨어뜨리는 반면, 어떤 변화는 특정 집단이나 운영 조건에만 영향을 미칩니다. 이 때문에 전체 수준의 모니터링만으로는 국지적인 성능 저하를 놓칠 수 있습니다.

데이터와 레이블의 편향

과거의 레이블에는 이전 의사 결정이 내려지고 측정된 방식이 반영되어 있습니다. 일부 집단이 더 적은 기회, 덜 완전한 후속 조치, 다른 검토 기준을 적용받았다면 그 차이가 레이블에 그대로 인코딩될 수 있습니다.

데이터 편향은 샘플링, 결측값, 프록시 변수, 최적화 대상의 선택을 통해서도 유입될 수 있습니다. 이를 완화하려면 데이터가 어떻게 생성되었는지 살펴보고, 관련 집단별로 결과를 평가하며, 모델의 출력이 이후 데이터 수집에 어떤 영향을 미치는지 검토해야 합니다.

제한적인 해석 가능성

모델마다 내부 작동 방식을 들여다보기 쉬운 정도가 다릅니다. 선형 계수와 소규모 의사 결정 트리는 비교적 직접적인 표현을 제공하는 반면, 대규모 앙상블과 신경망은 예측을 상호작용하는 수많은 구성 요소에 분산시킵니다.

사후 설명 기법으로 피처의 영향력을 추정하거나 로컬 동작을 특성화할 수 있지만, 이러한 설명에도 나름의 가정과 한계가 있습니다. 요구되는 해석 가능성 수준은 의사 결정의 성격, 대상, 적용되는 거버넌스 요건에 따라 달라집니다.

인과관계 없는 상관관계

예측 모델은 그 관계를 만들어낸 메커니즘을 규명하지 않은 채, 추정치를 개선해 주는 상관관계를 활용하는 경우가 많습니다. 어떤 피처가 높은 예측력을 보이는 것은 다른 변수의 프록시 역할을 하기 때문이거나, 과거의 비즈니스 프로세스가 그 관계를 만들어냈기 때문일 수 있습니다.

일부 예측 작업에는 이 정도로 충분하지만, 어떤 개입이 결과를 바꿀 수 있는지 알고자 하는 조직에게는 부족합니다. 인과관계에 대한 질문에 답하려면 표준적인 예측 모델링을 넘어서는 연구 설계와 가정이 필요합니다.

유지 보수 비용

모델은 데이터 파이프라인, 피처 로직, 서빙 인프라, 비즈니스 정의와 연결되어 있습니다. 이 구성 요소 중 어느 하나라도 변경되면 모델의 동작에 영향을 미칠 수 있습니다. 팀은 학습 컨텍스트를 보존하고, 모델 아티팩트의 버전을 관리하고, 프로덕션 동작을 모니터링하며, 언제 모델을 조사하고 재학습하거나 폐기할지 판단해야 합니다. 소유자, 종속성, 갱신 주기가 서로 다른 여러 모델을 유지하는 조직이라면 운영 부담은 더욱 커집니다.

모델 개발에는 데이터 준비, 실험, 컴퓨팅, 버전 관리, 추론이 필요합니다. 이러한 단계가 서로 단절된 환경에 흩어져 있으면, 팀은 데이터 세트와 피처 로직을 다시 만들고, 시스템 간에 아티팩트를 옮기고, 특정 모델 버전이 어떤 입력에서 만들어졌는지 재구성해야 합니다.

Snowflake ML은 거버넌스가 적용된 엔터프라이즈 데이터와 함께 이 모든 단계를 지원합니다. 실무자는 Snowflake의 기능을 통해 피처를 준비하고, 모델을 학습하고, 실험을 비교하고, 모델 버전을 등록하고, 추론을 실행하고, 프로덕션 동작을 모니터링할 수 있습니다.

Snowpark는 Python, Java, Scala로 Snowflake의 데이터를 쿼리하고 처리할 수 있는 DataFrame API를 제공합니다. Python 머신러닝 워크플로우에서는 전체 학습 세트를 별도의 처리 시스템으로 먼저 내보내지 않고도 변환을 구성하고 Snowflake 데이터를 다룰 수 있습니다.

특수 라이브러리나 CPU, GPU가 필요한 워크로드의 경우, Snowflake Container Runtime이 실험, 모델 학습, 초매개변수 튜닝, 배치 추론을 위한 사전 구성된 사용자 지정 가능 환경을 제공합니다. 환경은 버전으로 관리되므로 팀은 워크로드를 특정 런타임에 고정하고 이후 버전으로의 마이그레이션을 계획할 수 있습니다.

학습이 완료된 모델은 메타데이터 및 버전과 함께 Snowflake Model Registry에 기록할 수 있습니다. 레지스트리는 scikit-learn, XGBoost, LightGBM, CatBoost, PyTorch, TensorFlow, Keras, MLflow 모델, Hugging Face 파이프라인 등 일반적인 모델 유형을 지원하며, CustomModel 인터페이스를 통해 사용자 지정 모델 유형도 지원합니다.

등록된 모델은 Snowflake 가상 웨어하우스에서 배치 추론을 실행할 수 있으며, 다른 컴퓨팅 특성이 필요한 워크로드에는 Snowpark Container Services를 사용할 수 있습니다. 또한 Snowflake는 인터랙티브하고 지연 시간이 짧은 애플리케이션을 위해 전용 HTTP 엔드포인트를 갖춘 관리형 실시간 추론 서비스도 지원합니다.

모델 버전과 메타데이터를 거버넌스가 적용된 환경 안에 유지하면 어떤 모델이 예측을 제공하고 있는지도 더 명확하게 기록할 수 있습니다. 액세스 제어를 통해 누가 모델을 관리하거나 호출할 수 있는지 정할 수 있으며, 저장된 지표와 메타데이터는 모델 비교와 수명 주기 관리를 지원합니다. 모델은 여전히 프로덕션 시스템의 한 부분이지만, 이 구성 요소들이 공유 플랫폼에서 함께 작동하면 데이터, 컴퓨팅, 거버넌스와의 관계를 훨씬 쉽게 유지할 수 있습니다.

머신러닝 모델은 관계를 표현하는 방식, 잘 맞는 데이터 유형, 수반되는 트레이드오프가 저마다 다릅니다. 이러한 다양성은 엔터프라이즈 머신러닝이 실제로 발전해 가는 방식의 일부입니다. 조직에는 다양한 모델 계열을 평가하고, 각 작업에 맞는 모델을 선택하며, 데이터와 요구 사항, 사용 가능한 기법이 변화함에 따라 진화할 수 있는 포트폴리오를 지원할 유연성이 필요합니다.