Snowflake Internal Marketplace를 통해 AI 지원 데이터 제품을 제공하는 바람직한 방법

이제는 AI 실험 단계에서 측정 가능한 성과를 내놓는 단계로 나아가야 한다는 압박이 커지고 있습니다. 경영진과 이사회의 높아진 기대치에 따라 관련 부서들은 AI의 ROI와 효과(효율성 향상, 의사 결정 고도화, 제품 개발 혁신 등)를 입증하도록 요구받고 있습니다. 그런데 AI 전략은 접근성, 컨텍스트, 신뢰도가 뛰어난 데이터라는 기반 없이는 큰 효과를 기대하기 어렵습니다. 안타깝게도 이러한 고품질 데이터 기반 조성에 대한 인식과 리더십의 부족으로 인해 정교한 AI 전략조차 실패하는 경우가 비일비재한 실정입니다.

AI 지원 기반 구축의 난점 및 데이터 제품의 중요성  

성공적인 AI 혁신은 ML 모델 훈련, 알고리즘 및 컴퓨팅 성능만으로는 부족합니다. 성공 여부를 좌우하는 것은 데이터입니다. 가공 전 데이터를 말하는 게 아닙니다. AI와 사업 부서들의 액세스 및 공유가 용이하도록 고도로 큐레이팅되고 컨텍스트가 풍부한 데이터 제품을 말합니다. 다음은 데이터 제품을 공유하는 기존 방식의 대표적인 문제점입니다.

• 부서별로 사일로화된 데이터
• 신뢰할 수 있는 데이터 세트를 찾는 데 드는 노력의 중복과 시간 낭비
• 중앙 데이터 팀으로 집중되는 로드로 인한 액세스 병목 현상
• 불명확한 데이터 책임 소재와 불확실한 완전성 및 신뢰성

다시 말하지만 가공 전 데이터는 별 소용이 없습니다. AI는 팀들이 믿고 쓸 수 있는 큐레이팅되고 컨텍스트화된 고품질 고신뢰도 데이터를 요구합니다.

그래서 데이터 제품이 중요한 것입니다. 데이터 제품은 단순한 데이터 세트가 아니라 메타데이터, 시맨틱 모델 및 비즈니스 친화적 정의를 활용한 큐레이션으로 다듬어진 컬렉션입니다. 일관되고 신뢰할 수 있는 데이터 소스는 이니셔티브 간 정합성 향상, 효과적인 모델 훈련, 사업 전반적 AI 효과 제고에 핵심적 역할을 합니다.

Snowflake Internal Marketplace를 활용한 데이터 제품 구축 및 제공 

Snowflake Internal Marketplace는 조직 내부에서 신뢰할 수 있는 데이터 제품을 탐색, 공유 및 사용할 수 있도록 중앙 집중식의 안전한 허브를 제공합니다. 기존의 분산된 공유 방식과 달리 Internal Marketplace는 다음과 같은 이점을 제공합니다.

• 전사적 데이터 탐색의 용이성 및 데이터 재사용 활성화

• 중복 작업 감소 및 AI 지원 가속화

• 임시적 가공 전 데이터의 공유에 의존하던 방식에서 탈피하여 신뢰성 및 사용성이 높은 인증된 데이터 제품이 주축이 된 전략적 접근 방식으로 전환

• 데이터 덤프 대신 신뢰할 수 있는 내부 카탈로그 생성

무엇보다 중요한 것은 Internal Marketplace가 데이터 공유 및 데이터 제품 목록 같은 Snowflake의 네이티브 기능을 활용하여 전체 클라우드와 리전에 걸쳐 AI 지원 데이터를 안심하고 구축, 공유 및 사용하도록 지원한다는 점입니다. 또한 Internal Marketplace가 기반으로 삼는 Snowflake Horizon Catalog는 탐색 및 협업 기능뿐만 아니라 거버넌스 및 보안 솔루션도 제공합니다. Horizon Catalog는 Internal Marketplace에서 제공되는 신뢰할 수 있고 큐레이팅된 데이터 제품을 지원할 뿐만 아니라 AI 사용 사례 구축에 필요한 데이터 거버넌스 및 액세스를 지원하는 제반 피처를 제공합니다. 

Snowflake Internal Marketplace를 활용하는 바람직한 방법

데이터 제품 중심 전략의 채택이 늘어나면서 Internal Marketplace의 강점에 대한 관심이 커지고 있는 가운데, 유념해야 할 사실은 모범 사례와 방안을 기반으로 삼되 때로는 맞춤형 구성을 적용할 필요도 있다는 점입니다. 

Snowflake는 각 데이터 도메인이 자체 데이터 제품의 책임자로서 책임감과 전문성을 키우는 것을 장려합니다. 제품 목록 설정 및 역할 정의에서 데이터 세트 활용 및 채택 촉진에 이르기까지 Internal Marketplace의 세부 사항은 고유한 아키텍처 환경과 조직 구조에 맞춰 조정이 필요할 수 있습니다. 

우리는 이 점을 염두에 두고 아홉 가지 지침을 마련했습니다. 이 권장 사항의 목적은 특히 AI 이니셔티브 추진과 관련하여 Snowflake Internal Marketplace를 통해 데이터 제품의 가치를 극대화하기 위한 기본 및 핵심 고려 사항을 제공하는 것입니다.

1. 비즈니스 성과와 데이터 제품 전략 연계하기

중요한 이유: 데이터 제품의 가치를 극대화하려면 비즈니스 우선순위가 가장 높은 항목들(수익 증대, 고객 획득, 제품 채택, 운영 효율성 등)과 직접 연관된 영역에서부터 시작하는 게 좋습니다. 이러한 연계가 없으면 실질적 성과를 만들어내지 못하고 따로 노는 데이터 자산을 구축할 위험이 있습니다. 비즈니스 연계형 접근 방식은 데이터 제품 관련 노력의 집중성, 측정 가능성 및 확장성을 보장하는 데에도 도움이 됩니다. 처음부터 한꺼번에 다 할 필요는 없습니다. 데이터 제품의 지원이 긴요한 구체적 사용 사례를 선택해서 우선적으로 구축하는 식으로 차근차근 확대해 나가면 됩니다. 

수행 방법: 먼저 우선순위가 높은 비즈니스 이니셔티브 3~5개를 매핑합니다. 하나로 시작해도 괜찮습니다. 각각에 대해 성공적인 성과를 거두는 데 필요한 데이터 세트 또는 인사이트를 파악한 다음, 이러한 결과를 실현하는 데 필요한 데이터 제품을 목록화하세요. 지원 대상 이니셔티브들의 여러 사용 사례에서 공통적으로 필요한 기본 데이터 제품이 있는지 살펴보세요. 이러한 공용 데이터 제품부터 구축해 나감으로써 시작부터 파급력이 크고 재사용성이 높은 사용 사례를 지원하게 됩니다.

2. Internal Marketplace의 조직 목록을 활용하여 큐레이팅된 데이터 제품 구축하기

중요한 이유: 분산된 가공 전 데이터 세트는 데이터 소비자가 원하는 정보를 제대로 제공하지 못하고, AI 및 분석 이니셔티브에 위험을 초래합니다. 큐레이팅된 데이터 제품은 복잡성 감소 및 정의 표준화를 통하여 비즈니스 요구 사항에 맞고 즉시 사용할 수 있는 고신뢰도 리소스의 제공에 기여합니다. 

수행 방법: 조직 목록을 활용하여 신뢰할 수 있는 AI 지원 데이터 제품을 패키징하고 안전하게 공유할 수 있습니다. Snowsight 인터페이스를 통해 목록을 생성하고, 액세스 권한 및 탐색 파라미터를 설정하면 데이터를 쉽게 찾고 사용할 수 있습니다. 즉시 사용이 가능하도록 큐레이팅되고 거버넌스가 적용된 고품질 데이터 세트를 제공하는 목록을 통해 고객 세분화, 모델 훈련, 수익 예측 등 다양한 사용 사례를 지원할 수 있습니다.

3. 제대로 된 AI 지원을 위해 시맨틱 모델 통합하기

중요한 이유: 구조와 컨텍스트는 AI가 안정적으로 데이터를 사용하고 인사이트를 생성하는 데 필수적입니다. 바로 그 기반을 제공하는 데 쓰이는 시맨틱 모델은 기계 판독이 가능한 비즈니스 정의, 관계, 용어로 데이터 제품의 목적에 맞도록 완성도를 높이는 역할을 합니다. 시맨틱 모델이 없다면 가공 전 데이터의 일관성 없는 해석으로 인해 AI 모델의 정확성과 확장성이 훼손될 수 있습니다.

수행 방법: 데이터 제품 구축에 착수할 때부터 탄탄한 시맨틱 계층을 갖추도록 설계해야 합니다. Snowflake의 시맨틱 뷰 기능은 시맨틱 정의를 조직 어디에나 확장 적용하는 데 도움이 됩니다. 이를 통해 데이터 제품의 탐색성, 컨텍스트 및 AI 지원 최적화를 보장하면 데이터의 모호함을 줄이고 품질을 향상시켜 AI 모델 개발 속도를 높일 수 있습니다.

4. Internal Marketplace의 조직 프로필로 도메인을 밝혀 신뢰 구축하기

중요한 이유: 대기업에서는 수많은 팀이 데이터를 게시하고 사용합니다. 책임 소재가 불명확한 데이터는 품질 신뢰도와 사용도가 떨어지기 마련입니다. 데이터 공급자 프로필(조직 프로필)은 구조와 투명성을 제공하는데, 이를 통해 데이터 소비자가 데이터의 출처와 유지 관리 책임자를 정확하게 파악할 수 있습니다.

수행 방법: Internal Marketplace에서 영업, 마케팅, 제품 등의 비즈니스 단위와 연결된 조직 프로필을 생성해서 데이터 사용자가 비즈니스 도메인을 파악하고, 믿고 쓸 수 있도록 하세요. 이러한 프로필은 Snowflake의 Uniform Listing Locator의 핵심 요소이며, 조직 목록을 마운트하지 않고도 게시, 탐색 및 쿼리할 수 있도록 해줍니다. 프로필은 신뢰 구축, 탐색 간소화, 책임 소재 명확화에 기여합니다. 다시 말해, 신뢰할 수 있는 데이터 제품을 더 쉽게 찾고 사용할 수 있도록 지원합니다.

5. 보안과 거버넌스가 적용된 액세스 워크플로우 구현하기

중요한 이유: 모든 데이터가 모든 사람에게 액세스를 제공해야 하는 것은 아닙니다. 광범위한 데이터 탐색 가능성과 엄격한 거버넌스 사이의 균형을 맞추는 것은 규정 준수 및 조직의 신뢰 유지에 매우 중요합니다. 적절한 액세스 워크플로우는 데이터를 안전하게 민주화합니다. 무단 사용은 방지하면서 승인된 사용자는 필요한 것을 쉽게 찾고 요청할 수 있다는 말입니다.

수행 방법: ‘탐색 가능, 액세스 불가’(DNA) 같은 기능을 사용하여 데이터 액세스를 정밀하게 제어할 수 있습니다. DNA가 적용된 경우 특정 사용자만 즉각적인 액세스 없이 데이터 제품을 탐색할 수 있습니다. 이는 가용 데이터 세트의 존재를 확인시켜 주면서 보안도 유지하는 효과적인 방법입니다. 실제 데이터 사용을 위해서는 액세스 요청 워크플로우로 전체 프로세스를 간소화할 수 있습니다. 이 워크플로우는 데이터 탐색 권한자 및 액세스 요청 승인자를 지정하고, 검토 및 이행을 자동화합니다. 민감 데이터를 보호하면서 승인된 사용자에게는 가치 있는 AI 기반 데이터 제품에 대한 편리하고 안전한 액세스를 제공합니다.

6. 즉시 사용이 가능하도록 데이터 제품 설계하기

중요한 이유: 데이터 소비자들은 모델, 파이프라인, 기타 프로그램에 바로 통합할 수 있도록 구조화되어 즉시 사용 가능한 데이터 제품을 요구합니다. 골치 아픈 수작업이나 전면 재작업을 하고 싶은 사람은 없을 것입니다. 셀프서비스 방식의 AI 지원 데이터 제품을 구축하면 사업 부서들이 인사이트 도출 시간을 단축하고, 가치 창출에 집중하며, 신속히 사업을 진행할 수 있습니다.

수행 방법: 데이터 분석 팀은 데이터 소비자(마케팅, 영업, 제품 팀 등)와의 긴밀한 소통을 통해 데이터 요구 사항(테이블, 스키마 형식, 보강 요구 사항 등)을 분명하게 파악해야 합니다. 이러한 요구 사항을 염두에 두고 데이터 제품을 모델 훈련, 마케팅 프로그램, 수익 모델링, 실시간 AI 워크플로우 등의 사용 목적에 맞도록 적절한 형식과 시맨틱 정렬을 적용하여 즉시 사용 가능하게 패키징해야 합니다. 데이터 제품 생성 과정에 사용자 정의 함수(UDF)를 활용하여 일관된 비즈니스 로직을 적용하거나 가공 전 데이터를 보강하는 것도 좋은 방법입니다. UDF를 사용하면 목록 내에 재사용 가능한 변환을 임베딩하여 수작업을 줄이고 표준화를 개선하며 일관된 액세스를 보장할 수 있습니다.  

7. 데이터 제품에 대한 내부 인지도 및 채택률 높이기

중요한 이유: 아무리 세계 최고의 데이터 제품이라도 조직 내에서 존재 여부나 사용 방법을 모른다면 아무 가치가 없을 것입니다. 내부 채택은 데이터 제품의 ROI를 극대화하는 데 매우 중요합니다. 인지도 제고는 재사용을 촉진하고, 중복을 줄이며, AI 프로젝트의 일정을 단축합니다.

수행 방법: Internal Marketplace에서 제공되는 데이터 제품을 홍보하기 위한 내부 활성화 전략을 다음과 같이 실행할 수 있을 것입니다.

• 사내 메신저, 이메일 뉴스레터 또는 인트라넷 사이트를 통해 새로운 데이터 제품 발표

• 데이터 자산 소개를 위한 대화형 워크숍, 데모 또는 마켓플레이스 로드쇼 개최

• AI 모델 훈련, Customer 360 이니셔티브, 수익 예측 등에 데이터 제품을 활용하는 성공 사례 게시

팀들의 참여도가 높아질수록 데이터 제품 전파자도 늘어나고, 조직은 신뢰할 수 있는 데이터와 AI 기반 성과를 더 빠르게 확대할 수 있습니다.

8. 데이터 유지 관리 전략 수립하기

중요한 이유: 오래되거나 품질이 낮은 데이터 제품은 데이터의 신뢰도와 AI의 효과를 모두 떨어뜨립니다. 지속적인 유지 관리를 통해 데이터 제품이 변화하는 비즈니스 및 AI의 요구 사항에 부합하는 최신성과 관련성을 유지하도록 보장해야 합니다.

수행 방법: 다음과 같이 유지 관리 책임에 관한 명확한 프로세스를 확립해야 합니다.

• 각 제품을 관리할 데이터 제품 책임자 및 데이터 담당자 지정

• 새로 고침 일정, 품질 모니터링 및 버전 관리 정책 설정

• 오래되거나 사용되지 않는 제품을 안전하게 폐기하기 위한 사용 중단 프로세스 확립

공식적인 유지 관리 전략은 데이터 제품의 신뢰성 유지와 위험 감소, 그리고 고품질 AI 지원 데이터에 대한 일관된 액세스 보장에 꼭 필요합니다.

9. 공급 확대를 위해 데이터 제품 생성 자동화하기

중요한 이유: 조직이 성장할수록 목록을 수동으로 생성하고 업데이트하면서 조직의 성장 속도를 따라가기가 벅차집니다. 자동화는 데이터 수요 증가에 대응하여 빠르고 일관성 있는 확장이 가능하도록 지원합니다.

수행 방법: Snowflake Programmatic Listing API를 사용하면 SQL 및 YAML 매니페스트를 통해 조직 목록을 생성, 업데이트 및 관리할 수 있습니다. 이렇게 하면 모든 부서와 리전에 신규 데이터 제품을 신속하게 배포할 수 있으며, 목록의 일관성, 거버넌스 및 AI 적합성도 유지할 수 있습니다. 또한 목록 자동 이행 기능과 함께 사용하면 운영 효율성과 AI 이니셔티브를 모두 지원하는 확장 가능한 글로벌 데이터 제품 생태계의 유지 관리에 큰 도움이 됩니다.

AI 이니셔티브의 추진 연료는 신뢰성과 탐색성이 높은 데이터 제품 

AI는 기업의 운영 방식을 혁신하고 있습니다. 성공적인 AI 이니셔티브의 핵심은 쉽게 액세스할 수 있고 신뢰할 수 있도록 큐레이팅된 데이터입니다.

Snowflake Internal Marketplace를 통해 데이터 제품을 구축하는 것은 AI 전략의 다음 단계 도약을 위한 준비입니다. 이는 AI 성공의 기반일 뿐만 아니라 조직 내 팀들이 AI 지원 데이터 제품을 안심하고 탐색, 공유 및 사용할 수 있도록 지원합니다. 이 블로그 포스트에 소개된 아홉 가지 권장 지침을 따르면 조직 내 데이터 사일로를 허물고, 중복 작업을 줄이며, 고품질의 신뢰할 수 있는 데이터로 AI 프로젝트에 활력을 불어넣을 수 있습니다.