Blog/AI & ML/이제 영상까지 보고 듣고 이해하는 Cortex: Snowflake에서 만나는 TwelveLabs
2026년 11월 19일/4분 읽음AI & ML

이제 영상까지 보고 듣고 이해하는 Cortex: Snowflake에서 만나는 TwelveLabs

영상 데이터가 안고 있는 문제

영상은 이제 기업에서 가장 많이 생산되고 소비되지만, 가장 이해하기 어려운 데이터입니다.

일반 소비자의 인터넷 트래픽에서도 영상이 가장 큰 비중을 차지합니다. 기업이 보유한 영상에는 수만 개의 광고 소재가 담긴 마케팅 라이브러리, 수십 년간의 방송 영상을 모은 스포츠 아카이브, 보안·운영 영상, 교육 콘텐츠, 실적 발표 영상, 사용자 제작 미디어, 수십억 달러의 가치를 지닌 콘텐츠 라이브러리 등이 있습니다.

하지만 이 가운데 손쉽게 쿼리할 수 있는 영상은 거의 없습니다. 영상은 자산이 아닌 비용 항목으로 취급되며 콜드 스토리지에 머물러 있습니다. 이는 기회를 놓치는 일입니다. 영상을 쿼리할 수 있다면 마케터는 광고 소재의 내용과 캠페인 성과를 연결하고, 방송사는 수십 년간 축적한 아카이브로 수익을 창출할 수 있습니다. 유통업체는 제품 영상을 구조화된 카탈로그 데이터로 바꾸고, 컴플라이언스 팀은 관련 영상을 더 효율적으로 찾을 수 있습니다. 인사이트는 이미 영상 속에 있습니다. 기업이 영상에 질문할 수 없었을 뿐입니다.

이유는 간단합니다. 영상 분야에는 텍스트처럼 파운데이션 모델이 판도를 바꾼 전환점이 없었습니다. 텍스트 분야에서는 트랜스포머, 임베딩, 추론 모델이 등장하면서 검색·요약·분석 에코시스템이 형성됐습니다. 영상 분야에는 이에 상응하는 기술이 없었습니다. 컴퓨터 비전은 프레임 속 객체를 인식했지만 서사, 감정, 시간에 따른 흐름은 이해하지 못했습니다. 음성 전사는 발화를 포착했지만 시각 정보는 놓쳤습니다. 각 모달리티는 서로 분리된 채 남아 있었습니다. 기업의 영상은 활용되지 못하는 다크 데이터로 남았습니다.

이제 상황이 달라집니다. Snowflake는 TwelveLabs와 협력해 Snowflake Cortex AI Functions를 통해 비디오 네이티브 AI 기능을 제공합니다. 기업은 Snowflake의 거버넌스와 보안 제어를 적용하면서 SQL로 영상을 검색하고 분석할 수 있습니다.

TwelveLabs를 선택한 이유

TwelveLabs는 시간의 흐름에 따라 영상의 시각 정보, 오디오, 발화를 함께 처리하는 비디오 네이티브 AI 모델을 개발합니다. 이 모델은 개별 프레임 분석이나 모달리티별 파이프라인에만 의존하지 않고, 영상 콘텐츠를 시간의 흐름에 따라 통합적으로 분석하도록 설계됐습니다. 

이를 뒷받침하는 모델은 두 가지입니다.

Marengo(인식 엔진): 시각 콘텐츠, 오디오 패턴, 발화를 하나의 표현에 담아 영상을 512차원 임베딩으로 변환하는 멀티모달 인코더입니다. 텍스트 임베딩 모델이 문서에 한 일을 영상에 적용한 것이라고 볼 수 있습니다.

Pegasus(추론 엔진): 영상을 보고 요약, 구조화된 메타데이터, 질문에 대한 답변, 장면 설명 등의 텍스트를 생성하는 비디오 언어 모델입니다. GPT가 텍스트에 한 일을 영상에 적용한 것이라고 볼 수 있습니다.

두 모델을 함께 사용하면 비디오 인텔리전스의 검색과 이해를 모두 구현할 수 있습니다. Marengo는 방대한 라이브러리에서 필요한 순간을 찾아냅니다. Pegasus는 그 순간이 무엇을 의미하는지 설명합니다.

이 점이 Snowflake에서 중요한 이유

캠페인 데이터, 오디언스 세그먼트, 콘텐츠 메타데이터, 지출 데이터는 이미 Snowflake에 있습니다. 하지만 지금까지 이 데이터를 만들어낸 영상은 분석 계층 밖에 있었습니다.

이제 Cortex AI Functions를 통해 TwelveLabs의 비디오 AI 기능을 사용하면 다음이 가능해집니다.

  • Cortex AI Functions로 영상이 있는 환경에서 바로 임베딩을 생성합니다. 
  • 필요한 것은 SQL입니다. 별도의 플랫폼이나 Python SDK, 새롭게 도입할 공급업체가 필요하지 않습니다. 쿼리에서 함수를 한 번 호출하면 됩니다.
  • 영상에서 추출한 신호는 구조화된 데이터와 같은 테이블에 저장됩니다. 하나의 쿼리로 콘텐츠에 대한 인사이트와 성과 지표를 함께 분석할 수 있습니다.
  • 거버넌스도 적용할 수 있습니다. 여기에는 행 수준 정책, 역할 기반 액세스, 감사 로그가 포함됩니다. 이러한 제어를 Snowflake 테이블에 저장된 영상 기반 데이터에 적용할 수 있습니다.
architecture

실제 사용 예시

임베딩: 함수 호출 한 번으로 검색 가능한 영상 임베딩 생성

영상은 내부 또는 외부(S3, GCS, Azure) Snowflake 스테이지에 저장됩니다.

 

SELECT AI_MULTI_EMBED(
    'twelvelabs-marengo-embed-3-0',
    TO_FILE(@my_stage, relative_path)  -- works with internal or external stages
) AS embeddings
FROM video_catalog;

Marengo는 각 영상을 처음부터 끝까지 처리한 뒤 세 가지 모달리티의 임베딩을 담은 구조화된 오브젝트를 반환합니다. 각 모달리티는 영상의 길이와 콘텐츠에 따라 하나 이상의 세그먼트를 생성하며, 각 세그먼트는 512차원 벡터로 표현됩니다.

field

세그먼트 수는 영상 길이와 모달리티에 따라 달라집니다. 예를 들어 2분짜리 영상에서는 시각 세그먼트 10개, 오디오 세그먼트 8개, 음성 전사 세그먼트 12개가 생성될 수 있습니다. 각 세그먼트는 화면에 보이는 것, 들리는 소리, 말로 표현된 내용(36개 언어 지원) 등 콘텐츠의 서로 다른 측면을 포착합니다.

이렇게 영상 라이브러리는 일반 텍스트로 검색할 수 있는 벡터 데이터베이스가 됩니다.

검색: 원하는 장면을 설명하고 정확한 순간 찾기

영상 임베딩을 저장하면 Cortex Search가 이를 인덱싱해 영상 라이브러리를 자연어로 검색할 수 있게 합니다. 수작업 태그, 키워드 매칭, 지속적으로 관리해야 하는 콘텐츠 분류 체계에 대한 의존도도 줄어듭니다.

 

query_vec = session.sql("""
  SELECT AI_MULTI_EMBED('twelvelabs-marengo-embed-3-0',
         'Find me a scene where a ship is burning at night'):value[0]['embedding']::ARRAY
""").collect()[0][0]

results = svc.search(
    multi_index_query={"visual_embedding": [{"vector": query_vec}]},
    columns=["video_file", "start_sec", "end_sec"],
    limit=5
)

실제 사례: Challenger School의 마케팅팀은 AI_MULTI_EMBED를 기반으로 관련 클립을 몇 분 만에 찾아주는 영상 검색 도구를 구축했습니다. 이전에는 수작업 검색에 몇 주가 걸렸습니다.

"Using Twelve Labs' Marengo model through Snowflake's AI_MULTI_EMBED, our team can ask for footage in natural language and receive timestamps, transcript context, and Premiere review sequences linked to the original source files. This gives our editors a practical starting point for creating videos."

Yashwanth Karumanchi
Research & Development, Challenger School Foundation

분석: 어떤 질문이든 구조화된 답변 얻기

함수 호출 한 번으로 영상 분석을 간소화할 수 있습니다. 사용 사례에 따라 별도의 프레임 추출 또는 음성 전사 파이프라인이 필요하지 않을 수도 있습니다. Pegasus는 영상을 분석해 자유 형식의 텍스트 답변이나 구조화된 메타데이터를 반환할 수 있습니다.

 

SELECT AI_COMPLETE(
    'twelvelabs-pegasus-1-5',
    'What are the main characters doing? Identify any historical references.',
    TO_FILE(@my_stage, relative_path)  -- works with internal or external stages
) AS analysis
FROM video_catalog;

고급 사용 사례에서는 Cortex Agents가 도구 호출을 통해 시각·오디오·음성 전사 신호를 결합하고 사용자 지정 순위 지정 전략을 적용해, 모달리티 전반의 다중 벡터 검색을 조율할 수 있습니다. 찾고 싶은 내용을 일상적인 언어로 설명하면 에이전트가 영상 라이브러리 전체에서 가장 관련성 높은 순간을 찾아줍니다.

surface

이런 조직에 추천

industry

시작하기

콘텐츠 라이브러리, 광고 소재, 방송 아카이브, 감시 영상, 교육 자료처럼 인사이트를 얻을 수 있는 영상 데이터를 보유하고 있다면, 이제 보관 비용을 전략적 자산으로 바꿀 기회입니다.

Marengo 3.0과 Pegasus 1.5는 이제 GA로 제공됩니다. 이 가이드를 따라 멀티모달 사용 사례를 시작해 보세요.

 

이 게시물 공유하기

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week