Blog/IA y ML /Cortex ya puede ver, oír y entender vídeos: TwelveLabs en Snowflake
18 nov 2026/6 min de lecturaIA y ML

Cortex ya puede ver, oír y entender vídeos: TwelveLabs en Snowflake

El problema

El vídeo es actualmente el tipo de dato más producido, más consumido y menos comprendido en las empresas.

Representa la mayor parte del tráfico de Internet de los consumidores. Dentro de las organizaciones, el contenido de vídeo incluye bibliotecas de marketing con decenas de miles de creatividades, archivos deportivos que abarcan décadas de emisiones, grabaciones de seguridad y operaciones, contenido formativo, presentaciones de resultados, contenido generado por usuarios y bibliotecas de contenido valoradas en miles de millones.

Sin embargo, muy poco de este contenido se puede consultar fácilmente. Permanece en almacenamiento en frío como una partida de costes, no como un activo. Es una oportunidad desaprovechada. Poder consultar los vídeos ayudaría a los profesionales del marketing a relacionar el contenido de una creatividad con el rendimiento de su campaña, permitiría a las empresas de radiodifusión monetizar décadas de archivos y a los minoristas convertir vídeos de productos en datos estructurados de catálogo, además de ayudar a los equipos de cumplimiento a localizar las grabaciones pertinentes con mayor eficiencia. La información ya está en los vídeos; las organizaciones simplemente no pueden hacerles preguntas.

El motivo es sencillo: el vídeo no ha vivido un momento comparable en cuanto a modelos fundacionales. Con el texto llegaron los modelos transformer, las representaciones vectoriales (embeddings) y los modelos de razonamiento, y surgió un ecosistema de búsqueda, resumen y análisis. El vídeo no tenía nada equivalente. La visión artificial reconocía objetos en los fotogramas, pero no podía comprender la narrativa, las emociones ni el flujo temporal. La transcripción capturaba el habla, pero omitía la información visual. Las modalidades permanecían aisladas en silos. El vídeo empresarial seguía formando parte de los datos oscuros.

Esto cambia ahora. Snowflake se ha asociado con TwelveLabs para ofrecer capacidades de IA nativa para vídeo a través de Cortex AI Functions de Snowflake. Así, las organizaciones pueden buscar y analizar vídeos mediante SQL y aplicar al mismo tiempo los controles de gobernanza y seguridad de Snowflake.

Por qué TwelveLabs

TwelveLabs crea modelos de IA nativos para vídeo que procesan conjuntamente y a lo largo del tiempo las imágenes, el audio y el habla. Los modelos están diseñados para realizar un análisis unificado y temporal del contenido de vídeo, en lugar de depender únicamente del análisis de fotogramas individuales o de pipelines separados para cada modalidad. 

Dos modelos hacen esto posible:

Marengo (el motor de percepción): Un codificador multimodal que convierte los vídeos en representaciones vectoriales de 512 dimensiones que capturan el contenido visual, los patrones de audio y el lenguaje hablado en una única representación. Es para el vídeo lo que los modelos de representaciones vectoriales de texto fueron para los documentos.

Pegasus (el motor de razonamiento): Un modelo de vídeo y lenguaje que ve vídeos y genera texto: resúmenes, metadatos estructurados, respuestas a preguntas y descripciones de escenas. Es para el vídeo lo que GPT fue para el texto.

Juntos, te ofrecen las dos vertientes del stack de inteligencia de vídeo. Marengo encuentra el momento adecuado en una biblioteca enorme. Pegasus te explica qué significa ese momento.

Por qué es importante en Snowflake

Los datos de tus campañas, los segmentos de audiencia, los metadatos del contenido y el gasto ya están en Snowflake. Hasta ahora, el vídeo que generaba todos esos datos permanecía fuera de la capa de analíticas.

Con las capacidades de IA para vídeo de TwelveLabs, accesibles mediante Cortex AI Functions:

  • Genera representaciones vectoriales de vídeo directamente con Cortex AI Functions. 
  • Es SQL. No es una plataforma aparte, ni un SDK de Python, ni un nuevo proveedor que tengas que incorporar. Solo una llamada a una función dentro de una consulta.
  • Las señales derivadas de los vídeos se almacenan en las mismas tablas que tus datos estructurados. La inteligencia de contenidos se combina con las métricas de rendimiento en una única consulta.
  • Cuenta con gobernanza. Políticas a nivel de fila, acceso basado en roles y registros de auditoría. Los controles pueden aplicarse a los datos derivados de vídeos almacenados en tablas de Snowflake.
architecture

Cómo funciona en la práctica

Vectorizar: una llamada a una función para crear representaciones vectoriales de vídeo que se pueden consultar

Los vídeos se alojan en un stage de Snowflake, ya sea interno o externo (S3, GCS o Azure).

 

SELECT AI_MULTI_EMBED(
    'twelvelabs-marengo-embed-3-0',
    TO_FILE(@my_stage, relative_path)  -- works with internal or external stages
) AS embeddings
FROM video_catalog;

Marengo procesa cada vídeo de forma integral y devuelve un objeto estructurado que contiene representaciones vectoriales de tres modalidades. Cada modalidad produce uno o varios segmentos en función de la duración y el contenido del vídeo, y cada segmento se representa como un vector de 512 dimensiones:

field

El número de segmentos varía según la duración del vídeo y la modalidad. Un vídeo de 2 minutos podría producir 10 segmentos visuales, 8 segmentos de audio y 12 segmentos de transcripción. Cada uno captura una faceta distinta del contenido: lo que aparece en pantalla, lo que se oye y lo que se dice (con compatibilidad con 36 idiomas).

Tu videoteca se convierte en una base de datos vectorial en la que puedes realizar búsquedas con texto libre.

Buscar: describe lo que quieres y encuentra el momento exacto

Una vez almacenadas las representaciones vectoriales de tus vídeos, Cortex Search los indexa y permite buscar en tu videoteca mediante lenguaje natural, lo que reduce la dependencia de las etiquetas manuales, las coincidencias de palabras clave y las taxonomías de contenido que hay que mantener.

 

query_vec = session.sql("""
  SELECT AI_MULTI_EMBED('twelvelabs-marengo-embed-3-0',
         'Find me a scene where a ship is burning at night'):value[0]['embedding']::ARRAY
""").collect()[0][0]

results = svc.search(
    multi_index_query={"visual_embedding": [{"vector": query_vec}]},
    columns=["video_file", "start_sec", "end_sec"],
    limit=5
)

En la práctica: el equipo de marketing de Challenger School creó una herramienta de búsqueda de grabaciones basada en AI_MULTI_EMBED que localiza clips relevantes en cuestión de minutos y sustituye un proceso de búsqueda manual que antes se prolongaba durante semanas.

“Gracias al modelo Marengo de Twelve Labs, a través de AI_MULTI_EMBED de Snowflake, nuestro equipo puede buscar material audiovisual en lenguaje natural y obtener marcas de tiempo, el contexto de la transcripción y secuencias de revisión de Premiere vinculadas a los archivos originales. Esto ofrece a nuestros editores un punto de partida práctico para crear vídeos”.

Yashwanth Karumanchi
Research & Development, Challenger School Foundation

Analizar: haz cualquier pregunta y obtén respuestas estructuradas

Una llamada a una función puede simplificar el análisis de vídeos. Según el caso de uso, puede que no necesites un pipeline independiente de extracción de fotogramas o transcripción. Pegasus puede analizar vídeos y devolver respuestas de texto libre o metadatos estructurados.

 

SELECT AI_COMPLETE(
    'twelvelabs-pegasus-1-5',
    'What are the main characters doing? Identify any historical references.',
    TO_FILE(@my_stage, relative_path)  -- works with internal or external stages
) AS analysis
FROM video_catalog;

Para casos de uso avanzados, Cortex Agents puede orquestar búsquedas multivectoriales entre modalidades combinando señales visuales, de audio y de transcripción con estrategias de ordenación personalizadas, todo ello mediante llamadas a herramientas. Describe en lenguaje sencillo lo que buscas y el agente recuperará los momentos más relevantes de toda tu videoteca.

surface

A quién va dirigido

industry

Primeros pasos

Si tienes datos de vídeo (bibliotecas de contenido, creatividades publicitarias, archivos de emisiones, grabaciones de vigilancia y materiales formativos) que deberían generar información útil, esta es tu oportunidad para convertir los costes de almacenamiento en activos estratégicos.

Marengo 3.0 y Pegasus 1.5 ya tienen disponibilidad general. Sigue esta guía para empezar a trabajar con casos de uso multimodales.

 

Comparte esta publicación

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week