Blog/KI und ML/Cortex kann jetzt Videos sehen, hören und verstehen: TwelveLabs auf Snowflake
18. Nov. 2026/Lesezeit: 5 MinutenKI und ML

Cortex kann jetzt Videos sehen, hören und verstehen: TwelveLabs auf Snowflake

Das Problem

Videos sind heute die am meisten produzierten, am meisten konsumierten und am wenigsten verstandenen Daten im Unternehmen.

Sie machen den größten Teil des Internet-Traffics von Nutzer:innen aus. In Unternehmen umfassen Videoinhalte Marketingbibliotheken mit Zehntausenden von Creatives, Sportarchive mit jahrzehntelangem Sendematerial, Sicherheits- und Betriebsaufnahmen, Schulungsinhalte, Earnings Calls, nutzergenerierte Medien und Inhaltsbibliotheken im Wert von Milliarden.

Und doch ist nur wenig davon einfach abfragbar. Sie liegen im Cold Storage als Kostenfaktor, nicht als Asset. Das ist eine verpasste Chance. Abfragbare Videos könnten Marketingteams helfen, den Inhalt eines Creatives mit seiner Kampagnen-Performance zu verknüpfen, Sendern ermöglichen, jahrzehntelange Archive zu monetarisieren, Einzelhändlern erlauben, Produktvideos in strukturierte Katalogdaten zu verwandeln, und Compliance-Teams dabei unterstützen, relevantes Filmmaterial effizienter zu finden. Die Erkenntnisse stecken bereits im Video; Unternehmen können nur keine Fragen dazu stellen.

Der Grund ist einfach: Videos fehlte ein vergleichbarer Foundation-Model-Moment. Text bekam Transformer, Embeddings und Reasoning-Modelle, und ein Ökosystem für Suche, Zusammenfassung und Analyse entstand. Für Videos gab es kein Äquivalent. Computer Vision erkannte Objekte in Frames, konnte aber Erzählstränge, Emotionen oder zeitliche Abläufe nicht verstehen. Transkription erfasste Sprache, ließ aber visuelle Informationen aus. Die Modalitäten blieben isoliert. Unternehmensvideos blieben Dark Data.

Das ändert sich jetzt. Snowflake hat sich mit TwelveLabs zusammengetan, um videonative KI-Funktionen über Snowflake Cortex AI Functions bereitzustellen. So können Unternehmen Videos mithilfe von SQL durchsuchen und analysieren und gleichzeitig die Governance- und Sicherheitskontrollen von Snowflake anwenden.

Warum TwelveLabs?

TwelveLabs entwickelt videonative KI-Modelle, um Bild, Ton und Sprache über die Zeit hinweg gemeinsam zu verarbeiten. Die Modelle sind für eine einheitliche, zeitliche Analyse von Videoinhalten konzipiert, anstatt sich ausschließlich auf die Analyse einzelner Frames oder separate Modalitäts-Pipelines zu verlassen. 

Zwei Modelle treiben dies an:

Marengo (die Wahrnehmungs-Engine): Ein multimodaler Encoder, der Videos in 512-dimensionale Embeddings umwandelt und visuelle Inhalte, Audiomuster und gesprochene Sprache in einer einzigen Darstellung erfasst. Stellen Sie es sich so vor, wie Text-Embedding-Modelle für Dokumente, aber eben für Videos.

Pegasus (die Reasoning-Engine): Ein Video-Sprachmodell, das Videos ansieht und Text generiert: Zusammenfassungen, strukturierte Metadaten, Antworten auf Fragen, Szenenbeschreibungen. Stellen Sie es sich so vor, wie GPT für Text, aber eben für Videos.

Zusammen bieten sie Ihnen beide Seiten des Video-Intelligence-Stacks. Marengo findet den richtigen Moment in einer riesigen Bibliothek. Pegasus sagt Ihnen, was dieser Moment bedeutet.

Warum das auf Snowflake wichtig ist

Ihre Kampagnendaten, Zielgruppensegmente, Content-Metadaten und Ausgaben befinden sich bereits in Snowflake. Bisher waren die Videos, die all diese Daten generiert haben, außerhalb der Analytics-Schicht eingeschlossen.

Mit den Video-KI-Funktionen von TwelveLabs, auf die über Cortex AI Functions zugegriffen wird:

  • Generieren Sie Video-Embeddings direkt vor Ort mit Cortex AI Functions. 
  • Es ist SQL. Keine separate Plattform, kein Python-SDK, kein neuer Anbieter, der integriert werden muss. Ein Funktionsaufruf in einer Abfrage.
  • Aus Videos abgeleitete Signale befinden sich in denselben Tabellen wie Ihre strukturierten Daten. Content Intelligence trifft in einer einzigen Abfrage auf Performance-Metriken.
  • Es unterliegt der Governance. Richtlinien auf Zeilenebene, rollenbasierter Zugriff, Audit-Protokolle. Die Kontrollen können auf aus Videos abgeleitete Daten angewendet werden, die in Snowflake-Tabellen gespeichert sind.
architecture

So sieht das Ganze in Aktion aus

Einbetten: Ein Funktionsaufruf zur Erstellung durchsuchbarer Video-Embeddings

Videos befinden sich in einem internen oder externen Snowflake-Staging-Bereich (S3, GCS, Azure).

 

SELECT AI_MULTI_EMBED(
    'twelvelabs-marengo-embed-3-0',
    TO_FILE(@my_stage, relative_path)  -- works with internal or external stages
) AS embeddings
FROM video_catalog;

Marengo verarbeitet jedes Video End-to-End und gibt ein strukturiertes Objekt zurück, das Embeddings über drei Modalitäten hinweg enthält. Jede Modalität erzeugt je nach Länge und Inhalt des Videos ein oder mehrere Segmente, wobei jedes Segment als 512-dimensionaler Vektor dargestellt wird:

field

Die Anzahl der Segmente variiert je nach Videolänge und Modalität. Ein zweiminütiges Video könnte zehn visuelle Segmente, acht Audiosegmente und zwölf Transkriptionssegmente erzeugen. Jedes erfasst eine andere Facette des Inhalts: was auf dem Bildschirm zu sehen ist, was zu hören ist und was gesprochen wird (unterstützt 36 Sprachen).

Ihre Videobibliothek wird zu einer Vektordatenbank, die mit Klartext durchsuchbar ist.

Suchen: Beschreiben Sie, was Sie wollen, und finden Sie den genauen Moment

Sobald Ihre Video-Embeddings gespeichert sind, indiziert Cortex Search sie und macht Ihre Videobibliothek in natürlicher Sprache durchsuchbar, was die Abhängigkeit von manuellen Tags, Keyword-Matching und gepflegten Content-Taxonomien verringert.

 

query_vec = session.sql("""
  SELECT AI_MULTI_EMBED('twelvelabs-marengo-embed-3-0',
         'Find me a scene where a ship is burning at night'):value[0]['embedding']::ARRAY
""").collect()[0][0]

results = svc.search(
    multi_index_query={"visual_embedding": [{"vector": query_vec}]},
    columns=["video_file", "start_sec", "end_sec"],
    limit=5
)

In der Praxis: Das Marketingteam der Challenger School hat ein Tool zur Suche nach Filmmaterial auf Basis von AI_MULTI_EMBED entwickelt, das relevante Clips in wenigen Minuten anzeigt und damit einen manuellen Suchprozess ersetzt, der sich zuvor über Wochen erstreckte.

"Using Twelve Labs' Marengo model through Snowflake's AI_MULTI_EMBED, our team can ask for footage in natural language and receive timestamps, transcript context, and Premiere review sequences linked to the original source files. This gives our editors a practical starting point for creating videos."

Yashwanth Karumanchi
Research & Development, Challenger School Foundation

Analysieren: Stellen Sie eine beliebige Frage und erhalten Sie strukturierte Antworten

Ein Funktionsaufruf kann die Videoanalyse vereinfachen. Je nach Anwendungsfall benötigen Sie möglicherweise keine separate Pipeline für die Frame-Extraktion oder Transkription. Pegasus kann Videos analysieren und Freitextantworten oder strukturierte Metadaten zurückgeben.

 

SELECT AI_COMPLETE(
    'twelvelabs-pegasus-1-5',
    'What are the main characters doing? Identify any historical references.',
    TO_FILE(@my_stage, relative_path)  -- works with internal or external stages
) AS analysis
FROM video_catalog;

Für fortgeschrittene Anwendungsfälle können Cortex Agents eine Multi-Vektor-Suche über Modalitäten hinweg orchestrieren, die visuelle, Audio- und Transkriptionssignale mit benutzerdefinierten Ranking-Strategien kombiniert – alles durch Tool Calling. Beschreiben Sie in einfacher Sprache, wonach Sie suchen, und der Agent ruft die relevantesten Momente aus Ihrer gesamten Videobibliothek ab.

surface

Für wen das ist

industry

Jetzt entdecken

Wenn Sie auf Videodaten sitzen – Inhaltsbibliotheken, Werbe-Creatives, Sende-Archive, Überwachungsmaterial und Schulungsunterlagen –, die Erkenntnisse generieren sollten, ist dies Ihre Gelegenheit, Speicherkosten in strategische Assets zu verwandeln.

Marengo 3.0 und Pegasus 1.5 sind jetzt allgemein verfügbar. Folgen Sie diesem Leitfaden, um mit multimodalen Anwendungsfällen zu beginnen.

 

Diesen Beitrag teilen

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week

Where Data Does More