Snowflake Ventures investiert in Twelve Labs, um fortschrittliches Videoverständnis in die Snowflake AI Data Cloud für Medien einzubringen

In einer schnelllebigen und wettbewerbsintensiven Medien- und Werbebranche suchen Medienunternehmen, Sportorganisationen, Werbeagenturen und andere ständig nach Möglichkeiten, die Verbrauchererfahrung zu verbessern und die Monetarisierung voranzutreiben. Dazu gehören Inhaltsanalysen, Video- und kreative Suchfunktionen, Inhaltspersonalisierung und kreative Versionierung. All diese Funktionen werden durch die Nutzung der gemeinsamen KI-Funktionen ermöglicht, die jetzt über die Videoeinbettungen von Snowflake und Twelve Labs verfügbar sind. Diese Einbettungen helfen auch Algorithmen für maschinelles Lernen, komplexe Daten und die Verknüpfungen zwischen Datenobjekten zu verarbeiten, und ermöglichen so die Kernfunktionen, die Twelve Labs auf den Markt bringt.

Twelve Labs bietet modernste multimodale Einbettungstechnologie

Die Video Understanding Platform von Twelve Labs nutzt KI, um visuelle, Audio-, Text- und Kontextdaten aus Videos zu extrahieren und so semantische Suche, Analytik und Erkenntnisse in großem Umfang zu ermöglichen. Die grundlegenden Modelle gehören zu den führenden Lösungen für die Erstellung von Videobeschreibungen, die Szenenerkennung und die logische Breakpoint-Identifizierung – so können sich Videos bei gleichbleibender Videoqualität an unterschiedliche Bildschirmgrößen von Geräten anpassen. Herkömmliche Ansätze basieren auf Frame-by-Frame-Analysen oder separaten Modellen für unterschiedliche Modalitäten. Die API von Twelve Labs erfasst die komplexen Interaktionen zwischen visuellen Hinweisen, Körpersprache, Sprache und allgemeinem Videokontext, indem sie kontextbezogene Vektordarstellungen dieser Interaktionen erzeugt. Dieser ganzheitliche Ansatz ermöglicht es den Datenteams von Medienunternehmen, mit einem differenzierteren Verständnis von Videoinhalten zu arbeiten.

Anfang diesen Jahres haben sich Snowflake und Twelve Labs zusammengetan, um die Twelve Labs Video Understanding API für alle Nutzenden der AI Data Cloud verfügbar zu machen. Mit Twelve Labs und Snowflake können Kunden den Workflow für KI- und Videoeinbettungen zu ihren Daten bringen. Dies hilft ihnen, den Datenschutz und die Governance ihrer Videodaten und -einbettungen aufrechtzuerhalten, während sie gleichzeitig von fortschrittlichen Videoanalysefunktionen profitieren, und zwar in einer sicheren Umgebung, um das Verhalten und die Reaktionen der Besucher:innen zu analysieren. Benutzer:innen können außerdem spezifische Aufnahmen aus riesigen Inhalts-Repositorys finden und diese Daten wiederverwenden, um neue Inhalte zu generieren, die auf der Grundlage von Daten in Snowflake an Verbraucher:innen gerichtet werden kann.

Die Twelve Labs API bringt menschliches Videoverständnis in jede Anwendung, selbst mit Terabytes oder Petabytes an Video. Diese umfangreichen, multimodalen Videoeinbettungen können dann mithilfe der Vektordatentyp-Unterstützung in Snowflake gespeichert werden. Das ermöglicht anspruchsvollere Videoanalytik und KI-gestützte videobasierte Anwendungen in der AI Data Cloud. Diese Integration nutzt Snowflake Cortex AI, den vollständig verwalteten KI-Dienst von Snowflake mit einer Reihe von GenAI-Funktionen, und Snowpark Container Services für skalierbare Verarbeitung. Entwickler:innen können benutzerdefinierte Anwendungen erstellen, die die Videoverständnistechnologie von Twelve Labs mit den Datenmanagementfunktionen von Snowflake kombinieren und fortschrittliche Videoanalyse-, Such-, Inhaltsmoderations- und Empfehlungssysteme ermöglichen. Dank dieser leistungsstarken Kombination können Unternehmen anspruchsvolle, KI-gestützte Lösungen für videozentrierte Anwendungen entwickeln und gleichzeitig von der robusten Datenplattform von Snowflake profitieren.

Nach unserer Investition werden Snowflake und Twelve Labs zusammenarbeiten, um Möglichkeiten zu finden, die es noch einfacher machen, leistungsstarke Video-KI-Funktionen in eine einheitliche Datenplattform zu integrieren.