Snowflake Cortex Search: moderne hybride Suche für RAG-Anwendungen

Snowflake Cortex Search, ein vollständig verwalteter Suchdienst für Dokumente und andere unstrukturierte Daten, ist jetzt in Public Preview verfügbar. Mit Cortex Search können Unternehmen mit Snowflake mühelos RAG-Anwendungen (Retrieval-Augmented Generation) bereitstellen und so Anwendungsfälle wie Kundenservice, Finanzforschung und Sales-Chatbots unterstützen. Cortex Search bietet hochmoderne semantische und lexikalische Suche über Ihre Textdaten in Snowflake hinter einer intuitiven Benutzeroberfläche und verfügt über die robusten Sicherheits- und Governance-Funktionen, für die Snowflake bekannt ist.

Von Anfang an lautete die Mission von Snowflake, Kundenunternehmen dabei zu unterstützen, mehr Wert aus ihren Daten zu gewinnen. Im Zeitalter der Unternehmens-KI erstreckt sich diese Mission mehr denn je auf unstrukturierte Daten, wo sich RAG zum Standardansatz bei der Anpassung von generativen Chatapplikationen mit firmeneigenen Daten entwickelt hat. Mit RAG können Unternehmen unter anderem leistungsstarke Kundendienst-, Vertriebs- und F&E-Anwendungen erstellen, die ihre firmeneigenen Daten genau nutzen.

Doch obwohl der Abruf ein grundlegender Bestandteil eines jeden KI-Anwendungsstacks ist, bleibt der Aufbau eines hochwertigen, leistungsstarken RAG-Systems für die meisten Unternehmen eine Herausforderung. Bedenken Sie, welche Komponenten Sie benötigen, um RAG in großem Umfang erfolgreich einzusetzen:

• Infrastruktur und Betrieb: Plattform-Teams müssen zahlreiche Abfragekomponenten bereitstellen und verwalten – gehostete Einbettungsmodelle, Vektordatenbanken, Datenindexierungs-Pipelines, gehostete Reranking-Modelle, Tools zur Beobachtbarkeit und mehr.
• Suchqualität: Engineers und Data Scientists müssen Zeit damit verbringen, Modelle und Parameterkonfigurationen zu bewerten, um die Abruf- und Ranking-Komponenten auf ihre spezifischen Geschäftsanwendungsfälle abzustimmen.
• Sicherheit und Governance: Sicherheitsteams müssen umfassende Prüfungen durchführen, um sicherzustellen, dass jede Komponente im Stack sicher mit Daten umgeht und die Governance-Richtlinien einhält.

Cortex Search ist nativ in Snowflake integriert und wurde für Abfragen in 200 bis 300 ms über große Textmengen entwickelt. Es unterstützt die „Fuzzy“-Suche – der Dienst nimmt Abfragen in natürlicher Sprache auf und liefert die relevantesten Textergebnisse mit den zugehörigen Metadaten. Es ist für niedrige Latenz optimiert und damit ein ideales Backend für interaktive Endbenutzeranwendungen. Und wenn Cortex Search mit branchenführenden LLMs in Cortex AI kombiniert wird, können leistungsstarke Chatbots entwickelt werden.

Cortex Search bietet erstklassige, KI-gestützte Suchfunktionen zu geringeren Gesamtbetriebskosten (Total Cost of Ownership, TCO). So können Sie weniger Zeit in das Infrastrukturmanagement und die Optimierung der Abrufqualität investieren und mehr Zeit in die Entwicklung wunderbarer KI-gestützter Anwendungen für Endanwender:innen. Bei der Entwicklung wurden folgende Grundsätze berücksichtigt:

• Benutzerfreundlichkeit: Vollständig verwaltete Infrastruktur bedeutet, dass die operativen Aufgaben von Snowflake übernommen werden. Cortex Search bietet automatisierte, schrittweise Datenerfassung mit geringer Latenz.
• Modernste Suchqualität: Erhalten Sie sofort die neuesten „Fuzzy“-Suchfunktionen – keine Anpassung erforderlich.
• Sicher und kontrolliert: Profitieren Sie von denselben Sicherheits- und Governance-Funktionen wie der Rest Ihrer Snowflake-Daten.

Cortex Search ermöglicht es jedem im Unternehmen, eine leistungsstarke Suchmaschine zu nutzen. Der Dienst indexiert und bettet Ihre Daten automatisch inkrementell ein, d. h. er verarbeitet nur geänderte Zeilen aus der zugrunde liegenden Datenquelle.

Die gesamte operative Komplexität der Erstellung des Suchdienstes wird in einer einzigen SQL-Anweisung für die Diensterstellung abstrahiert. Dadurch entfällt der Aufwand für die Erstellung und Verwaltung mehrerer Prozesse für die Erfassung, Einbettung und Bereitstellung und letztlich bleibt Zeit, sich auf die Entwicklung moderner KI-Anwendungen zu konzentrieren.

Sobald der Dienst erstellt wurde, ist es einfach, ihn über REST- oder Python-APIs aus Ihrer Anwendung abzufragen. Dazu gehören sowohl Anwendungen, die in Snowflake gehostet werden (z. B., Streamlit in Snowflake), als auch Anwendungen, die in einer externen Umgebung gehostet werden.

Cortex Search bietet modernste Suchqualität hinter einer benutzerfreundlichen Oberfläche. Das Fundament des Cortex Search Retrieval ist die Vektorsuchkomponente basierend auf Arctic Embed M, dem leistungsstarken und kostengünstigen Modell von Snowflake. Zusätzlich zu Arctic Embed nutzt Cortex Search lexikalische Suche und Ranking in einem so genannten „hybriden“ Ansatz zum Abrufen und Ranking. Jede Suchanfrage an einen Cortex-Search-Dienst verwendet also:

• Vektorsuche zum Abrufen semantisch ähnlicher Dokumente
• Stichwortsuche zum Abrufen lexikalisch ähnlicher Dokumente
• Semantisches Reranking für eine Rangliste der relevantesten Dokumente im Ergebnissatz

Diese Ensemble-Retrieval-Technik unterstützt außerdem die Metadatenfilterung für alle Abfragen, sodass Sie die Suche nach einer Teilmenge relevanter Dokumente filtern können. So könnte beispielsweise ein Kundenserviceteam seine „Fuzzy“-Suchanfrage filtern, um nur Tickets aus dem Jahr 2024 von Kund:innen in der EMEA-Region zu erhalten.

Cortex Search kombiniert die Stärken der Vektorsuche, Stichwortsuche und semantischen Rerankings in einer einzigen Suchoberfläche. Unsere interne Forschung zeigt, dass dieser Ansatz bei einer Vielzahl von RAG-orientierten Such-Workloads zu qualitativ hochwertigeren Suchergebnissen führt als eine Vektorsuche oder eine Stichwortsuche allein. Das bedeutet, dass Sie eine sofort einsatzbereite Qualitätssteigerung gegenüber eigenständigen Vektordatenbanken erhalten, die in der Regel nur Vektorsuche ohne lexikalische Suche oder Reranking bieten. In einer Stichprobe öffentlicher und proprietärer Benchmarks im Stil von „Fragen und Antworten“ fanden wir heraus, dass der hybride Abrufansatz von Cortex Search einen Abrufschub von mehr als 12 % im Vergleich zur einfachen Vektorsuche erzielt hat und drastisch über der einfachen Stichwortsuche liegt (siehe Abbildung 3). 

Dieser komplexe Abruf- und Reranking-Stack ist vollständig verwaltet, sodass Sie keine Hyperparameter für mehrere Abruf- und Reranking-Dienste zusammenfügen und anpassen müssen. Weitere Informationen über die Forschung hinter dem Cortex Search Retrieval Stack finden Sie auf unserem Snowflake Engineering-Blog.

Benutzerfreundlichkeit und eine hohe Suchqualität sind zwar wichtige Merkmale, aber wir wissen, dass eine starke Sicherheits- und Governance-Haltung absolut entscheidend für jedes Unternehmen ist, das KI-gestützte Anwendungen entwickelt.

Sicher: Alle Cortex-Suchvorgänge, einschließlich Vektoreinbettungen und der Bereitstellung von Suchabfragen, werden vollständig innerhalb der Snowflake-Perimeter ausgeführt, und die Daten der einzelnen Kund:innen sind von allen anderen isoliert.

Kontrolliert: Cortex Search-Dienste sind Objekte auf Schemaebene in Snowflake und lassen sich in bestehende rollenbasierte Zugriffskontrollrichtlinien (Role-Based Access Control, RBAC) in einem Snowflake-Konto integrieren. Das bedeutet, Sie können die Nutzung für einen Dienst wie bei jedem anderen Snowflake-Objekt gewähren. Bei Zugriffskontrollen auf Dokumenten- oder Blockebene können Sie Metadatenfilter verwenden, um sicherzustellen, dass der Dienst nur die Ergebnisse zurückgibt, die der Client sehen darf. 

Snowflake-Kunden entwickeln derzeit eine Reihe von KI-gestützten Suchanwendungen in Snowflake, darunter:

• Forschungs- und Produktivitätsassistent: Chatbots, die im Kontext der unternehmenseigenen Daten eingesetzt werden, tragen zur Effizienzsteigerung des Teams bei und vereinfachen das Durchsuchen großer Dokumente nach relevanten Informationen. Hier einige Beispiele:
  • Kundensupport: Helfen Sie Supportteams, Tickets schnell und effizient zu verwalten und die beste Antwort auf Kundenfragen zu finden
  • Finanzen: Ermöglichen Sie Finanzanalyst:innen das schnelle Abrufen und Vergleichen von Ertragsberichten über Unternehmen hinweg
  • Vertrieb: Stellen Sie Vertriebspersonal Fallstudien und Pitch-Materialien bereit
  • F&E: Unterstützen Sie Forschende bei der Suche nach wissenschaftlicher Literatur, die für ihre laufende Forschung relevant ist

• KI-gestützte Suche: Minimieren Sie die Zeit bis zum Auffinden relevanter unstrukturierter Informationen, was zu einer effektiveren und effizienteren Nutzung der wertvollsten Assets führt. Hier einige Beispiele:
  • Produktsuche: Lexische und semantische Suche nach Produkten in einem Online-Katalog basierend auf Produkttitel, Spezifikationen und Rezensionen
  • Dokumentationssuche: Site-Suche nach technischem Support und Produktdokumentationsseiten

Das ist erst der Anfang für Cortex Search und wir sind gespannt, was Kunden mit dieser leistungsstarken Suchfunktion in Snowflake als Nächstes entwickeln.

Ab heute ist Cortex Search in diesen Snowflake-Regionen in Public Preview verfügbar und wird demnächst für eine erweiterte Reihe globaler Regionen eingeführt. Sehen Sie sich die folgenden Ressourcen für den Einstieg an:

• Cortex Search Tutorials
• Demo: Employee Conversational Knowledge Base with Cortex Search
• Dokumentation zu Cortex Search