Tus datos empresariales necesitan un agente

Snowflake está ampliando sus capacidades de IA con la vista previa pública de Cortex Agents, para ayudar a recuperar información de los datos mediante la orquestación de conjuntos de datos estructurados y no estructurados. Cortex Agents optimiza la orquestación y el acceso a los datos de las aplicaciones de agentes para tomar decisiones basadas en IA más fiables, integrando las mejoras de nuestros servicios de recuperación de Cortex AI:

• Cortex Analyst, ahora disponible de forma general con Anthropic Claude como LLM clave que impulsa la conversión text-to-SQL con agentes para la recuperación de datos estructurados de alta calidad

• Cortex Search, que ha logrado una precisión de recuperación de datos no estructurados de calidad avanzada, superando los modelos de representación vectorial de OpenAI en al menos un 12 % en un conjunto diverso de indicadores, incluido (NDCG@10) 

Los agentes de IA, sistemas autónomos que realizan tareas con IA, pueden mejorar la productividad empresarial al gestionar operaciones complejas en varios pasos en cuestión de minutos. Los agentes necesitan acceder a los datos estructurados y no estructurados, en constante crecimiento, de una organización para ser eficaces y fiables. A medida que las conexiones de datos se expanden, la gestión de los controles de acceso y la recuperación eficiente de información precisa, junto con el mantenimiento de estrictos protocolos de privacidad, se vuelven cada vez más complejos.

Los resultados de los agentes son tan buenos como la calidad de los datos subyacentes y la precisión de los sistemas de recuperación. Sin embargo, las organizaciones tienen dificultades para allanar el camino hacia la producción debido a un desajuste entre la IA y los datos. Los LLM sobresalen en el área de los datos no estructurados, pero muchas organizaciones carecen de prácticas de preparación maduras para este tipo de datos. Mientras tanto, los datos estructurados se gestionan mejor, pero sigue habiendo dificultades para que los LLM comprendan filas y columnas. 

Los clientes de Snowflake ahora cuentan con una plataforma unificada para procesar y recuperar datos estructurados y no estructurados con una alta precisión, todo listo para usar. La gobernanza unificada integral, desde la ingesta hasta la aplicación, permite a los equipos ofrecer una nueva ola de agentes de datos. Los clientes pueden crear soluciones escalables a la vez que aplican controles de acceso y privacidad. 

La necesidad de agentes de datos

En Snowflake, creemos que los agentes de IA pronto serán esenciales para la plantilla empresarial, ya que mejorarán la productividad de los equipos de asistencia al cliente, técnicos de campo, analíticas, ingeniería y muchos más. Liberarán tiempo valioso a los empleados que se podrán centrar en los desafíos de mayor valor a los que se enfrenta la empresa. Los agentes de datos, una categoría especializada de agentes de IA, combinan datos y herramientas para ofrecer información más precisa y fundamentada mediante la selección eficaz de las fuentes de datos y herramientas adecuadas para la recuperación. 

Para que los agentes de IA trabajen a escala, necesitan una conexión segura con los datos empresariales y una gobernanza unificada para gestionar su acceso, de forma similar a los controles existentes para tus equipos. Deben seguir las políticas de datos, acceder a varias fuentes de forma eficiente y recuperar información precisa para ofrecer resultados fiables y de alto valor.  

Sin embargo, somos conscientes de que este futuro “agéntico” presenta desafíos proporcionales a su potencial. Aunque la calidad de los modelos aumenta y los costes de inferencia disminuyen, observamos el mismo tipo de desafíos entre las empresas que tratan de implementar sistemas de agentes fiables a escala:

• Precisión: En términos de calidad, existe un alto nivel de exigencia en cuanto a los resultados de los agentes en las aplicaciones empresariales; el margen de error es bajo, especialmente en funciones esenciales para el negocio como finanzas o ingeniería.

• Confianza y seguridad: A medida que los clientes crean aplicaciones de IA que hacen un uso más intensivo de los datos, cumplir las políticas de seguridad y gobernanza es cada vez más difícil.

• Acceso a datos gobernados: Los agentes necesitan acceder a una amplia variedad de fuentes de datos para poder operar de forma fiable en el contexto empresarial, incluidas las fuentes de datos no estructurados (por ejemplo, texto, audio) y estructurados (por ejemplo, tablas, vistas), que a menudo están repartidos por varios sistemas.

La clave para el escalado de los flujos de trabajo de los agentes que utilizan los datos es la interacción fluida entre los modelos y los datos, al tiempo que se mantienen la precisión, la confianza y el cumplimiento. Por ejemplo, un analista financiero puede tener que combinar datos de ingresos (estructurados) con informes financieros e investigaciones de mercado (no estructurados). Estos casos de uso empresariales necesitan un acceso seguro a los datos y una forma de presentar la información adecuada a la IA con una gobernanza integral. 

Para abordar este problema, nos complace lanzar Cortex Agents, un servicio totalmente gestionado que simplifica la integración, recuperación y procesamiento de datos estructurados y no estructurados, lo que ayuda a los clientes de Snowflake a crear agentes de alta calidad a escala.

Cortex Agents: La IA al servicio de las empresas

Cortex Agents, ahora disponible en vista previa pública, orquesta las fuentes de datos estructurados y no estructurados, ya sean tablas de Snowflake o archivos PDF almacenados en el almacenamiento de objetos, para ofrecer información. Los agentes descomponen consultas complejas, recuperan datos relevantes y generan respuestas precisas mediante Cortex Search, Cortex Analyst y LLM. Esto garantiza la precisión, eficiencia y gobernanza a cada paso. 

¿Qué es Cortex Agents?

Los agentes de Cortex Agents planifican las tareas, utilizan herramientas para ejecutarlas y reflexionan sobre los resultados para mejorar las respuestas. Disponible como REST API práctica, Cortex Agents se puede integrar sin problemas en cualquier aplicación. Los agentes utilizan Cortex Analyst (SQL estructurado) y Cortex Search (datos no estructurados) como herramientas, junto con los LLM, para analizar y generar respuestas. El flujo de trabajo consta de cuatro componentes clave:

1. Planificación: Las aplicaciones suelen alternar entre el procesamiento de datos de fuentes estructuradas y no estructuradas. Por ejemplo, considera una aplicación conversacional diseñada para responder consultas de los usuarios. Un usuario empresarial puede preguntar primero por los principales distribuidores en función de los ingresos (estructurados) y, a continuación, optar por un contrato (no estructurado). Cortex Agents puede analizar una solicitud para orquestar un plan y llegar a una respuesta: 

• Explorar las opciones: Cuando el usuario plantea una pregunta ambigua (por ejemplo, “Cuéntame sobre Acme Supplies”), el agente considera diferentes permutaciones —productos, ubicación o personal de ventas— para aclarar las ambigüedades y mejorar la precisión.
• Dividir en subtareas: Cortex Agents puede dividir una tarea o solicitud (por ejemplo, “¿Qué diferencias hay en las condiciones del contrato entre Acme Supplies y Acme Stationery?”) en varias partes para obtener una respuesta más precisa.
• Moverse entre herramientas: El agente selecciona una herramienta (Cortex Analyst, Cortex Search o generación de SQL a partir del lenguaje natural) para facilitar el acceso gobernado y permitir el cumplimiento de las políticas empresariales.

2. Uso de herramientas: Con un plan en marcha, el agente puede recuperar los datos de forma eficiente. Cortex Search extrae información de fuentes no estructuradas, mientras que Cortex Analyst genera SQL para procesar datos estructurados. Una compatibilidad completa con la identificación y ejecución de herramientas permite ofrecer aplicaciones sofisticadas basadas en datos empresariales.

3. Reflexión: Después de cada uso de la herramienta, el agente evalúa los resultados para determinar los siguientes pasos: pedir aclaraciones, iterar o generar una respuesta final. Esta orquestación permite gestionar consultas de datos complejas, aumentar la precisión y seguir manteniendo los controles de cumplimiento dentro del perímetro seguro de Snowflake.

4. Supervisión e iteración: Tras la implementación, los clientes pueden llevar un seguimiento de las métricas, analizar el rendimiento y ajustar el comportamiento para lograr mejoras continuas. En la aplicación cliente, los desarrolladores pueden utilizar TruLens para supervisar la interacción del agente. Al supervisar y ajustar continuamente los controles de gobernanza, las empresas pueden escalar con confianza los agentes de IA al tiempo que mantienen la seguridad y el cumplimiento. 

En combinación con otras ofertas de Snowflake, Cortex Agents ahora proporciona una solución integral para recuperar, procesar y gobernar datos estructurados y no estructurados a escala.  

A continuación vamos a explorar cómo Cortex Analyst mejora el análisis de datos estructurados y las últimas innovaciones que mejoran sus capacidades.

Cortex Analyst: Generación de SQL basada en IA con comprensión semántica

Cortex Analyst se puede utilizar como herramienta dentro de Cortex Agents. 

A diferencia de los sistemas típicos de text-to-SQL, que se basan solo en la coincidencia de patrones, Cortex Analyst utiliza un modelo semántico para asignar términos empresariales a los datos subyacentes. Este enfoque único mejora la precisión en casos de uso reales que implican entornos multitabla complejos.

Novedades de Cortex Analyst

1. Gestión de una mayor complejidad de los esquemas

Cortex Analyst ahora va más allá del simple esquema en estrella y de las uniones de esquema (JOIN) de Snowflake. Nuestra nueva validación avanzada JOIN mitiga problemas comunes, como las alucinaciones de tipo JOIN y el recuento doble, que suelen surgir en consultas complejas. De este modo, Cortex Analyst puede admitir consultas multitabla sin comprometer la precisión.

2. Generación y supervisión de modelos semánticos

Nuestra vista previa pública de la nueva interfaz de usuario de Analyst Admin en Snowsight simplifica el proceso de creación y ajuste de modelos semánticos. Los administradores pueden seleccionar tablas y columnas y utilizar LLM (que se ejecutan dentro del perímetro seguro de Snowflake) para generar un archivo YAML del modelo semántico de partida.

La interfaz de administración también supervisa la interacción de los usuarios y sus comentarios. Esto permite a los clientes llevar un seguimiento del uso y realizar mejoras fundamentadas en los modelos semánticos a lo largo del tiempo.

3. Personalización para una lógica empresarial específica

Con Custom Instructions ahora disponibles de forma general, los usuarios pueden adaptar Cortex Analyst a sus necesidades empresariales únicas mediante el lenguaje natural en el archivo del modelo semántico. Los casos de uso más comunes incluyen especificar las fechas de inicio del año fiscal, explicar las convenciones de nomenclatura internas y priorizar las tablas clave durante la generación de SQL.

4. Rendimiento demostrado según indicadores de referencia

Según los indicadores internos, hemos logrado una precisión del 90 % en los casos de uso de text-to-SQL. Con Claude 3.5 Sonnet de Anthropic, podemos optimizar aún más el rendimiento para una experiencia mejorada. Cortex Analyst, que se ejecuta en Claude, supera en rendimiento a otros modelos en cuanto a consultas reales mediante el uso de información almacenada en el modelo semántico.

Con estas actualizaciones, Cortex Analyst mejora el análisis de los datos estructurados y simplifica la configuración de los administradores para las aplicaciones de agentes.

Cortex Search: Motor de contexto de alta calidad para datos no estructurados

Cortex Agents utiliza Cortex Search para recuperar datos no estructurados (por ejemplo, texto, audio, imagen, vídeo). Cortex Search es una búsqueda híbrida nativa, una combinación de búsqueda vectorial y léxica (palabra clave), con un paso adicional de reordenación semántica, para ofrecer una recuperación de alta calidad y baja latencia a escala. 

Cortex Search logra una calidad puntera, superando las pilas de búsqueda empresariales de la competencia en cuanto a precisión de recuperación (NDCG@10), con modelos de representación vectorial de OpenAI, en al menos un 12 % en un conjunto diverso de indicadores. Las evaluaciones se realizaron sobre un conjunto representativo de cuatro conjuntos de datos de referencia de búsqueda pública. Cortex Search, una búsqueda híbrida con Snowflake Arctic Embed L v2.0, se comparó con un servicio de búsqueda basado en Lucene, alojado en la nube, de la competencia (por ejemplo, Azure AI Search, AWS OpenSearch, ElasticSearch), utilizando tanto la búsqueda híbrida con Text Embedding 3 Large de OpenAI, como solo la búsqueda de palabras clave.

Novedades de Cortex Search

1. Mayor escalabilidad y asequibilidad

Cortex Search ahora admite la indexación de cientos de millones de filas. Además, los costes de servicio de Cortex Search se han reducido en un 30 % como resultado de las optimizaciones de la infraestructura.

2. Personalización mejorada

Cortex Search ahora ofrece la capacidad de seleccionar el modelo de representación vectorial para la búsqueda semántica. Esto incluye dos modelos multilingües, snowflake-arctic-embed-l-v2.0 y voyage-multilingual-2. Además, Cortex Search admite el filtrado de rango de fechas en columnas de metadatos.

3. Nuevas funciones de vista previa 

Las nuevas funciones de vista previa incluyen Cortex Search Admin UI (para el ajuste de la observabilidad y la calidad), refuerzos y decaimientos en las señales numéricas y temporales, puntuaciones de confianza de los resultados y capacidades de filtrado avanzadas.

Con estas nuevas funciones, Cortex Search ofrece una base escalable y personalizable para aplicaciones de búsqueda y agentes basadas en datos de Snowflake.

Modelos de Anthropic: Los modelos SOTA que impulsan Cortex Agents

El LLM más inteligente de Anthropic, Claude 3.5 Sonnet actualizado, se ejecuta en Snowflake para llevar el razonamiento avanzado, la codificación y la ejecución de flujos de trabajo complejos a las aplicaciones empresariales usando el mismo marco de gobernanza que los datos. Este modelo ahora impulsa Cortex Analyst y se puede utilizar con Cortex Agents, lo que da como resultado una recuperación más precisa, un análisis avanzado de los datos estructurados y flujos de trabajo de agentes eficientes, todo ello al tiempo que mantiene la gobernanza a escala.

Con Claude 3.5 Sonnet, Cortex Agents puede planificar, orquestar, reflexionar y supervisar las tareas basadas en IA con mayor precisión. Las capacidades de los agentes de Cortex mejoran gracias al soporte del uso de herramientas y los resultados estructurados. Los clientes pueden utilizar la capacidad multimodal de Claude 3.5 Sonnet para obtener información de un conjunto más amplio de datos no estructurados, incluidas las imágenes. Todas las interacciones se producen en el entorno seguro de Snowflake, lo que facilita el acceso controlado y la gobernanza unificada en todos los casos de uso. 

Los clientes pueden utilizar Claude 3.5 en Cortex Agents para ofrecer una IA precisa, eficiente y gobernada a escala, y acelerar la entrega de aplicaciones de IA generativa.

AI Observability: Evaluación y rastreo de agentes de IA

La observabilidad de la IA aporta fiabilidad, rendimiento y confianza a las aplicaciones de IA generativa. Con evaluaciones y supervisión adecuadas, las empresas pueden obtener resultados más precisos, optimizar los costes y abordar sus necesidades de gobernanza.

Novedades de Cortex AI Observability 

Cortex AI Observability en Snowflake cuenta con la tecnología de TruLens y pronto estará disponible en vista previa pública.

1. Evaluación integral

AI Observability permite evaluar el rendimiento de los agentes y las aplicaciones mediante técnicas como el LLM como juez (“LLM-as-a-judge”). Puede incluir métricas como relevancia, fundamentación y nocividad, lo que ofrece a los clientes la capacidad de iterar y ajustar rápidamente el agente para mejorar el rendimiento. 

2. Comparación

Los usuarios pueden comparar los procesos de evaluación en paralelo y evaluar la calidad y precisión de las respuestas en diferentes configuraciones de LLM para identificar la mejor configuración para las implementaciones de producción.

3. Rastreo exhaustivo

Los clientes pueden habilitar el registro de cada paso de las ejecuciones de los agentes en las instrucciones de entrada, el uso de herramientas y la generación de respuestas finales. Esto permite depurar y ajustar fácilmente la precisión, la latencia y el coste. 

La gobernanza y el procesamiento eficaces de datos estructurados y no estructurados en Snowflake son cruciales para crear conjuntos de datos preparados para la IA que los servicios de recuperación puedan utilizar. El soporte de Snowflake de los datos no estructurados incluye capacidades para almacenar, acceder, procesar, gestionar, gobernar y compartir dichos datos. Snowflake Connector for SharePoint comprueba que se respetan los permisos existentes para proteger los controles de acceso. Además, la adquisición de Datavolo por parte de Snowflake mejora la capacidad de la plataforma para gestionar la integración de datos multimodales, reforzando así su compromiso con una gobernanza y un procesamiento de datos sólidos.

Con estas capacidades, Cortex AI Observability hace que las aplicaciones de IA sean más eficientes y fiables para el uso empresarial.

El futuro de los agentes de IA

Los agentes de IA van más allá de la automatización básica, ya que también gestionan dinámicamente acciones y razonamientos en varios pasos. Esta es una mejora significativa con respecto a las herramientas de software, en su mayoría reactivas, disponibles en la actualidad. A medida que los LLM progresan, los agentes colaborarán, planificarán, ejecutarán y perfeccionarán las tareas, lo que aumentará la eficiencia y reducirá los costes. Los agentes tienen el potencial de reducir tanto los gastos laborales como los de software de forma exponencial.

Cortex Agents, con el uso de Cortex Analyst, Cortex Search, los modelos Claude de Anthropic y AI Observability, incorporan la inteligencia a un marco de gobernanza unificado y un motor de procesamiento eficiente para datos estructurados y no estructurados.  Con estos componentes básicos, los desarrolladores pueden crear e implementar agentes de datos que se puedan integrar en la aplicación de su elección mediante la interfaz REST API. Además, las organizaciones pueden aprovechar las soluciones creadas por nuestros partners Sema4.ai y Seek AI.

Más información

• Prueba Cortex Agents: Crea tu primer agente con Cortex Agents.
• Mira la demostración: Cortex Agents en acción.
• Obtén más información: Descubre cómo Cortex Agents mejora el acceso a los datos.