Analíticas de texto no estructurado a escala con inferencia de LLM por lotes eficiente

El texto no estructurado está en todas partes: reseñas de clientes, tickets de asistencia, transcripciones de llamadas, documentos. Los large language models (LLM) están transformando la forma en que extraemos valor de estos datos al ejecutar tareas de categorización, resumen y mucho más. Aunque la IA ha demostrado que las conversaciones en lenguaje natural en tiempo real son posibles con los LLM, extraer información de millones de registros de datos no estructurados mediante estos LLM puede suponer un cambio radical. Es aquí donde la inferencia de LLM por lotes se vuelve esencial.

En esta entrada, obtendrás información sobre casos de uso empresariales comunes para análisis de datos de texto a gran escala. También descubrirás por qué implementar flujos de LLM por lotes puede ser un reto y cómo Snowflake ha optimizado Snowflake Cortex AI para la inferencia por lotes a través de funciones SQL. 

Diversos equipos de una organización pueden aprovechar la inferencia de LLM por lotes para extraer información de grandes volúmenes de datos de texto. Los equipos de inteligencia de clientes analizan las reseñas y los comentarios de los foros para identificar tendencias de sentimientos, mientras que los equipos de asistencia procesan los tickets para descubrir problemas relacionados con los productos e informar sobre las lagunas en la hoja de ruta de un producto. Mientras tanto, los equipos de operaciones utilizan la extracción de entidades en documentos para automatizar flujos de trabajo y permitir el filtrado analítico basado en metadatos. A continuación, se muestran algunos ejemplos más de cómo diferentes equipos pueden utilizar los LLM para extraer información de grandes volúmenes de datos de texto no estructurado: 

• Clasificación y etiquetado del texto: Clasificación automática de tickets de asistencia, correos electrónicos, artículos de noticias o reseñas de productos en función del sentimiento, el tema o la urgencia.

• Extracción de entidades: Extracción de entidades clave (nombres, fechas, ubicaciones, cifras financieras) de contratos, facturas o historias clínicas para transformar texto no estructurado en datos estructurados.

• Análisis de sentimientos y tendencias: Análisis de comentarios de clientes, respuestas a encuestas o debates en redes sociales a escala para detectar tendencias, medir el sentimiento y fundamentar decisiones empresariales.

• Moderación del contenido: Análisis de grandes conjuntos de datos (publicaciones en redes sociales, registros de chat, comentarios de clientes) para detectar infracciones de políticas, contenido perjudicial o problemas de cumplimiento normativo.

• Elaboración de resúmenes de documentos: Generación de resúmenes concisos de grandes volúmenes de informes, trabajos de investigación, documentos legales o transcripciones de reuniones.

• Preparación de documentos para RAG: Ingesta, limpieza y fragmentación de documentos antes de integrarlos en representaciones vectoriales, lo que permite una recuperación eficiente y respuestas de LLM mejoradas en sistemas de generación aumentada por recuperación (RAG).

• Calidad de los datos de texto: Validación de varios campos de texto, como los datos rellenados en formularios, al proporcionar contexto sobre combinaciones de entrada ideales, lo que permite a los LLM detectar anomalías y registros incorrectos para mejorar la calidad de los datos.

• Ingeniería de características: Extracción, categorización y transformación de texto no estructurado en características estructuradas, lo que mejora los modelos de aprendizaje automático con información y contexto enriquecidos.

“Los LLM están cambiando el lugar de trabajo” es mucho más que un simple eslogan. Considera lo siguiente: clasificar 10 000 tickets de asistencia le llevaría incluso a tu empleado más rápido unas 55 horas (a 20 segundos por ticket). Con un flujo de LLM optimizado, la misma tarea lleva minutos. No se trata de una mejora incremental, sino de una mejora de la eficiencia transformadora que ahorra miles de horas de trabajo y acelera drásticamente los tiempos de respuesta.

A medida que aumentan los volúmenes de datos y se amplía la automatización de la IA, la rentabilidad del procesamiento con LLM depende tanto de la arquitectura del sistema como de la flexibilidad del modelo. Un sistema de procesamiento por lotes eficiente escala de manera rentable para gestionar volúmenes crecientes de datos no estructurados. La capacidad de cambiar de LLM de forma flexible ayuda a las empresas a optimizar los costes mediante el ajuste de los modelos para cada caso de uso y la actualización sencilla a medida que los modelos mejoran.

Además, para aumentar la eficiencia de los equipos y de la tecnología, las organizaciones deben considerar la integración de los flujos de LLM con los flujos de trabajo de datos estructurados existentes. Ampliar las inversiones existentes en gestión, procesamiento y orquestación de flujos simplifica la arquitectura y reduce la complejidad operativa derivada de los trabajos de integración y mantenimiento de la infraestructura. Esta unificación también puede permitir a los ingenieros de datos, que ya gestionan flujos estructurados, incorporar y mantener fácilmente flujos de trabajo de datos no estructurados.

Headset cambió uno de sus flujos de categorización por lotes, que se había estado ejecutando con un proveedor de inferencia de API de LLM líder (Fireworks AI), y vio cómo la ejecución de trabajos pasaba de 20 minutos a 20 segundos mediante la función de inferencia COMPLETE de Snowflake Cortex.

Con la función COMPLETE de Snowflake Cortex, los desarrolladores pueden ejecutar la inferencia de LLM por lotes con funciones SQL que no requieren bases de datos intermediarias ni lambdas para lograr un procesamiento fiable y de alto rendimiento con una elección de modelo flexible.

• Al utilizar Snowflake, Nissan adelantó dos meses el plazo de su proyecto para una aplicación de inteligencia sobre clientes que analiza los sentimientos de los clientes procedentes de reseñas y foros para ayudar a los concesionarios a mejorar sus ofertas de productos y servicios. Mira el webinar bajo demanda.

• Skai implementó una herramienta de categorización en solo dos días para ayudar a sus clientes a obtener mejor información sobre los patrones de compra mediante la creación de categorías que tuvieran sentido en varias plataformas de comercio electrónico. Lee el caso de éxito.

• Encuentra más historias en nuestro ebook sobre los éxitos de los clientes.

Echa un vistazo a estos recursos y no pierdas de vista las novedades sobre la inferencia sin servidor (serverless) para más tipos de datos.

• Comenzar a utilizar los LLM de Cortex con un curso guiado (Coursera)

• Evento virtual de casos de uso de IA empresarial (Gen AI day)

• Quickstart de analíticas de reseñas de clientes

• Quickstart de la extracción de entidades de documentos