Dimensione análises de texto não estruturados em escala com inferência eficiente de LLM em lote
No mundo corporativo, textos não estruturados estão em todos os lugares: avaliações de clientes, tíquetes de suporte, transcrições de chamadas e documentos. Grandes modelos de linguagem (large language models, LLMs) estão transformando a forma como extraímos valor desses dados ao executar tarefas desde a categorização até o resumo e muito mais. Embora a IA tenha provado que conversas em linguagem natural em tempo real são possíveis com LLMs, extrair insights de milhões de conjuntos de dados não estruturados usando esses LLMs pode ser um divisor de águas. É nesse momento que a inferência de LLMs em lote torna-se indispensável.
Neste artigo, você vai obter insights sobre casos de uso comerciais mais comuns para análise de dados de texto em grande escala. Você também vai descobrir por que a implementação de pipelines de LLMs em lote pode ser desafiadora e como a Snowflake otimizou o Snowflake Cortex AI para inferência em lote via funções de SQL.
Quais são os trabalhos mais comuns de inferência de LLMs em lote?
Diversas equipes de uma organização podem usar a inferência de LLM em lote para extrair insights de grandes volumes de dados de texto. As equipes de inteligência do cliente analisam as avaliações e os comentários do fórum para identificar tendências de percepção, enquanto as equipes de suporte processam tíquetes para descobrir problemas com os produtos e informar as falhas de roteiro de desenvolvimento de um produto. Ao mesmo tempo, as equipes de operações usam a extração de entidades de documentos para automatizar fluxos de trabalho e permitir filtragem analítica com base em metadados. Veja a seguir alguns exemplos de como diferentes equipes podem usar LLMs para extrair insights de grandes volumes de dados de textos não estruturados.
Marcação (tagging) e classificação de texto: categorização automática de tíquetes de suporte, emails, artigos de notícias ou avaliações de produtos com base em sentimento, tópico ou urgência.
Extração de entidades: extração de entidades-chave (nomes, datas, locais, dados financeiros) de contratos, faturas ou registros médicos para transformar texto não estruturado em dados estruturados.
Análise de tendências e de sentimento: análise de feedback do cliente, respostas de pesquisa ou discussões de mídias sociais em escala para detectar tendências, medir sentimento e tomar decisões de negócios embasadas.
Moderação de conteúdo: verificação de grandes conjuntos de dados (publicações em mídias sociais, logs de chat, feedback do cliente) em busca de violações de políticas, conteúdo prejudicial ou problemas de conformidade regulatória.
Resumo do documento: gerar resumos concisos para grandes volumes de relatórios, trabalhos de pesquisa, documentos jurídicos ou transcrições de reuniões.
Preparação do documento para RAG: ingerir, limpar e fragmentar documentos antes de incorporá-los às representações vetoriais, possibilitando uma recuperação eficiente e melhores respostas de LLM em sistemas de geração aumentada de recuperação (retrieval augmented generation, RAG).
Qualidade dos dados de texto: validação de vários campos de texto, como preenchimento de formulários, fornecendo contexto sobre as melhores combinações de entrada, para permitir que os LLMs detectem anomalias e registros incorretos visando melhorar a qualidade dos dados.
Engenharia de recursos: extração, categorização e transformação de texto não estruturado em recursos estruturados, aprimorando modelos de aprendizado de máquina com contexto e insights avançados.
Por que pipelines de LLM em lote eficientes são importantes
"Os LLMs estão transformando o local de trabalho" é mais do que apenas um slogan. Pense nisto: categorizar 10.000 tíquetes de suporte levaria cerca de 55 horas (considerando 20 segundos por tíquete) para o funcionário mais rápido da equipe. Com um pipeline de LLM otimizado, a mesma tarefa leva minutos. Não se trata de uma melhoria gradual, mas um ganho na eficiência revolucionário, que economiza milhares de horas de trabalho e otimiza enormemente os tempos de resposta.
Conforme os volumes de dados crescem e a automação de IA expande, a eficiência de custos no processamento com LLMs depende tanto da arquitetura do sistema quanto da flexibilidade do modelo. Um sistema eficiente de processamento em lote é dimensionado de forma econômica para lidar com volumes crescentes de dados não estruturados. Ser capaz de mudar de LLMs de forma flexível ajuda as empresas a otimizar os custos, dimensionando os modelos corretamente em escala para cada caso de uso e atualizando facilmente conforme os modelos melhoram.
E para criar eficiências significativas em tecnologia e equipe, as organizações precisam pensar nas oportunidades de integrar pipelines de LLM aos fluxos de trabalho de dados estruturados já existentes. Expandir os atuais investimentos em gerenciamento, processamento e orquestração de pipeline simplifica a arquitetura e reduz a complexidade operacional decorrente do trabalho de integração e manutenção da infraestrutura. Essa unificação também pode permitir aos engenheiros de dados, que já gerenciam pipelines estruturados, integrar e manter facilmente fluxos de trabalho de dados não estruturados.
Executar pipelines de inferência em lote com eficiência com o Cortex AI
A Headset mudou um de seus pipelines de categorização em lote, que estava funcionando com um provedor líder de inferência de LLM API (Fireworks AI), e viu a execução de tarefas passar de 20 minutos para 20 segundos usando a função de inferência do Snowflake Cortex COMPLETE.
Ao usar a função Snowflake Cortex COMPLETE, os desenvolvedores podem executar a inferência de LLM em lote com funções SQL que não precisam de bancos de dados intermediários ou lambdas para obter processamento confiável e de alto rendimento com escolha de modelo flexível.
Casos de sucesso de clientes
Com o Snowflake, a Nissan conseguiu agilizar dois meses do cronograma de projeto de uma aplicação de inteligência voltada para analisar o sentimento dos clientes em avaliações e fóruns para ajudar as empresas de varejo a melhorar seus produtos e serviços. Assista ao webinar sob demanda.
Em apenas dois dias, a Skai implementou uma ferramenta de categorização para dar a seus clientes melhores insights sobre os padrões de compra, desenvolvendo categorias que fazem sentido em várias plataformas de comércio eletrônico. Ler o estudo de caso.
Leia mais histórias em nosso ebook de casos de sucesso dos clientes.
Começar agora
Confira esses recursos e mantenha-se atualizado sobre a inferência sem servidor para mais tipos de dados.
Authors
