Os dados da sua empresa precisam de um agente

Agentes de IA, sistemas autônomos que executam tarefas usando inteligência artificial, podem melhorar a produtividade dos negócios realizando operações complexas e multicamadas em minutos. Para serem eficazes e confiáveis, esses agentes precisam ter acesso aos dados estruturados e não estruturados (cujo volume não para de crescer) de uma organização. À media que as conexões de dados aumentam, o gerenciamento de controles de acesso e a recuperação eficiente de informações precisas, mantendo protocolos de privacidade rigorosos, torna-se um processo cada vez mais complexo.

Os resultados “agênticos” dependem da qualidade dos dados em que eles se baseiam e da precisão dos sistemas de recuperação que ajudam a obtê-los. No entanto, as organizações têm dificuldades de estabelecer um caminho para a produção por causa da desconexão entre IA e dados. Os grandes modelos de linguagem (LLMs) são ótimos em dados não estruturados; porém, muitas organizações não possuem processos maduros de preparação desse tipo de dados. Por outro lado, os dados estruturados são mais bem gerenciados; porém, ainda há desafios para permitir que os LLMs entendam linhas e colunas. 

Agora, os clientes da Snowflake dispõem de uma plataforma unificada para processamento e recuperação de dados estruturados e não estruturados com alta precisão, prontos para uso. Uma governança unificada completa, da ingestão à aplicação, permite que as equipes forneçam uma nova geração de agentes de dados. Os clientes podem criar soluções dimensionáveis ao mesmo tempo em que aplicam controles de acesso e privacidade. 

A necessidade de agentes de dados

Na Snowflake, acreditamos que em breve os agentes de IA serão essenciais para a força de trabalho corporativa, aumentando a produtividade das equipes de suporte ao cliente, técnicos de campo, análise de dados, engenharia e muito mais. Eles vão liberar tempo valioso de trabalho dos colaboradores, que poderão se concentrar em desafios de maior valor que a empresa enfrenta. Os agentes de dados, uma categoria especializada de agentes de IA, combinam dados e ferramentas para oferecer insights mais precisos e fundamentados, selecionando de forma eficaz as fontes e as ferramentas de dados certos para a recuperação. 

Para que os agentes de IA trabalhem em escala, eles precisam de uma conexão segura com dados corporativos e uma governança unificada para gerenciar seus acessos, semelhante aos controles existentes para suas equipes. Eles precisam seguir políticas de dados, acessar várias fontes de forma eficiente e recuperar informações precisas para retornar resultados confiáveis e de alto valor.  

No entanto, entendemos que esse futuro “agêntico” enfrenta desafios proporcionais ao seu potencial. Enquanto a qualidade do modelo aumenta e os custos de inferência diminuem, vemos o mesmo conjunto de desafios nas empresas que tentam implementar sistemas de agentes confiáveis em escala:

• Precisão: em termos de qualidade, há um alto padrão para a produção com o uso de agentes em aplicações corporativas. A margem de erro é baixa, especialmente em funções cruciais para os negócios, como finanças ou engenharia.

• Confiança e segurança: à medida que os clientes criam aplicações de IA com uso mais intenso de dados, o cumprimento de políticas de segurança e governança torna-se cada vez mais desafiador.

• Acesso aos dados governados: os agentes precisam de acesso a uma grande variedade de fontes de dados para poder operar de forma confiável dentro do contexto de negócios, incluindo fontes de dados não estruturadas (ex.: texto, áudio) e estruturadas (ex.: tabelas, visualizações), que muitas vezes são espalhadas por vários sistemas.

O segredo para dimensionar fluxos de trabalho agênticos com o uso de dados é a interação contínua entre modelos e dados, mantendo a precisão, a confiança e a conformidade. Por exemplo, um analista financeiro pode precisar combinar dados de receita (estruturados) com relatórios financeiros e pesquisa de mercado (não estruturados). Esses casos de uso corporativo precisam ter acesso seguro aos dados e de uma maneira de apresentar a informação certa à IA com governança completa. 

Para resolver esse problema, temos o prazer de lançar o Cortex Agents, um serviço totalmente gerenciado que simplifica a integração, a recuperação e o processamento de dados estruturados e não estruturados, ajudando os clientes Snowflake a criar agentes de alta qualidade em escala.

Cortex Agents: levando a IA para as empresas

O Cortex Agents, agora disponível em versão preliminar pública, funciona entre fontes de dados estruturados e não estruturados (sejam elas tabelas do Snowflake ou arquivos em PDF armazenados em objetos) para obter insights. Os agentes eliminam consultas complexas, obtêm dados relevantes e geram respostas precisas usando Cortex Search, Cortex Analyst e LLMs. Isso permite precisão, eficiência e governança em cada etapa. 

O que são os Cortex Agents?

Os Cortex Agents planejam tarefas, usam ferramentas para executá-las e analisam os resultados para melhorar as respostas. Disponível como uma API REST fácil de usar, o Cortex Agents pode ser integrado perfeitamente a qualquer aplicação. Os agentes usam o Cortex Analyst (SQL estruturado) e o Cortex Search (dados não estruturados) como ferramentas, juntamente com LLMs, para analisar e gerar respostas. O fluxo de trabalho envolve quatro componentes principais:

1. Planejamento: aplicações muitas vezes alternam entre dados processados em fontes estruturadas e não estruturadas. Por exemplo, pense em um app conversacional desenvolvido para responder a consultas de usuários. Um usuário empresarial pode primeiro solicitar informações sobre os principais distribuidores por receita (dado estruturado) e, em seguida, consultar um contrato (não estruturado). Os Cortex Agents podem analisar a solicitação, organizar um plano e dar uma resposta. 

• Muitas opções: quando o usuário faz uma pergunta ambígua (ex.: "Informações da Acme Supplies"), o agente considera diferentes possibilidades (produtos, localização, equipe de vendas) tentando resolver a ambiguidade e melhorar a precisão.
• Divisão em subtarefas: os Cortex Agents podem dividir uma tarefa ou solicitação (ex.: "Quais são as diferenças entre os termos de contrato da Acme Supplies e da Acme Stationery?") em várias partes para uma dar resposta mais precisa.
• Diferentes opções de ferramentas: o agente seleciona uma ferramenta, que pode ser Cortex Analyst, Cortex Search ou geração de SQL, a partir de linguagem natural, para facilitar o acesso governado e permitir a conformidade com as políticas corporativas.

2. Uso da ferramenta: com um plano implementado, o agente pode recuperar os dados com eficiência. O Cortex Search extrai insights de fontes não estruturadas, enquanto o Cortex Analyst gera SQL para processar dados estruturados. Um suporte abrangente para identificação e execução de ferramentas possibilita o fornecimento de aplicações sofisticadas e fundamentadas em dados corporativos.

3. Reflexão: depois de cada uso da ferramenta, o agente avalia os resultados para determinar as próximas etapas, solicitando esclarecimento, iteração ou gerando uma resposta final. Essa orquestração permite processar consultas de dados complexas e, ao mesmo tempo, aumentar a precisão e manter os controles de conformidade dentro do perímetro seguro do Snowflake.

4. Monitoramento e iteração: após a implementação, os clientes podem monitorar as métricas, analisar o desempenho e refinar o comportamento para realizar melhoras contínuas. Na aplicação cliente, os desenvolvedores podem usar o TruLens para monitorar a interação com o agente. Ao monitorar e refinar continuamente os controles de governança, as empresas podem dimensionar com confiança os agentes de IA, mantendo a segurança e a conformidade. 

Junto com outros recursos do Snowflake, o Cortex Agents agora oferece uma solução completa para recuperar, processar e controlar dados estruturados e não estruturados em escala.  

A Snowflake está ampliando seus recursos de IA com a versão preliminar pública do Cortex Agents, para ajudar obtenção de insights de dados ao orquestrar conjuntos de dados estruturados e não estruturados. O Cortex Agents simplifica o acesso e a orquestração de dados de aplicações “agênticas”, possibilitando decisões mais confiáveis com o uso de IA. Ele foi desenvolvido com base nas melhorias implementadas em nossos serviços de recuperação do Cortex AI:

• Cortex Analyst, agora disponível ao público com o Anthropic Claude como um dos principais LLMs que viabiliza o uso de text-to-SQL “agêntico” para recuperação de dados estruturados de alta qualidade.

• O Cortex Search alcançou o nível mais alto de precisão de recuperação de dados não estruturados de qualidade, ultrapassando os modelos de incorporação da OpenAI em pelo menos 12% em um conjunto diversificado de benchmarks, incluindo (NDCG@10). 

Agora, vamos descobrir como o Cortex Analyst melhora a análise de dados estruturados e as inovações mais recentes que melhoram os seus recursos.

Cortex Analyst: geração de SQL com tecnologia de IA, com entendimento semântico

O Cortex Analyst pode ser usado como uma ferramenta dentro do Cortex Agents. 

Diferente dos sistemas típicos de text-to-SQL que dependem apenas da correspondência de padrões, o Cortex Analyst usa um modelo semântico para mapear termos de negócios aos dados subjacentes. Essa método exclusivo melhora o precisão em casos de uso reais envolvendo ambientes complexos de multi-table.

Quais são as novidades do Cortex Analyst?

1. Gestão da maior complexidade dos esquemas

Agora, o Cortex Analyst vai além apenas do star-schema e do Snowflake-schema JOINs. Nossa nova validação avançada JOIN elimina problemas comuns, como alucinações JOIN e contagens duplas, que geralmente surgem em consultas complexas. Isso permite ao Cortex Analyst oferecer suporte a consultas multi-table sem comprometer a precisão.

2. Criação e monitoramento de modelos semânticos

Nossa versão preliminar pública da nova interface de usuário do Analyst Admin no Snowsight simplifica o processo de criação e refinamento de modelos semânticos. Os administradores podem selecionar tabelas e colunas e usar LLMs (executando dentro do perímetro seguro do Snowflake) para gerar um arquivo YAML do modelo semântico inicial.

A interface de administrador também monitora o engajamento e o feedback do usuário. Isso permite que os clientes monitorem o uso e façam melhorias bem informadas nos modelos semânticos ao longo do tempo.

3. Personalização para lógica específica de negócios

Com instruções personalizadas agora disponíveis para o público geral, os usuários podem personalizar o Cortex Analyst para atender às necessidades de negócios específicas usando linguagem natural no arquivo Semantic Model. Casos de uso comuns incluem especificar datas de início do ano fiscal, explicando convenções internas de nomenclatura e priorizando tabelas-chave durante a geração de SQL.

4. Desempenho comprovado em benchmarks

Com base em benchmarks internos, alcançamos 90% de precisão em casos de uso de texto para SQL. Com o Claude 3.5 Sonnet da Anthropic, podemos melhorar ainda mais o desempenho para melhorar a experiência. O Cortex Analyst, executado no Claude, supera outros modelos em consultas do mundo real usando as informações armazenadas no modelo semântico.

Com essas atualizações, o Cortex Analyst melhora a análise de dados estruturados e simplifica a configuração de administrador para aplicações agênticas.

Cortex Search: mecanismo de contexto de alta qualidade para dados não estruturados

Os Cortex Agents usam o Cortex Search para recuperar dados não estruturados (ex.: texto, áudio, imagem, vídeo). O Cortex Search é uma pesquisa híbrida nativa, uma combinação de pesquisa vetorial e lexical (de palavras-chave), com uma etapa adicional de retrabalho semântico, para oferecer recuperação de alta qualidade e baixa latência em escala. 

O Cortex Search atinge uma qualidade de ponta, superando as arquiteturas de pesquisa corporativa concorrentes em precisão de recuperação (NDCG@10) com modelos de incorporação de OpenAI em pelo menos 12% em um conjunto diversificado de benchmarks. As avaliações foram realizadas com base em um conjunto representativo de quatro conjuntos de dados do benchmark de pesquisa pública. A pesquisa híbrida do Cortex Search usando o Snowflake Arctic Embed L v2.0 foi comparada a um serviço concorrente de pesquisa baseado em Lucene, hospedado na nuvem (ex.: Azure AI Search, AWS OpenSearch, ElasticSearch), usando pesquisa híbrida com o Text Embedding 3 Large da OpenAI, bem como pesquisa somente de palavras-chave.

Quais são as novidades do Cortex Search?

1. Maior escala e acessibilidade

Agora, o Cortex Search oferece suporte à indexação de centenas de milhões de linhas. Além disso, os custos de manutenção do Cortex Search foram reduzidos em 30% como resultado das otimizações da infraestrutura.

2. Personalização aprimorada

Agora, o Cortex Search permite selecionar o modelo de incorporação de vetores para pesquisa semântica. Isso inclui dois modelos multilinguagem, snowflake-embed-l-v2.0 e voyage-multilingual-2. Além disso, o Cortex Search oferece suporte ao filtragem de intervalos de data em colunas de metadados.

3. Novos recursos de pré-visualização 

Os novos recursos de pré-visualização incluem a interface de usuário do Administrador do Cortex Search (para observabilidade e ajuste de qualidade); melhoria e redução nos sinais numéricos e temporais; pontuações de confiança dos resultados; além de recursos avançados de filtragem.

Com esses novos recursos, o Cortex Search oferece uma base dimensionável e personalizável para a pesquisa e aplicações agênticas desenvolvidas com base nos dados do Snowflake.

Modelos Anthropic: os modelos SOTA são a base dos Cortex Agents

O LLM mais inteligente da Anthropic, o Claude 3.5 Sonnet atualizado, é executado dentro do Snowflake para trazer raciocínio avançado, codificação e execução de fluxos de trabalho complexos para aplicações corporativas usando a mesma estrutura de governança dos dados. Esse modelo agora utiliza o Cortex Analyst e pode ser usado em Cortex Agents, resultando em recuperação mais precisa, análise avançada de dados estruturados e fluxos de trabalho agênticos eficientes, tudo isso mantendo a governança em escala.

Com o Claude 3.5 Sonnet, os Cortex Agents podem planejar, orquestrar, refletir e monitorar tarefas orientadas por IA com maior precisão. Os recursos agênticos do Cortex estão melhores com o suporte ao uso de ferramentas e à produção estruturada. Os clientes podem usar o recurso multimodal do Claude 3.5 Sonnet para obter insights a partir de um conjunto mais amplo de dados não estruturados, incluindo imagens. Todas as interações ocorrem dentro do ambiente seguro do Snowflake, facilitando o acesso controlado e a governança unificada em todos os casos de uso. 

Os clientes podem usar o Claude 3.5 em Cortex Agents para oferecer IA precisa, eficiente e governada em escala e agilizar o fornecimento de aplicações de IA generativa.

AI Observability: avaliação e rastreamento de agentes de IA

A observabilidade de IA traz confiabilidade, desempenho e confiança para as aplicações de IA generativa. Com avaliações e monitoramento adequados, as empresas podem obter resultados mais precisos, otimizar os custos e cumprir suas necessidades de governança.

Quais são as novidades do Cortex AI Observability? 

O Cortex AI Observability no Snowflake usa tecnologia TruLens e em breve estará disponível em versão preliminar pública.

1. Avaliação completa

O AI Observability pode avaliar o desempenho de agentes e aplicações usando técnicas como “LLM-as-a-judge”. Ele pode reportar métricas, como relevância, fundamentação e grau de nocividade, dando aos clientes a capacidade de repetir e refinar rapidamente o agente para melhorar o desempenho. 

2. Comparação

Os usuários podem comparar os processos de avaliação lado a lado e verificar a qualidade e a precisão das respostas em diferentes configurações de LLM para identificar a melhor configuração para implementações de produção.

3. Rastreamento abrangente

Os clientes podem ativar o login para cada etapa das execuções de agente em solicitações de entrada, uso da ferramenta e geração de resposta final. Isso permite fácil depuração e refinamento de precisão, latência e custo. 

Governança e processamento eficazes de dados estruturados e não estruturados dentro do Snowflake são fundamentais para a criação de conjuntos de dados prontos para IA para que os serviços de recuperação possam utilizá-los. O suporte oferecido pela Snowflake para dados não estruturados inclui recursos para armazenar, acessar, processar, gerenciar, controlar e compartilhar esses dados. O Snowflake Connector for SharePoint verifica se as permissões existentes são respeitadas para controles de acesso seguros. Além disso, a aquisição da Datavolo pela Snowflake melhora a capacidade da plataforma de lidar com integração multimodal de dados, reforçando seu compromisso com governança e processamento de dados sólidos.

Com esses recursos, o Cortex AI Observability torna as aplicações de IA mais eficientes e confiáveis para uso corporativo.

O futuro dos agentes de IA

Os agentes de IA estão mudando para além da automação básica, lidando dinamicamente com ações e raciocínio em várias etapas. Trata-se de uma melhoria significativa em relação às ferramentas de software disponíveis atualmente, em sua maioria reativas. Conforme os LLMs continuam a evoluir, os agentes vão colaborar, planejar, executar e refinar tarefas, melhorando a eficiência e reduzindo os custos. Os agentes têm o potencial de reduzir em escala significativa as despesas de software e mão de obra.

Usando o Cortex Analyst, o Cortex Search, os modelos IA Observability e Claude da Anthropic, o Cortex Agents adiciona inteligência a uma estrutura de governança unificada e de um mecanismo de processamento eficiente para dados estruturados e não estruturados.  Usando esses componentes fundamentais, os desenvolvedores podem criar e implementar agentes de dados que podem ser integrados à aplicação de sua escolha usando a interface da API REST. Além disso, as organizações podem utilizar as soluções criadas pelos nossos parceiros Sema4.ai e Seek AI.

Saber mais

• Testar o Cortex Agents: construa seu primeiro Cortex Agent.
• Ver a demonstração: veja o Cortex Agents em funcionamento.
• Ler mais: saiba como o Cortex Agents melhora o acesso aos dados.