Simplificando a análise multimodal de dados com o Snowflake Cortex AI

Agora, o Snowflake Cortex AI possui recursos nativos de IA multimodal, eliminando silos de dados e a necessidade de ferramentas separadas e caras. Apresentamos o Cortex AI COMPLETE Multimodal, agora em versão preliminar pública. Essa grande melhoria traz o poder de analisar imagens e outros dados não estruturados diretamente no mecanismo de consulta do Snowflake, usando SQL familiar em escala. Unifique seus dados estruturados e não estruturados com mais eficiência e menos complexidade. É importante destacar que isso funciona perfeitamente com os dados do Snowflake, as tabelas Iceberg e o armazenamento de objetos, como o Amazon S3, tudo sem mover seus dados. Aproveite a segurança e a governança integradas do Snowflake para gerar insights mais consistentes e confiáveis de todos os tipos de dados corporativos.

Superando a falha dos dados

No cenário atual baseado em dados, as organizações podem obter uma boa vantagem competitiva ao combinar, sem esforço, insights de fontes não estruturadas, como texto, imagem, áudio e vídeo, com dados estruturados, responsáveis por obter uma vantagem de mercado. Com o Cortex AI COMPLETE Multimodal, essas tarefas complexas tornam-se simples, usando apenas algumas linhas de SQL, reduzindo o custo de análise de dados. As equipes podem, por exemplo, melhorar modelos preditivos por meio da inclusão de textos e imagens, correlacionar imagens médicas aos resultados do tratamento ou identificar defeitos na fabricação a partir de fotos da linha de produção.

Processe todos os seus dados onde eles já estão

Ambientes de dados fragmentados e arquiteturas complexas na nuvem dificultam a eficiência e a inovação. Para lidar com isso, o Cortex AI COMPLETE Multimodal, agora em versão preliminar pública, oferece às empresas uma solução para processar diretamente arquivos de imagens em uma única plataforma unificada segura, o que facilita a gestão e o dimensionamento. A plataforma gerenciada do Cortex AI opera automaticamente em lotes, fornecendo uma alta taxa de transferência de dados não estruturados armazenados em um provedor de objetos em nuvem externo, como um bucket do Amazon S3 ou no Snowflake, eliminando a necessidade de investir em ciclos na criação de soluções que organizem tarefas entre diferentes serviços de nuvem. Isso agiliza os insights de dados visuais e a integração com dados estruturados, melhorando a velocidade e a agilidade dos profissionais de dados técnicos. Como resultado, essa arquitetura simplificada reduz a complexidade, reduz o tempo de obtenção de informações e o custo total de propriedade.

Figura 1. Comparação de arquiteturas de análise multimodal

Fig. 1: Multimodal analysis architecture comparison

Análise multimodal: obtendo uma visão completa

Com frequência, os cientistas de dados usam modelos preditivos desenvolvidos com base em dados estruturados. No entanto, a dependência desses modelos apenas de dados estruturados pode ignorar sinais valiosos presentes em fontes não estruturadas, como imagens, que influenciam a interação com o usuário. Em vez de manter sistemas separados para processamento de imagens e dados estruturados, agora os analistas e cientistas de dados podem trabalhar dentro do ambiente já conhecido do Snowflake, usando SQL simples para descobrir as correlações entre as métricas tradicionais e a inteligência visual.

Veja a seguir como os analistas podem usar SQL para analisar elementos visuais em anúncios publicitários, revelando novos padrões do desempenho da campanha, antes escondidos. Ao extrair recursos visuais, suas equipes técnicas podem descobrir relacionamentos com o engajamento das mídias sociais e as taxas de conversão dos usuários.

SELECT 

c.ad_id, 
c.conversion_rate,
snowflake.cortex.complete('claude-3-5-sonnet','Classify the prominent color visible in this image. Respond with the name of the color and nothing else', adimages) as prominent_color ,

snowflake.cortex.complete('claude-3-5-sonnet','Are there human faces identified in the Image? Respond only with TRUE or FALSE and nothing else', adimages) as human_face_flag

FROM campaign_table c join image_table i on c.ad_id i.ad_id

É aqui que a análise multimodal mostra o seu verdadeiro potencial, aliando dados estruturados tradicionais a esses insights visuais avançados e criando uma visão mais completa dos negócios. Outros exemplos incluem varejistas que integram metadados de fotos de produtos aos históricos de transações para obter insights mais detalhados de como as imagens influenciam as decisões de compra. Seja no setor de varejo, indústria, saúde ou finanças, é possível empregar esses recursos para obter insights mais detalhados e criar experiências mais significativas para os clientes capazes de promover o crescimento dos negócios.

Transformando setores com análise multimodal com tecnologia de IA

A imensa quantidade de ativos de dados não estruturados de sua organização contém valor comercial inexplorado. O Cortex AI Functions libera esse valor por meio de um SQL simples que combina análise de dados estruturados e não estruturados.

Para otimizar as campanhas de marketing: as equipes de marketing usam o Cortex AI para transformar o desempenho de campanha, conectando elementos visuais de ativos promocionais diretamente às métricas de conversão. Por exemplo, uma empresa de varejo que usa o Snowflake pode analisar milhares de imagens de anúncios para descobrir que imagens de produtos com certos esquemas de cores tendem a gerar mais engajamento entre segmentos demográficos específicos.
Para simplificar processos manuais: as plataformas de varejo online e de entrega de alimentos usam o Cortex AI para automatizar as descrições de imagem de refeições e mercadorias, reduzindo o esforço manual. No setor industrial, o departamento de manutenção consegue prever defeitos caros, vinculando os dados de inspeção visual às especificações de produção. As organizações de saúde podem melhorar os resultados dos pacientes, correlacionando os metadados de imagens aos protocolos de tratamento e dados demográficos.

Fortalecendo o atendimento ao cliente: os departamentos de atendimento ao cliente usam modelos de conversão de fala para texto para transcrever chamadas e obter um nível mais profundo de insights. Por exemplo, os recursos do Cortex podem ser usados para extrair não apenas detalhes do cliente e interações do agente, mas também para resumir etapas futuras, intenção e sentimento, fornecendo, assim, uma imagem mais completa da experiência do cliente.

Para analisar documentos complexos: o Cortex AI permite que as empresas do setor financeiro analisem relatórios trimestrais, prospectos e demonstrações financeiras, extraindo dados estruturados de textos, tabelas e descrições de gráficos. Por exemplo, um banco global pode agilizar o processo de solicitação de empréstimo extraindo e validando informações importantes de declarações de impostos, demonstrações bancárias e documentos de verificação de emprego, tudo em um ambiente seguro e confiável.

Fornecendo resultados de alta qualidade

Qualidade é fundamental quando as decisões de negócios dependem da análise de dados. O Cortex AI oferece uma qualidade excepcional em uma ampla variedade de tarefas de processamento de dados não estruturados por meio de modelos e funções especializadas personalizadas para diferentes tarefas.

Modelos de visão líderes do setor: o Cortex AI oferece acesso rápido e seguro aos principais modelos de visão do setor, permitindo que você selecione o modelo que melhor se adapta às suas necessidades específicas de negócios. Com o uso da função Cortex AI COMPLETE, é possível escolher entre opções como o Claude 3.5 Sonnet da Anthropic, o Pixtral Large da Mistral AI e a nova versão Claude 3.7 Sonnet da Anthropic, bem como o Llama 4 Scout da Meta e o GPT-4.1 da Open AI para análise visual abrangente.

Figura 2. Queries multimodais usando SQL.

Fig. 2: Multimodal queries using SQL

O Claude 3.5 Sonnet se destaca em compreensão de documentos com um impressionante índice de referência de 90,3% da DocVQA, o que o torna uma escolha ideal para a extração de informações de demonstrações financeiras, contratos jurídicos e documentação de conformidade. O Pixtral Large se destaca pela excelente análise de gráficos (88,1% ChartQA) e raciocínio matemático (69,4% Mathvista), ideal para relatórios financeiros e medições de especificações industriais. O GPT-4.1 (em breve) oferece benchmarks de compreensão de imagem líderes do setor, como o MMMU (7,4%) para diversas necessidades de imagens de negócios, como respostas a perguntas visuais a partir de diagramas e mapas. Todos esses modelos operam diretamente no ambiente Snowflake, sem precisar de integrações externas complexas.

Transcrição flexível de áudio: separados dos recursos multimodais nativos do Cortex AI, os clientes podem trazer qualquer modalidade, incluindo o processamento de áudio, para o Snowflake usando os Snowpark Container Services. O Snowpark Container Services oferece infraestrutura gerenciada para aplicações em contêineres, usada pelos desenvolvedores para implementar modelos de transcrição de áudio em escala.

Com o Snowpark Container Services, você tem a flexibilidade de poder implementar e otimizar modelos como o OpenAI Whisper, Nvidia Canary ou Nvidia Parakeet no Snowflake, com base em suas necessidades específicas. Geralmente, os clientes escolhem seu modelo preferido com base na taxa de erros por palavras (word error rate, WER), mas também com base em recursos individuais do modelo, como suporte multilíngue, desempenho em ambientes complexos, como call centers, ou eficiência de recursos. O ambiente seguro e eficiente do Snowflake permite executar o modelo de sua escolha, oferecendo uma ótima combinação de flexibilidade, poder e confiança.

A melhor análise de sentimento de entidades: Além do processamento de áudio, o Cortex AI oferece recursos sofisticados de análise de texto para obter insights de diversas fontes de texto. Seja analisando conversas de clientes transcritas, publicações em mídias sociais, avaliações de produtos ou outros dados de texto, nossa análise de sentimento de entidade de última geração oferece uma compreensão detalhada das opiniões expressas.

A análise de sentimentos baseada em aspectos da Snowflake estabelece um novo padrão de qualidade no setor, fornecendo uma classificação de sentimentos superior a dos principais LLMs com base no benchmark listado abaixo. Mais especificamente, o Cortex AI Entity_Sentiment permite a extração de insights diferenciados do texto ao analisar sentimentos em direção a entidades específicas, em vez de depender apenas da classificação geral positiva ou negativa. O Cortex AI Entity Sentiment é até 45% mais econômico do que um grande modelo como o GPT-4o para obter uma precisão de sentimento substancialmente maior. O Entity_Sentiment lida de forma eficaz com as expressões complexas de sentimentos, incluindo sentimentos mistos e desconhecidos, facilitando a análise da emoção relativa em avaliações de produtos ou transcrições de chamadas.

Figura 3. Comparação da precisão do modelo na tarefa de análise de sentimento baseada em aspectos (ABSA) em um conjunto de avaliação combinado. O benchmark inclui conjuntos de dados do SemEval-2014 Task 4 (laptops e restaurantes), MAMS, SENTFIN e FABSA. A tarefa envolve identificar a polaridade do sentimento em relação a aspectos ou entidades específicas mencionadas em uma frase. Comparamos o desempenho do Mistral-large, Claude 3.5 Sonnet, GPT-4 e do modelo Cortex AI Entity Sentiment da Snowflake.

Fig. 3: Comparison of model accuracy on the task of aspect-based sentiment analysis (ABSA) across a combined evaluation set. The benchmark includes datasets from SemEval-2014 Task 4 (laptops and restaurants), MAMS, SENTFIN, and FABSA. The task involves identifying sentiment polarity toward specific aspects or entities mentioned in a sentence. We compare the performance of Mistral-large, Claude 3.5 Sonnet, GPT-4, and Snowflake’s model Cortex AI Entity Sentiment.

Processamento avançado de documentos com OCR: além da análise de textos de fontes digitais, as organizações também precisam extrair informações valiosas de documentos em diversos formatos. Os recursos de processamento de documentos do Cortex AI transformam documentos não estruturados em dados que podem ser pesquisados e analisados. Com base na precisão de seus sistemas de pesquisa e para a análise multimodal, a extração confiável de texto é fundamental para o processamento preciso de documentos.

Os recursos de OCR PARSE_DOCUMENT do Cortex AI superam as soluções empresariais e de código aberto mais conhecidas no mercado para documentos corporativos, sem trazer complexidade desnecessária. Facilmente, os clientes podem integrar nas aplicações os resultados de OCR, como resposta a perguntas baseadas em LLMs sobre documentos financeiros. A solução Snowflake oferece resultados bem melhores, alcançando uma métrica de ANLS de 0,974 em comparação com 0,969 para soluções concorrentes.

Figura 4. Os resultados de nossos testes de benchmark OCR de documentos reais, que foram realizados em diversos documentos públicos para diferentes formatos de arquivo (por exemplo: PDF, DOCX, PPTX, TIFF) com verdade fundamental anotada manualmente. Os testes medem a precisão com um sistema OCR é capaz de extrair texto.

Fig. 4: The results of our real-world documents OCR benchmark tests, which were performed on diverse public documents for different file formats (e.g., PDF, DOCX, PPTX, TIFF) with manually annotated ground truth. The tests measure how accurately an OCR system extracts text.

A melhor tradução automática: para todos os tipos de texto digital e extraído de documentos, as organizações muitas vezes precisam tornar a informação acessível em vários idiomas. O Cortex AI Translate oferece traduções consistentes e de alta qualidade em 14 idiomas. Diferente dos LLMs de uso geral, que podem adicionar comentários ou recusar solicitações de tradução, o Cortex AI Translate foi especificamente otimizado para tarefas de tradução por meio de um processo rigoroso de preparação de dados e treinamento de modelos personalizados. O desempenho se alinha aos sistemas comerciais mais populares e aos LLMs de ponta, como o GPT-4o nos benchmarks do setor. Ao mesmo tempo, o Cortex AI Translate é até 51% mais econômico do que um modelo do porte do GPT-4o, ou até 70% mais econômico do que o uso de um sistema comercial popular. Além disso, o Cortex AI Translate lida de forma eficaz, e com coerência, com textos confusos, com mistura de códigos e contexto amplo.

Figura 5. chrF (character-lefel-F-score) é uma métrica usada para avaliar a qualidade da tradução automática que opera no nível do caractere e não no nível da palavra. O BLEU compara o quanto as traduções automáticas correspondem às humanas contando as sequências de palavras correspondentes.

Fig. 5: chrF (character-lefel-F-score) is a metric used to evaluate machine translation quality that operates at the character level rather than the word level. BLEU compares how closely machine translations match human references by counting matching word sequences.

O futuro da análise de dados unificada

O Snowflake Cortex AI melhora a forma como as empresas extraem valor de todos os dados. Ele integra de forma nativa análise estruturada e não estruturada por meio do Cortex AI COMPLETE Multimodal, tudo dentro do Snowflake com SQL. Isso reduz a complexidade e reduz o tempo de obtenção de insights. Com a IA nativa e a governança confiável, as empresas obtêm uma compreensão mais detalhada e ampla de todos os seus dados. Essa abordagem unificada leva a decisões mais rápidas e de maior impacto. A equipe de pesquisa de IA da Snowflake simplifica o valor da IA para as empresas com inovações como o Cortex AI COMPLETE Multimodal e funções avançadas específicas de tarefas otimizadas para a qualidade líder do setor.

Conheça hoje mesmo o Snowflake Cortex AI COMPLETE Multimodal.

Por onde começar:

Declarações prospectivas
Esta página contém declarações prospectivas, inclusive sobre nossas futuras ofertas de produtos. Elas não constituem compromissos de fornecimento ou produção de quaisquer ofertas de produtos. Os resultados e os produtos reais podem diferir e estão sujeitos a riscos e incertezas conhecidos e desconhecidos. Consulte nosso documento 10-Q mais recente para obter mais informações.