Producto y tecnología

Uso compartido y monetización de modelos de IA de forma segura en el AI Data Cloud

El auge de los modelos de inteligencia artificial (IA) generativa está empujando a las organizaciones a incorporar IA y large language models (LLM) a su estrategia empresarial. Después de todo, estos modelos abren nuevas oportunidades para extraer mayor valor de los datos y la propiedad intelectual (PI) de una empresa y ponerlos a disposición de un público más amplio en toda la organización.

Una clave para aprovechar con éxito los modelos de IA generativa es la capacidad de compartir datos. Las empresas con datos valiosos que se pueden utilizar para ajustar LLM quieren ser capaces de monetizarlos y utilizarlos para llevar a cabo ajustes sin conceder acceso a las fuentes de datos originales. También quieren asegurarse de que todo el uso se les atribuye de forma adecuada. 

Lamentablemente, muchas de las soluciones disponibles en la actualidad no proporcionan a las empresas las herramientas necesarias para compartir datos de forma segura y:

  • asegurarse de que los datos valiosos de una organización son siempre gestionados por esa organización y no están disponibles para otras partes, lo que puede resultar en un uso inapropiado o posiblemente malicioso.

  • asegurarse de que los modelos de terceros utilizados en la empresa estén protegidos.

  • supervisar atentamente el acceso a los datos y modelos.

En Snowflake, estamos abordando estos desafíos con determinación y facilitando a los desarrolladores la entrega de una IA fiable con datos empresariales.

Diagram showing the span of Snowflake Collaboration capabilities from within an organization to between organizations
La colaboración en el AI Data Cloud permite a las empresas descubrir, compartir y monetizar datos, aplicaciones y productos de IA en diferentes nubes.

En nuestra reciente conferencia para desarrolladores BUILD 2024, destacamos tres funciones que te ayudarán a compartir tus LLM optimizados, conjuntos de datos para entrenar tus LLM y modelos tradicionales de IA y aprendizaje automático (machine learning, ML) de forma segura, tanto dentro como fuera de tu organización, en el AI Data Cloud. Hemos proporcionado una descripción general de estas funciones en una entrada de blog anterior, pero ahora vamos a ver más en detalle cómo puedes ponerlas en práctica en sus proyectos.

Compartir LLM optimizados de Snowflake Cortex AI de Meta y Mistral AI

Para aprovechar al máximo los modelos de IA fundamentales, las empresas deben personalizarlos y ajustarlos a sus dominios y conjuntos de datos específicos. Esta tarea suele conllevar dos mandatos: los datos no salen de las instalaciones en ningún momento y no se realizan grandes inversiones en la construcción de la infraestructura. 

Ahora, Snowflake ofrece a las empresas la capacidad de ajustar los modelos líderes de Meta y Mistral AI utilizando datos en su propio perímetro de seguridad y sin tener que gestionar ninguna infraestructura. Mejor aún: los desarrolladores pueden gobernar y gestionar fácilmente sus LLM personalizados con Snowflake Model Registry.

Con Secure Model Sharing (actualmente en vista previa pública), puedes ajustar y compartir modelos básicos personalizados en tres pasos:

  1. Selecciona el modelo base y proporciona tu conjunto de datos de entrenamiento como parte de la función FINETUNE o con la experiencia sin código de Snowflake AI & ML Studio. Los modelos ajustados se pueden utilizar a través de la función COMPLETE.

  2. Comparte tus modelos optimizados de forma segura con otras cuentas de Snowflake de tu región.

  3. Replica tus modelos optimizados en todas las regiones de la organización.

Screenshot of using Mistral to fine-tune an LLM in Snowflake
Las empresas pueden ajustar y compartir modelos de IA personalizados fácilmente con Secure Model Sharing.
SNOWFLAKE.CORTEX.FINETUNE(
	‘CREATE’
	<model_name>,
	<base_model>,
	<training_data>,
	<validation_data>
);

Aprovecha la potencia de los LLM de Cortex con Cortex Knowledge Extensions

Las empresas quieren una forma sencilla de aumentar sus modelos básicos con información específica del dominio para que proporcionen respuestas más relevantes. Tradicionalmente, se necesita mucho tiempo y esfuerzo para encontrar y adquirir los conjuntos de datos adecuados, y luego más tiempo y habilidades técnicas para preparar los datos para el consumo y ajustar los LLM. Snowflake ya ha optimizado la primera parte de ese proceso (localización de los datos apropiados) con Snowflake Marketplace, que ofrece una ubicación centralizada para encontrar, probar y comprar rápidamente más de 2900 conjuntos de datos, aplicaciones y productos de datos (a fecha de 31 de octubre de 2024). Ahora, con Cortex Knowledge Extensions (actualmente en vista previa privada), estamos facilitando la preparación y transformación de datos de terceros.

Cortex Knowledge Extensions proporciona a los clientes un “botón fácil” para mejorar el modelo básico elegido con información actualizada en un dominio concreto sin necesidad de conocimientos técnicos adicionales para ajustar y preparar los datos sin procesar de un proveedor de contenido. Lo fundamental es que los clientes tengan la confianza de que están utilizando contenido con licencia oficial.

Cortex Knowledge Extensions permite a las aplicaciones de IA generativa extraer respuestas de los datos no estructurados y con licencia de los proveedores, a la vez que les otorga la atribución adecuada y aísla el conjunto de datos original completo de la exposición. Esto ayuda a los proveedores a monetizar la IA generativa e involucrarse en ella, al tiempo que minimiza el riesgo de que su contenido se utilice con fines de entrenamiento de modelos. 

Para que sus datos estén disponibles en Snowflake Marketplace, el proveedor de contenido establece un servicio Cortex Search con sus datos y los publica en Snowflake Marketplace. Una vez publicados, los consumidores pueden encontrar el listado y adquirir los datos de Snowflake Marketplace. A continuación, los consumidores pueden utilizar las API de Cortex AI para alimentar los LLM con los datos adquiridos de Snowflake Marketplace.

Comparte modelos tradicionales de IA y ML en el AI Data Cloud

Cada vez más empresas crean modelos de IA y ML personalizados para tareas específicas, como predecir la tasa de abandono o prever los ingresos. Los científicos de datos pueden desarrollar estos modelos dentro de la organización. Fuera de ella, pueden hacerlo los partners. Ahora, las empresas pueden aprovechar la potencia de estos modelos y compartirlos con partners, clientes y usuarios dentro de la empresa mediante Snowflake Native Apps, tanto en el Marketplace interno como en el Snowflake Marketplace externo. 

Con Snowflake Secure Data Sharing, las organizaciones pueden permitir a los usuarios finales ejecutar modelos de ML de forma segura dentro de un control de acceso a los datos detallado y basado en roles. Los datos en sí nunca salen de los límites de seguridad de la organización. Al empaquetar los modelos con Snowflake Native Apps se garantiza que hereden la posición de seguridad de Snowflake Native Apps, lo que incluye análisis de seguridad, sandboxing y el acceso a recursos locales o externos en función de los privilegios específicos otorgados al modelo.

Compartir un modelo es tan simple como agregar artefactos del modelo a un paquete de aplicaciones y otorgar privilegios de uso específicos a cada aplicación. Así, los consumidores pueden instalar la aplicación e invocar las funciones del modelo.

Diagram showing the process involved in sharing an AI model via Snowflake Native Apps
El proceso de compartir modelos de IA, desde el proveedor hasta los consumidores

Gracias a la colaboración y el data sharing de Snowflake, las empresas pueden crear y compartir fácilmente modelos de IA y ML —tanto modelos tradicionales como LLM optimizados— y compartir sus beneficios con el resto de la empresa. Para obtener más información y probar algunas de estas funciones, consulta los siguientes recursos: 

A woman with dark hair and glasses sits at a desk using a laptop, with a graphic of web-like connected dots overlaying the image on the right side
Data Cloud Academy

Snowflake Native App Bootcamp

Learn how to build, operate, maintain and monetize Snowflake Native Apps in 120 minutes of expert-led sessions, hands-on labs and customer examples.
Compartir artículo

Subscribe to our blog newsletter

Get the best, coolest and latest delivered to your inbox each week

Comienza tu pruebagratuita de 30 días

Prueba Snowflake gratis durante 30 días y experimenta el Data Cloud, que acaba con la complejidad, el coste y las restricciones de otras soluciones.